Ubuntu12.04安装hadoop

1.      创建hadoop用户组和用户

a．  创建hadoop用户组

sudo addgroup hadoop

b．  创建hadoop用户

sudo adduser –ingroup hadoop hadoop

c．  编辑/etc/sudoers文件，为hadoop用户添加权限

sudo vim /etc/sudoers

给hadoop用户赋予root相同的权限

hadoop ALL=(ALL:ALL) ALL

注意：/etc/sudoers文件可能为readonly文件，修改后使用“:wq!”保存

2.      安装JDK

安装JDK的教程网上资料非常多，故省略

注意：不要安装OpenJDK，在Oracle官网上下载JDK（Oracle JDK不能使用apt-get install安装）

3.      安装ssh服务

sudo apt-get install openssh-server

4.      设置ssh无密码登录

执行su –命令切换到hadoop用户

su – hadoop

ssh生成密钥有rsa和dsa两种，默认采用rsa方式

a．  创建ssh-key（采用rsa方式）

ssh-keygen -t rsa -P ""

b． 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中

cd ~/.ssh
cat id_rsa.pub >> authorized_keys

c．  无密码登录localhost

ssh localhost

d．  退出ssh连接

exit

5.      安装hadoop

a.      复制hadoop文件至/usr/local

sudo cp sf_share/HadoopDatabase/hadoop-1.1.2.tar.gz/usr/local/

b.      解压.tar.gz文件

cd /usr/local/
sudo tar -zxvf hadoop-1.1.2.tar.gz

c.      修改文件名为hadoop

sudo mv hadoop-1.1.2 hadoop

d.      将hadoop文件夹的属主用户设为hadoop

sudo chown -R hadoop:hadoop hadoop

e.     修改配置文件conf/hadoop-env.sh的JDK路径

sudo vim hadoop/conf/hadoop-env.sh
export JAVA_HOME=/usr/local/jvm/jdk1.6.0_45

f.     修改conf/core-site.xml文件

sudo vimhadoop/conf/core-site.xml

配置文件如下所示：

<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overridesin this file. -->
 
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
     </configuration>

g.    修改conf/mapred-site.xml文件

sudo vimhadoop/conf/mapred-site.xml

配置文件如下所示：

<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overridesin this file. -->
 
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
     </configuration>

h.     修改conf/hdfs-site.xml文件

sudo vimhadoop/conf/hdfs-site.xml

配置文件如下所示：

<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overridesin this file. -->
 
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
     </configuration>

i.    编辑配置文件conf/masters，添加作为secondarynamenode的主机名（单机版仅localhost即可）

sudo vimhadoop/conf/masters

j.     编辑配置文件conf/slaves，添加作为slave的主机名（单机版仅localhost即可）

sudo vimhadoop/conf/slaves

6.      运行单机版hadoop

a．  进入hadoop目录，格式化hdfs文件系统（初次运行必做操作）

bin/hadoop namenode –format

b．  启动hadoop

bin/start-all.sh

c．  查看hadoop是否运行成功

浏览器中输入http://localhost:50070/查看NameNode

浏览器中输入http://localhost:50030/查看JobTracker

d．  停止hadoop

bin/stop-all.sh

参考链接：hadoop在ubuntu下的安装配置