网上hadoop单节点安装文章真是一搜一大堆,可以这样说,全是垃圾,那些博主也不知道自己安装过没有。。反正就一堆的copy,我实在看不下去了。必须把我总结的写出来,如果你有任何问题随时联系我!
E-Mail: yanghg@pku.edu.cn
下面我以2.2.0为例子!注意这是单节点!!伪分布式!!不喜勿看
Hadoop2.2.0(Yarn)安装详细过程
一、运行一个单机版模式的hadoop伪分布式平台
1、软件环境
1、操作系统:
由于linux的开源性、安全性等因素现有的hadoop集群多为linux平台,在这里采用适合个人安装的linux Ubuntu 12.04LTS版本去实现hadoop伪分布式平台。若采用window系统不能使开发者更好的体验hadoop框架的优越性能和其高效的性能。对于linux系统red hat、ubuntu、Debian、Gentoo、SuSE、Mandriva安装均相同。
2、Java环境:
在这里采用ubuntu上所推荐的java-7-openjdk。若采用sun公司的jdk,则需要向系统添加环境,这里不再进行赘述。
3、SSH:在hadoop平台上,需要涉及resourcemanager与nodemanager之间通信,appmaster与container之间通信,用户数据之间的通信等。在通信过程中需要配置SSH无密码通信。
4、hadoop版本:hadoop2.2.0(apache网站中所有1.0以上框架均适用)
以上软件环境均在对应的开源官方网站下载,其中java环境和ssh均在ubuntu中使用apt-get install命令即可获得。
注:修改过程可能使用到编辑软件为Vim。
安装所需软件源:
名称 |
网址 |
Ubuntu |
http://www.ubuntu.org.cn/download |
Hadoop2.2.0 |
http://www.apache.org/dyn/closer.cgi/hadoop/common/ |
Myeclipse |
http://www.myeclipseide.cn |
javaJDK |
Ubuntu控制台命令sudo apt-get install java-7-openjdk |
SSH |
Ubuntu控制台命令sudo apt-get install ssh-openserver |
Vim |
Ubuntu控制台命令sudo apt-get install vim |
二、安装过程
2.1安装前准备工作
配置yarn前需将javaJDK、SSH、vim安装完成,将hadoop包从apache网站下载到本地。
测试javaJDK安装成功输入java –version出现下图
测试vim安装成功输入vim后出现下图
测试ssh会在配置无密码登陆时用到。
2.2给用户hadoop加入root权限(在ubuntu12.04安装过程中用户名称设定为:hadoop)
控制台输入:Hadoop@hadoop:sudo vim /etc/sudoers
在root下添加hadoop的权限
Hadoop ALL=(ALL:ALL) ALL
若ubuntu已经安装完成如想增加hadoop用户和用户组则需如下操作:
1、增加hadoop用户组:sudo addgroup hadoop。
2、增加hadoop用户并将其加入到hadoop用户组:sudo adduser -ingroup hadoop hadoop。
3、将hadoop加入到root权限组。
2、配置SSH无密码访问
配置无密码访问后就不需要用户不停的输入访问密码,控制台命令如下:
1、创建ssh-key,采用通用的rsa加密方式:ssh –keygen –t rsa –p “”
回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的
2、进入到~/.ssh目录下
Hadoop@hadoop:Cd ~/.ssh
3、将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的
Hadoop@hadoop:Cat id_rsa.pub >> authorized_keys
安装成功登陆测试:
Hadoop@hadoop:ssh localhost
出现上图即安装成功
3.安装hadoop第二代框架
将下载好的hadoop2.2.0 tar.gz使用tar xvzf解压后放在/esr/local,然后进入到/usr/local/hadoop/etc/hadoop
具体文件配置如下:
1、hadoop-env.sh配置
在hadoop-env.sh添加Java环境(本机以openjdk7为例子)
打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386
2、yarn-env.sh配置
在yarn-env.sh添加java环境
打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/yarn-env.sh
添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386
3、core-site.xml配置
打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/core-site.xml
添加
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
4、hdfs-site.xml配置
打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
添加:
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replicatiion</name>
<value>2</value>
</property>
5、mapred-site.xml配置
打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/mapred-site.xml
添加:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6、yarn-site.xml配置
打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
添加:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.ampreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
经过以上配置yarn配置完成,然后将所有服务一次启动,如下操作:
1、启动hdfs:
Hadoop@hadoop:bin/hadoop namenode -format
Hadoop@hadoop:sbin/hadoop-daemon.sh start namenode
Hadoop@hadoop:sbin/hadoop-daemon.sh start datanode
2、启动yarn:
Hadoop@hadoop:Sbin/yarn-daemon.sh start resourcemanager
Hadoop@hadoop:Sbin/yarn-daemon.sh start nodemanager
(或者利用全部启动的命令)Hadoop@hadoop:Sbin/start-all.sh
Hadoop@hadoop:Jps
若处出现启动不成,则去查找log日志,log日志位于:/usr/local/hadoop/log目录下,yarn将namenode、datanode、nodemanager、resourcemanager分别记录与不同的日志中,方便用户的查找
输入后若出现以下命令则安装成功:
在浏览器中输入http://localhost:8088测试web端口是否没有被占用出现如下图所示:
测试HDFS端口是否正常,在浏览器中输入:http://localhost:50070出现如下图所示:
点击“Browse the filesystem”能进入到hdfs目录中则hdfs安装完成,如下图所示:
经过以上配置并且在测试成功后我们的hadoop第二代平台(伪分布式)就全部安装完成了。接下来我们可以利用它去做许多有趣的事情了。