Hadoop单机模式安装

练习实验楼实验  :  原文

一、实验介绍

1.1 实验内容

• hadoop三种安装模式介绍
• hadoop单机模式安装
• 测试安装

1.2 实验知识点

• 下载解压/环境变量配置
• Linux/shell
• 测试WordCount程序

1.3 实验环境

• hadoop2.6.0

1.4 适合人群

本课程难度为一般，属于初级级别课程，适合具有linux基础的用户。

二、Hadoop启动模式

Hadoop集群有三种启动模式：

• 单机模式：默认情况下运行为一个单独机器上的独立Java进程，主要用于调试环境
• 伪分布模式：在单个机器上模拟成分布式多节点环境，每一个Hadoop守护进程都作为一个独立的Java进程运行
• 完全分布式模式：真实的生产环境，搭建在完全分布式的集群环境

三、用户及用户组

需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop。

3.1 添加用户及用户组

创建用户hadoop

$ sudo adduser hadoop

并按照提示输入hadoop用户的密码，例如密码设定为 hadoop。注意输入密码的时候是不显示的。

3.2 添加sudo权限

将hadoop用户添加进sudo用户组

$ sudo usermod -G sudo hadoop

四、安装及配置依赖的软件包

4.1 安装openssh-server、java、rsync等

$ sudo apt-get update
$ sudo apt-get install openssh-server rsync
$ sudo service ssh restart
$ sudo apt-get install openjdk-7-jdk
$ java -version

4.2 配置ssh免密码登录

切换到hadoop用户，需要输入添加hadoop用户时配置的密码。后续步骤都将在hadoop用户的环境中执行。

$ su -l hadoop

配置ssh环境免密码登录。

在/home/hadoop目录下执行

$ ssh-keygen -t rsa   #一路回车
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
$ chmod 600 .ssh/authorized_keys

验证登录本机是否还需要密码，第一次需要密码以后不需要密码就可以登录。

$ ssh localhost

五、下载并安装Hadoop

在hadoop用户登录的环境中进行下列操作：

5.1 下载Hadoop 2.6.0

$  su hadoop
$  hadoop
$  sudo wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz

5.2 解压并安装

$ sudo tar zxvf hadoop-2.6.0.tar.gz
$ sudo mv hadoop-2.6.0 /usr/local/hadoop
$ sudo chmod 777 /usr/local/hadoop

5.3 配置Hadoop

$ vim /home/hadoop/.bashrc

在/home/hadoop/.bashrc文件末尾添加下列内容：

#HADOOP START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP END

保存退出后，激活新加的环境变量

$ source ~/.bashrc

至此，Hadoop单机模式安装完成，可以通过下述步骤的测试来验证安装是否成功。

六、测试验证

创建输入的数据

hadoop@dahu-OptiPlex-3046:/usr/local/hadoop$ cat input/*
I miss you
I love you
I hate him

执行Hadoop WordCount应用（词频统计）

$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output

查看生成的单词统计数据

hadoop@dahu-OptiPlex-3046:/usr/local/hadoop$ cat output/*
I    3
hate    1
him    1
love    1
miss    1
you    2

注意：如果要继续下一节“伪分布式部署”实验，请勿停止本实验环境，直接点击文档上方的“下一个实验”按钮进入，因为伪分布式部署模式需要在单机模式基础上进行配置。

七、小结

本实验中介绍了Hadoop单机模式的安装方法，并运行wordcount进行基本测试。

我个人在做这个实验的时候,4.1是最有问题的,因为系统是Ubuntu16.04,安装源已经默认没有openjdk7了，所以要自己手动添加仓库，如下：

   sudo add-apt-repository ppa:openjdk-r/ppa  
   sudo apt-get update   
   sudo apt-get install openjdk-7-jdk