Hadoop学习（一）搭建Hadoop的分布式集群

搭建Hadoop的分布式集群

Hadoop集群搭建的准备操作：

1、准备四台服务器

　　四台服务器的主机名分别是：potter2、potter3、potter4、potter5。

　　对以上四台服务器需要做一下准备操作，这些准备都是为了将来搭建Hadoop集群做准备的。

　　（1）修改各个服务器的主机名。

　　　　第一步：先查看主机名

　　　　　　   

　　　　第二步：永久修改主机名

　　　　　　

　　　　　　

　　　　　　保存退出

　　（2）配置各个服务器的IP

　　　　第一步：查看服务器ip

　　　　　　

　　　　第二步：配置ip

　　　　　　

　　（3）配置各个服务器的主机映射

　　　　　　配置主机映射：

　　　　　　

　　（4）添加potter用户，并且添加sudoer权限

　　　　第一步：添加用户

　　　　

　　　　设置密码：

　　　　

　　　　第二步：添加sudoer权限

　　　　　　在root用户下编辑 vi /etc/sudoers

　　　　　　在文件的如下位置，为hadoop添加一行即可

　　　　　　root     ALL=(ALL)       ALL     

　　　　　　potter    ALL=(ALL)       ALL

　　　　　　然后，hadoop用户和spark用户就可以用sudo来执行系统级别的指令

　　　　　　[hadoop@hadoop01 ~]$ sudo  useradd  huangxiaoming

　　（5）关闭防火墙/关闭selinux

　　　　第一步：关闭防火墙

　　　　

　　　　设置防火墙开机自启：

　　　　

　　　　查看防火墙状态：

　　　　

　　　　第二步：关闭selinux

　　　　

　　（6）更改系统启动级别为3

　　　　第一步：查看系统运行的级别

　　　　

　　　　第二步：修改系统默认启动级别

　　　　

　　　　

　　（7）安装JDK　　

　　　　第一步：准备JDK软件

　　　　　jdk-8u73-linux-x64.tar.gz

　　　　第二步：可以通过ftp工具把软件传到linux服务器上面；或者按住键盘上面的ALT+P　　　       直接拖动上去。

　　　　　

　　　　第三步：把软件解包解压缩出来到安装路径下去：

　　　　　　tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local/

　　　　　　

　　　　第四步：配置环境变量

　　　　　　1、vi /etc/profile

　　　　　　2、在该文件最后加入两行代码：

　　　　　　　　export JAVA_HOME=/usr/local/jdk1.8.0_73

　　　　　　　　export PATH=$PATH:$JAVA_HOME/bin

　　　　　　3、保存退出

　　　　　　4、执行 source /etc/profile

　　　　第五步：检测 jdk 是否安装成功，使用命令：java -version

　　　　　　

然后进行克隆三台机器，只需要修改IP跟主机名。

　　（8）四台服务器做时间同步　

　　　　第一步：使用 date 命令手动简单同步一下

　　　　　　命令：date -s "2016-10-23 11:11:11"

　　　　　　修改时间后，需要写入硬件 bios 才能在重启之后依然生效

　　　　　　命令：hwclock -w

　　　　第二步：配置 crontab 服务，用 ntpdate 定时同步时间（推荐方式）

　　　　　　ntpdate 202.120.2.101

　　　　第三步：如果类似 202.120.2.101 这种网络时间服务器无法访问，那么请自行搭建时间服务器

　　　　以上两种方式不管怎么做，都不要忘记更改时区。

　　（9）四台服务器配置SSH（免密登录）

　　　　第一种方式：手动配置（需要在.ssh文件夹中）命令：cd .ssh

　　　　　　第一步：在potter2中生成密钥对：命令：ssh-keygen

　　　　　　第二步：将potter2自己的公钥放置到授权列表文件authorized_keys

　　　　　　　　　　cat id_rsa.pub >> authorized_keys

　　　　　　第三步：在potter3中生成密钥对：命令：ssh-keygen

　　　　　　第四步：将potter2中的authorized_keys发送给potter3对应的文件夹下

　　　　　　　　　　scp -r authorized_keys root@192.168.123.103:/root/.ssh/（如果配置了映射文件IP地址可以写成potter3）

　　　　　　第五步：将potter3中的公钥放置到authorized_keys

　　　　　　　　　　cat id_rsa.pub >> authorized_keys（这样potter3里面authorized_keys就有了potter2和potter3的公钥，可以用 命令：cat authorized_key 查看）

　　　　　　第六步：将potter3中的authorized_keys发送给potter4对应的文件夹下

　　　　　　　　　　scp -r authorized_keys root@192.168.123.104:/root/.ssh/

　　　　　　第七步：将potter4中的公钥放置到authorized_keys

　　　　　　　　　　cat id_rsa.pub >> authorized_keys

　　　　　　第八步：将potter4中的authorized_keys发送给potter5对应的文件夹下

　　　　　　　　　　scp -r authorized_keys root@192.168.123.105:/root/.ssh/

　　　　　　第九步：将potter5中的公钥放置到authorized_keys

　　　　　　　　　　cat id_rsa.pub >> authorized_keys（这样authorized_keys文件里面就有了potter2、potter3、potter4、potter5的公钥，可以用命令：cat authorized_key 查看）

　　　　　　第十步：将potter5中的authorized_keys发送个各个linux服务器

　　　　　　　　　　scp -r authorized_keys root@192.168.123.102:/root/.ssh/

　　　　　　　　　　scp -r authorized_keys root@192.168.123.103:/root/.ssh/

　　　　　　　　　　scp -r authorized_keys root@192.168.123.104:/root/.ssh/

　　　　　　这样每个服务器中就都有了每一个服务器的公钥，配置完成。

　　　　第二种方式：

　　　　　　用 SecureCRTPortable这个软件将四台服务器连接好

　　　　　　第一步：点击Window选上TileVertically

　　　　　　

　　　　　　会出现以下界面

　　　　　　

　　　　　　第二步：点击View，选取ChatWindow

　　　　　　

　　　　　　会在下方出现一个输入框

　　　　　　

　　　　　　第三步：在空白处右键选择Send Chat to All Sessions，会在空白处上方出现Send Chat to All Sessions这个字样。这样就可以在空白处输入命令一起操控四台服务器。

　　　　　　

　　　　　　第三步：在空白处输入命令：ssh-keygen，四台服务器会一起生成密钥对。

　　　　　　第四步：在空白处输入命令：ssh-copy-id potter2，会在potter2服务器上一起生成四个公钥。

　　　　　　第五步：在空白处执行三次分别是：

　　　　　　　　　　ssh-copy-id potter3

　　　　　　　　　　ssh-copy-id potter4

　　　　　　　　　　ssh-copy-id potter5

　　　　这样每个服务器上的ssh就配置好了。

　　以上的实现可以分两步操作，先准备好potter2，先做完1-7步之后，然后克隆出potter3、potter4、potter5。

　　然后再做8和9操作，这样效率最高。

正式搭建Hadoop的分布式集群

 1、获取hadoop安装包

　　第一种方式：从官网直接下载

　　　　hadoop-2.7.5-src.tar.gz 2017-12-17 04:03 45M 源码包

　　　　hadoop-2.7.5.tar.gz     2017-12-17 04:03  207M     安装包

　　第二种方式：自己编译

　　　　编译的目的：就是为了获取 跟 当前安装hadoop的操作系统匹配的本地依赖库。

2、服务器的角色规划（分配主从节点）

　　服务　　　　　　主节点　　　　　　　从节点

　　HDFS 　　　　　NameNode　　　　　DataNode
　　YARN 　　　　　ResourceManager　　NodeManager

　　服务器的数量有四台：

　　服务　　　　potter2　　　　  　  potter3　　　　　  potter4　　　  　 potter5

　　HDFS　　　 namenode　　　　  datanode　　　　 datanode　　　　datanode
　　YARN　　　 nodemanager　　　nodemanager　　nodemanager　　ResourceManager

具体操作步骤：

1、准备好四台服务器，做好规划

　　服务器

　　规划安装的用户： potter

　　规划安装目录：/home/potter/apps

　　规划数据目录：/home/potter/data

2、获取安装包（最好在家目录下）

　　按住键盘Alt+p，直接拖入。

3、解压缩（需要解压到apps文件夹下）

　　tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C ~/apps/

4、修改配置文件（需要在hadoop目录下操作命令：cd apps/hadoop-2.7.5/etc/hadoop/）

　　（1）hadoop-env.sh

　　（2）core-site.xml

　　（3）hdfs-site.xml

　　（4）mapred-site.xml

　　（5）yarn-site.xml

　　（6）slaves

　　

　　（1）vi hadoop-env.sh

　　　　修改JAVA_HOME

　　　　把　　   export JAVA_HOME=${JAVA_HOME}

　　　　改成　　export JAVA_HOME=/usr/local/java/jdk1.8.0_73

　　（2）vi core-site.xml 在<configuration>　　</configuration>里面添加

　　　　<property>

　　　　<name>fs.defaultFS</name>

　　　　<value>hdfs://potter2:9000</value>

　　　　</property>

 

　　　　<property>

　　　　<name>hadoop.tmp.dir</name>

　　　　<value>/home/potter/data/hadoopdata</value>

　　　　</property>

　　（3）vi hdfs-site.xml  在<configuration>　　</configuration>里面添加

　　　　<property>

　　　　<name>dfs.namenode.name.dir</name>

　　　　<value>/home/potter/data/hadoopdata/name</value>

　　　　<description>为了保证元数据的安全一般配置多个不同目录</description>

　　　　</property>

 

　　　　<property>

　　　　<name>dfs.datanode.data.dir</name>

　　　　<value>/home/potter/data/hadoopdata/data</value>

　　　　<description>datanode 的数据存储目录</description>

　　　　</property>

 

　　　　<property>

　　　　<name>dfs.replication</name>

　　　　<value>2</value>

　　　　<description>HDFS 的数据块的副本存储个数, 默认是3</description>

　　　　</property>

 

　　　　<property>

　　　　<name>dfs.secondary.http.address</name>

　　　　<value>potter3:50090</value>

　　　　<description>secondarynamenode 运行节点的信息，和 namenode 不同节点</description>

　　　　</property>

　　（4）mapred-site.xml在<configuration>　　</configuration>里面添加　　

　　　　　　需要先复制mapred-site.xml

　　　　　　命令：cp mapred-site.xml.template mapred-site.xml

　　　　<property>

　　　　<name>mapreduce.framework.name</name>

　　　　<value>yarn</value>

　　　　</property>

　　（5）vi yarn-site.xml在<configuration>　　</configuration>里面添加

　　　　<property>

　　　　<name>yarn.resourcemanager.hostname</name>

　　　　<value>potter5</value>

　　　　</property>

 

　　　　<property>

　　　　<name>yarn.nodemanager.aux-services</name>

　　　　<value>mapreduce_shuffle</value>

　　　　<description>YARN 集群为 MapReduce 程序提供的 shuffle 服务</description>

　　　　</property>

　　（6）vi slaves

　　　　

　　（7）当前的hadoop安装包是存在于hadoop02上的。 但是安装的hadoop是一个分布式的集群。

 　　　　把安装包分别分发给其他的节点

 　　　　重点强调： 每台服务器中的hadoop安装包的目录必须一致， 安装包的配置信息还必须保持一致

 　　　　需要在 apps文件夹下传到另外三台服务器

　　　　scp -r hadoop-2.7.5/ hadoop@potter3:~/apps/

　　　　scp -r hadoop-2.7.5/ hadoop@potter4:~/apps/

　　　　scp -r hadoop-2.7.5/ hadoop@potter5:~/apps/

 　　（8）配置环境变量    需要在家目录下（~）

　　　　千万注意：

 

　　　　1、如果你使用root用户进行安装。   vi /etc/profile  即可   系统变量

 

　　　　2、如果你使用普通用户进行安装。可以用ll -a进行查看.bashrc文件  vi ~/.bashrc    用户变量

 　　　　

　　[potter@potter2 ~]$ vi .bashrc

　　　　export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5

　　　　export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　　　

　　　　使环境变量生效

　　　　[potter@potter2 bin]$ source ~/.bashrc 

　　　　3、查看Hadoop版本

[potter@potter2 bin]$ hadoop version
Hadoop 2.7.5
Subversion Unknown -r Unknown
Compiled by root on 2017-12-24T05:30Z
Compiled with protoc 2.5.0
From source with checksum 9f118f95f47043332d51891e37f736e9
This command was run using /home/hadoop/apps/hadoop-2.7.5/share/hadoop/common/hadoop-common-2.7.5.jar
[potter@potter2 bin]$

　　　　4、Hadoop初始化

　　　　[hadoop@hadoop1 ~]$ hadoop namenode -format

　　　　5、启动

　　　　　　A.启动HDFS（注意：不管在集群中的那个节点都可以）

　　　　　　

　　　　　　B.启动YARN（注意：只能在主节点中进行启动）

　　　　　　

　　6、查看4台服务器的进程

　　

　　

　　

　　

　　7、启动HDFS和YARN的web管理界面

 　　　　HDFS : http://192.168.123.102:50070

　　　　YARN ： http://hadoop05:8088

　　　　疑惑： fs.defaultFS = hdfs://hadoop02:9000

　　　　解答：客户单访问HDFS集群所使用的URL地址

　　　　同时，HDFS提供了一个web管理界面 端口：50070

　　HDFS界面

　　

　　点击Datanodes可以查看四个节点

　　

　　YARN界面

　　　　

　　点击Nodes可以查看节点

　　

　　

　　　　需要发送到另外三台服务器：

　　　　scp -r ~/.bashrc potter3:~

　　　　scp -r ~/.bashrc potter4:~ 

　　　　scp -r ~/.bashrc potter5:~

　　（下面的操作是没有配置环境变量，可以再需要的时候再配）

 　　（9）初始化

　　　　需要在bin文件夹下输入命令（已经配置环境变量的命令：）$HADOOP_HOME/bin/hadoop namenode -format

　　　　（没有配置环境变量的命令：）[hadoop@hadoop02 bin]$ /home/hadoop/apps/hadoop-2.7.5/bin/hadoop namenode -format

 　　　　只能在HDFS的主节点进行（主节点就是potter2服务器）

　　　　查看初始化：

 

　　　　进入这个目录/home/potter/data/hadoopdata/name 有一个current文件夹，进入current里面有四个文件，说明初始化成功。

　　（10）启动

　　　　可以再hadoop文件夹下查看配置的主节点是哪个服务器

 

　　　　命令：cat yarn-site.xml

 

　　　　第一步：启动HDFS   ：  不管在集群中的那个节点都可以

 

　　　　　　　　[hadoop@hadoop02 bin]$ /home/hadoop/apps/hadoop-2.7.5/sbin/start-dfs.sh

 

　　　　第二步：启动YARN   ： 只能在主节点中进行启动

 

　　　　　　　　[hadoop@hadoop02 bin]$ /home/hadoop/apps/hadoop-2.7.5/sbin/start-yarn.sh

 

　　（11）检测 或者 验证是否成功

 

　　　　第一种方式：JPS 命令 查看 对应的守护进行是否都启动成功

 

　　　　第二种方式：启动HDFS和YARN的web管理界面

 

　　　　　　　　　　HDFS :  http://hadoop02:50070

 

　　　　　　　　　　YARN ： http://hadoop05:8088

 

　　（12）简单使用

　　　　HDFS :（可以新建任意一个文件进行运行）

 

　　　　上传文件：~/apps/hadoop-2.7.5/bin/hadoop fs -put zookeeper.out /

 

　　　　下载文件：~/apps/hadoop-2.7.5/bin/hadoop fs -get /zookeeper.out

 

 　　　　YARN :

 

　　　　新建一个文件： /wc/input/words.txt

　　　　hello huangbo

 

　　　　hello xuzheng

 

　　　　hello wangbaoqiang

 

　　　　新建一个文件夹：~/apps/hadoop-2.7.5/bin/hadoop fs -mkdir -p /wc/input

　　　　把words.txt上传到HDFS（在家目录下输入命令）：

　　　　命令：~/apps/hadoop-2.7.5/bin/hadoop fs -put words.txt /wc/input/

　　　　查看命令：~/apps/hadoop-2.7.5/bin/hadoop fs -ls /wc/input

　　　　进入mapreduce文件夹命令：cd apps/hadoop-2.7.5/share/hadoop/mapreduce/

 

　　　　需要进入到mapreduce文件夹里面，这个文件夹在hadoop文件夹下面，

　　　　[potter@potter2 mapreduce]$

 

　　　　运行一个mapreduce的例子程序： wordcount

 

　　　　命令：

　　~/apps/hadoop-2.7.5/bin/hadoop jar ~/apps/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /wc/input /wc/output

 

　　　　查看最终结果：

 

　　　　~/apps/hadoop-2.7.5/bin/hadoop fs -cat /wc/output/part-r-00000

 

最终完成hadoop的集群搭建！！！