完全分布式搭建及脚本启动

一.完全分布式的搭建

先准备2台虚拟机：

　　1) 将原来搭建伪分布式的那台虚拟机克隆一台：https://www.cnblogs.com/IT_CH/p/12336594.html

　　2) 对克隆的机器做修改如下几个配置

（1）修改克隆机器的IP地址

 

 修改完之后记得重启网络：systemctl restart network

测试：ping www.baidu.com 【如果可以ping通，就可以通过xshell操作该虚拟机】

（2）修改克隆机的主机名

 修改完不会立即生效，需要reboot重启虚拟机才能生效【修改完IP主机映射再重启】

（3）修改克隆机的ip与主机的映射

 

 可以直接在后面添加即可，不用将原机器的IP主机映射删除

 修改完之后重启：reboot

开始搭建完全分布式

　　完全分布式的目标就是实现扩容

　　如何扩容：就是将很多台机器加入到一个集群中，共享硬件资源和软件资源

　　NameNode：只能有一台【用来做管理】是用来记录每个文件的存放位置

　　DataNode：可以有任意多台  是用来存放真实的数据的

（1）先将克隆机的dfs文件夹全部清空

　　原因：克隆的时候，两台机器的dfs数据是完全一样的，要把克隆的那个节点的dfs文件夹清空

　　dfs文件夹的目录：cd /opt/software/hadoop-2.7.7/tmp/dfs/

　　将该文件夹下的数据清空：rm -rf *

 （2）要做从节点的映射【从节点为克隆的机器】

　　在第一台机器上添加从节点的IP地址映射：vim /etc/hosts

 （3）机器之间做ssh免密

　　配置免密过程：

　　　　　1) 给所有主机生成公钥和私钥

　　　　　　　　ssh-keygen 生成密钥对

　　　　　2) 将公钥拷贝给其他主机

　　　　　　　　ssh-copy-id hdp02 【一次只能拷贝一台主机】

 　　测试：ssh hdp02【成功则表示免密配置成功】

（4）修改hdfs-site.xfs配置文件【两台机器都修改】

 19 <configuration>
 20         <property>
 21                 <name>dfs.replication</name>
 22                 <value>3</value>
 23         </property>
 24 </configuration>

（5）将从节点添加到slaves配置文件中

 

 查看是否搭建成功

　启动测试：start-dfs.sh【在主节点启动，从节点也会跟着启动DataNode】

 ······启动过程中可能会遇到的问题······

查看日志：cd /opt/software/hadoop-2.7.7/logs【在该目录下查看日志文件】

1.如果主节点的DataNode或者NameNode启动不起来

 解决办法：1) 先将主节点的dfs文件夹下的东西清空

　　　　　 2) 然后重新格式化：hadoop namenode -format

2.如果从节点的DataNode启动不起来，也出现了和主节点一样的问题

解决办法：只需要将从节点dfs文件夹下的东西重新全部清空即可

---

 二.sbin下的脚本启动

（1）start-all.sh/stop-all.sh

　　启动/停止所有（5个）的软件【NameNode，DataNode，secondarynamenode，nodemanager，resourcesmanager】

（2）start-dfs.sh/stop-dfs.sh

　　一次性启动/停止3个软件【NameNode，DataNode，secondarymanager】

（3）start-yarn.sh/stop-yarn.sh【MapReduce使用】

　　一次性启动/停止2个软件【nodemanager，resourcesmanager】

（4）hadoop-daemon.sh start XXX

　　只想启动/停止其中某一个软件【NameNode，DataNode，secondarymanager】

（5）yarn-daemon.sh start XXX

　　只想启动/停止其中某一个软件【nodemanager，resourcesmanager】