搭建hadoop的HA集群模式（hadoop2.7.3+hive+spark）

参考：http://blog.51cto.com/12824426/2177663?source=drh

一、集群的规划

Zookeeper集群：
192.168.176.131 （bigdata112）
192.168.176.132 （bigdata113）
192.168.176.135 （bigdata114）

Hadoop集群：
192.168.176.131 （bigdata112） NameNode1 ResourceManager1 Journalnode
192.168.176.132 （bigdata113） NameNode2 ResourceManager2 Journalnode
192.168.176.135 （bigdata114） DataNode1 NodeManager1
192.168.176.136 （bigdata115） DataNode2 NodeManager2

二、准备工作

1、安装JDK
2、配置环境变量
3、配置免密码登录
4、配置主机名

三、配置时间同步

配置ntp启动项

chkconfig ntpd on

同步时间

ntpdate ntp.sjtu.edu.cn

启动ntpd服务

/etc/init.d/ntpd start

验证ntp服务已经运行

pgrep ntpd

初始同步

ntpdate -u ntp.sjtu.edu.cn

确认同步成功

ntpq -p

PS:可以一次性输入以上命令

chkconfig ntpd on

ntpdate ntp.sjtu.edu.cn

/etc/init.d/ntpd start

pgrep ntpd

ntpdate -u ntp.sjtu.edu.cn

ntpq -p

四、配置Zookeeper（在192.168.176.131安装）

在主节点（bigdata112）上配置ZooKeeper

（*）配置/training/zookeeper-3.4.6/conf/zoo.cfg文件

dataDir=/training/zookeeper-3.4.6/tmp

server.1=bigdata112:2888:3888
server.2=bigdata113:2888:3888
server.3=bigdata114:2888:3888

（*）在/training/zookeeper-3.4.6/tmp目录下创建一个myid的空文件
echo 1 > /training/zookeeper-3.4.6/tmp/myid

（*）将配置好的zookeeper拷贝到其他节点，同时修改各自的myid文件

        scp -r /training/zookeeper-3.4.6/ bigdata113:/training
        scp -r /training/zookeeper-3.4.6/ bigdata114:/training

（*）分别修改113和114上/training/zookeeper-3.4.6/tmp/myid为2和3

 ~/有空再做修改吧0.0