分布式系统搭建

组建分布：

	hadoop-senior			hadoop-senior02			hadoop-senior03
HDFS
	NameNode
	DataNode 				DataNode 				DataNode
													SecondaryNameNode
YARN
							ResourceManager
	NodeManager 			NodeManager 			NodeManager

MapReduce
	JobHistoryServer

1.配置固定IP 配置IPV4

ubuntu主机名修改

临时设置
$ sudo hostname newHostName
永久设置
$ sudo vi /etv/hostname

2.配置主机名 /etc/hosts文件

192.168.2.123	hostname-ubuntu.cenzhongman.com 	hostname-ubuntu
192.168.2.124	hostname-ubuntu2.cenzhongman.com 	hostname-ubuntu2
192.168.2.125	hostname-ubuntu3.cenzhongman.com 	hostname-ubuntu3

3.配置

* hdfs
	 * hadoop-env.sh 		->   JAVA_HOME
	 * core-site.xml 		->   namenode主机和端口 临时文件目录
	 * hdfs-site.xml 		->	 删除Datanode备份数目设置，设置dfs.namenode.secondary.http-address 	hostname-ubuntu3.cenzhongman.com:50090
	 * slaves				->   配置DataNode主机

* yarn
	 * yarn-env.sh 			->   JAVA_HOME
	 * yarn-site.xml		->   <!--设置resourceManager的主机--><!--设置日志保留7天-->从YARN启动mapreduce

* mapredue
	 * mapred-env.sh		->   JAVA_HOME
	 * mapred-site.xml		->   <!--配置jobhistory主机-->

4.分发到各个节点

[SSH无密码登录及远程拷贝命令SCP的使用](http://www.cnblogs.com/cenzhongman/p/7052414.html)

5.从节点设置SSH无密钥登录(跟mac地址又关，因此需要删除重新配置)

并将自己的密钥 Copy给其他节点

6.启动集群测试

   *基本测试：测试集群功能
        hdfs 读写操作
        yarn 跑一个程序
        MapReduce 跑程序
    *基准测试：测试集群性能
        hdfs 读写速度
        yarn 多任务调度
        MapReduce 多Map任务运行
    *监控工具
        Clodera
        Cloderra Manager
            部署安装集群
            监控集群
            预置同步集群
            预警功能