hadoop集群的搭建
1、ubuntu 14.04更换成阿里云源
刚刚开始我选择了nat模式，所有可以连通网络，但是不能ping通，我就是想安装一下mysql，因为安装手动安装mysql太麻烦了，然后我再换为仅主机模式，就可以在本机用ssh连接了
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak #备份
sudo vim /etc/apt/sources.list #修改
sudo apt-get update #更新列表
阿里源，将默认的源全部删除掉，我注释了源代码的源
deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
#deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
#deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
#deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
#deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
#deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
2、安装mysql
sudo apt-get install mysql-server
3、配置静态ip
iface eth0 inet static
address 192.168.10.100
netmask 255.255.255.0
gateway 192.168.10.1
dns-nameservers 223.5.5.5 223.6.6.6
4、安装jdk并配置环境变量
sudo mkdir /usr/local/java
sudo tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/java/
配置环境变量
sudo vim /etc/profile 末尾添加下面两行
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export PATH=$JAVA_HOME/bin:$PATH
刷新资源:source /etc/profile
5、解压hadoop
sudo tar -zxvf hadoop-2.7.1.tar.gz -C /opt/
设置环境变量
sudo vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export HADOOP_HOME=/opt/hadoop-2.7.1
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
6、参照http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/ClusterSetup.html
core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml.
修改了以上四个文件
还有修改hadoop-env.sh hadoop环境相关配置,配置jdk
7、修改hosts
192.168.1.100 master
192.168.1.101 slave1
192.168.1.102 slave2
192.168.1.103 slave3
把127.0.1.1 这行注释掉。否则后面会在master识别不到DataNode。回环
8、复制master主机，更名为slavex
修改主机名 sudo vim /etc/hostname sudo /etc/hosts 修改127.0.1.1 的名称
修改静态ip sudo vim /etc/network/interfaces
此时产生三台机器 slave1,slave2,slave3
9、修改hadoop配置文件slave文件，指定slave
在master机器下：
vim slaves 添加三行：slave1 slave2 slave3
10、设置ssh免密登陆
master:产生公钥 ssh-keygen -t rsa 产生的秘钥在~/.ssh里面
将公钥发布到其他机器： ssh-copy-id slave1/2/3/master 四台主机
测试是否成功免密登陆：ssh slave1 退出登录:logout
11、在master节点格式化namenode并启动
hadoop namenode -format
start-all.sh
使用jsp 查看集群是否启动成功
在maste显示：
NodeManager
SecondaryNameNode
ResourceManager
NameNode
在slave节点显示：
NodeManager
DataNode
到此为止hadoop配置完成，这是今天的笔记。