hadoop2.60集群搭建

0---准备bigdata用户登录
把普通用户添加到root组
： 修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行，如下所示：
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
bigdata ALL=(ALL) ALL
修改hostname:用root用户
/etc/sysconfig/network:hostname master
hostname master
设置完ip地址，重启网卡：service network restart
防火墙操作：service iptables stop/status/start
chkconfig --list
修改本地ip和hostname绑定
/etc/hosts
192.168.23.128 master
192.168.23.129 slave

设置ssh免密码登陆
执行如下命令
(1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
(3)ssh master

安装上传工具
yum -y install lrzsz

二、hadoop集群安装
1.准备工作
jdk安装
上传Jdk安装包
解压：tar -zxvf 包名
vi ~/.bash_profile(设置环境变量)
export JAVA_HOME=/opt/jdk1.8.0_102
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
source ~/.bash_profile
验证：java -version

上传Hadoop
解压:tar -zxvf hadoop-2.6.0.tar.gz
重命名：mv hadoop-2.6.0 hadoop
cd hadoop
修改环境变量
~/.bash_profile
export HADOOP_HOME=/home/bigdata/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
source ~/.bash_profile
修改配置文件config:/home/bigdata/hadoop/etc/hadoop
1. 配置hadoop-env.sh
2.6.0包含了:
方式一:
export JAVA_HOME=${JAVA_HOME}
方式二：
export JAVA_HOME=/opt/jdk1.8.0_102
2. 配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/bigdata/hadoop/tmp</value>
</property>
</configuration>
3.配置hdfs-site.xml--配置节点数，默认3
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.配置mapred-site.xml,目录下面没有这个文件，有mapred-site.xml.template
cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.配置yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>//访问webapp的地址，注意端口
<value>master:18088</value>
</property>
</configuration>
6.格式化HDFS
hadoop namenode -formate
创建namenode文件结构，
7.启动
分布式启动：
start-dfs.sh
start-yarn.sh
全部启动：
start-all.sh
cd /home/bigdata/hadoop/sbin
查看启动的进程:jps
HDFS进程
NameNode
DataNode
SecondaryNameNode
Yarn进程
NodeManager
ResourceManager
访问：
http://master:50070
http://master:50030
二、克隆一个slave
slave节点设置
vi /etc/hosts
192.168.23.128 master
192.168.23.129 slave
设置ssh免密码登陆
执行如下命令
(1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
(3)ssh slave
将master的密钥复制到slave
scp ~/.ssh/authorized_keys slave:~/.ssh
将slave的密钥复制到master
scp ~/.ssh/authorized_keys master:~/.ssh
ssh slave
ssh master
拷贝master下的hadoop文件到slave下
scp -r ~/hadoop slavle:~/
scp ~/.bash_profile slave:~/
source .bash_profile
删除logs和tmp下的文件
cd /home/bigdata/hadoop/tmp
rm -rf *
cd /home/bigdata/hadoop/logs
rm -rf *
查看Jdk,hadoop,.bash_profile这个几个目录和文件
设置hadoop目录下的slaves文件内容为:/home/bigdata/hadoop/etc/hadoop/slaves
修改从节点的hostname
slave
同时修改master下的/home/bigdata/hadoop/etc/hadoop/slaves
slave
修改配置文件
hadoop-env.sh core-site.xml hdfs-site.xml、yarn-site.xml mapred-site.xml
在格式化之前，要通过stop-all.sh停止之前运行的进程，然后进行格式化
格式化：在master节点执行 hadoop namenode -formate
启动：在master节点执行start-all.sh

现在集群中有两个节点，一个主节点，一个从节点
主节点上的进程：
NameNode SecondaryNameNode ResourceManager
从节点上的进程：
DataNode NodeManager

容易出错的地方：
1、主节点中的Slaves文件与从节点中Slaves文件内容要一致，都是slave
2、将主节点与从节点中的logs、hadoopdata都删除掉，
要删除前要先通过stop-all.sh停止所有进程
3、在从节点中要source ~/.bash_profile，让变量配置文件生效
4、5个配置文件hadoop-env.sh core-site.xml hdfs-site.xml
yarn-site.xml mapred-site.xml