「笔记」「Hadoop」集群安装一些注意的点

一、集群安装

1、修改/etc/hosts
#严重注意，主机名不要带下划线
#得将127.0.0.1的记录注释掉
2、修改IP
3、注意SSH证书问题
进入~/.ssh目录执行
ssh-keygen -t  rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub  root@namenode
4、slaves的配置
5、访问http://hdp_xxx:50070查看信息


相关配置

#/etc/profile
# Java Configuration
export JAVA_HOME=/usr/java/jdk1.7.0_51
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

# Hadoop configuration
#export HADOOP_HOME=/usr/hadoop
#export PATH=$HADOOP_HOME/bin:$PATH

#hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_51

#core-site.xml
#注意机器名
<property>
<name>fs.default.name</name>
<value>hdfs://hdp_tpl:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>

#hdfs-site.xml
#属性名称注意单节点和集群有区别
#注意DATA文件夹权限问题：一般要求755
<name>dfs.namenode.name.dir</name>
<name>dfs.datanode.data.dir</name>

<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/dfs/name</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/dfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

#禁用HDFS的权限管理
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

#mapred-site.xml
#注意机器名
<property>
<name>mapred.job.tracker</name>
<value>hdp_tpl:9001</value>
</property>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

二、添加及删除DataNode

添加DataNode
1、复制其他DataNode机器配置到新DataNode，修改新DataNode的IP地址（重启网络）
2、NameNode的hosts文件添加新DataNode信息，并复制到其他DataNode上
3、修改NameNode的slaves文件，添加新DataNode信息
4、DataNode上清除name及data文件夹内容
6、启动DataNode及TaskTracker
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker  
7、做数据负载均衡
[root@slave-004 hadoop]# ./bin/start-balancer.sh

删除DataNode
暂略