1:安装好虚拟机,安装系统
2:更改Master和Slave的时间,使其时间相同:具体执行(root 用户下)
1): yum install -y ntpdate
2):cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate us.pool.ntp.org
3: 关闭防火墙:
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
4:设置ip和hostname
hostname: vi /etc/sysconfig/network 在HOST_NAME后面加上Master或Slave
vi /etc/hosts 加入Master和Slave 的 ip 及其hostname
4:安装jdk:
1:)解压.bin文件可执行 ./bin文件名
解压.rpm文件,可执行 rpm -ivh 文件名
2:)在 vi /etc/profilr 配置jdk环境变量,完成后 sourcr /etc/profile
3:)查看本系统是32位还是64位:file /sbin/init
4)rpm 安装 rpm -ivh name
5:创建用户和组:
1:) groupadd hadoop 添加一个组
2:) useradd hadoop -g hadoop 添加用户
3:) passwd hadoop 设置用户密码为hadoop
6:安装hadoop:
1:)传hadoop安装文件到/home/hadoop/ 并解压
2:)修改hadoop下的etc/hadoop 的文件,具体如下(切换到hadoop用户下)
第一个:hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_65
第二个:core-site.xm
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://weekend-1206-01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>
第三个:hdfs-site.xml hdfs-default.xml (3)
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>weekend-1206-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
第六个:slaves
Maste Slave
hdfs namenode -format
7:配置hadoop环境变量:类似jdk(root用户下)
8:在hadoop根目录创建.ssh文件夹:chmod 700 .ssh
进入.ssh文件里面执行:
ssh-keygen -t rsa (四个回车)
cat id_rsa.pub >> authorized_keys
scp -r .ssh 192.168.211.134:/root/
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id localhost
然后将Slave上的id_rsa.pub copy 到Master的authorized_keys上
对Slave做同样操作