大数据集群实验环境搭建

大数据集群实验环境搭建

一、1.x环境搭建

1、虚拟机、安装jdk

2、免密码设定：

（1）生成自己的公钥和私钥。

  ssh-keygen -t -rsa

（2）将自己的私钥拷贝到需要免密码的服务器的.ssh目录下，重新命名为authorized_keys。

 scp ./id_rsa.pub rowen@192.168.128.133:/home/rowen/.ssh/authorized_keys

     假如有多台机器都需要对h1进行免密码，则需要将多台机器的公钥都拷贝到h1中的authorized_keys文件中。

3、下载hadoop1.x

4、修改配置文件

（1）conf/hadoop-env.sh

    修改java_home  /home/rowen/soft/jdk1.7.0_80

（2）core-site.xml

<configuration>

<property>

<!--名称节点  -->

<name>fs.default.name</name>

<value>hdfs://backup01:9000</value>

</property>

<property>

<!--指定hadoop临时目录 防止重启集群的tmp被情况 -->

<name>hadoop.tmp.dir</name>

<value>/home/rowen/soft/hadoop-1.1.2/tmp</value>

</property>

</configuration>

(3)hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

(4)mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>backup01:9001</value>

</property>

</configuration>

(5)masters

backup01

(6)slaves

backup02

5、换root 改/etc/hosts

192.168.128.131 backup01

192.168.128.133 backup02

6、将配置复制给其他节点

scp -r ./hadoop-1.1.2 rowen@192.168.128.133:/home/rowen/soft

7、修改其他节点host文件 和（5）一致

8、格式化名称节点

bin/hadoop namenode -format

9、启动hadoop：./bin/start-all.sh

名称节点：

NameNode

SecondaryNameNode

JobTracker

数据节点：

TaskTracker

DataNode

证明启动成功！

二、2.x安装

2.x和1.x最大的区别是配置文件的不同。

1、下载2.2.0

2、配置

（1）core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://h1:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/rowen/Downloads/hadoop-2.2.0/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>hadoop.proxyuser.hduser.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hduser.groups</name>

<value>*</value>

</property>

</configuration>

(2)hdfs.site.xml

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>h1:9001</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/rowen/Downloads/hadoop-2.2.0/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/rowen/Downloads/hadoop-2.2.0/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

</configuration>

(3) mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>h1:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>h1:19888</value>

</property>

</configuration>

(4)yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>h1:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>h1:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>h1:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>h1:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>h1:8088</value>

</property>

</configuration>

3、64位操作系统解决办法

2.x的hadoop下，native里面的包都是32位的，如果操作系统是32位的，经过以上配置，都能启动成功。如果是操作系统是64位的，就需要自己编译hadoop或者从网上下载别人已经编译好的native，并替换 。