Hadoop+Spark分布式集群环境搭建

　　Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，而Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。

下面使用在同一个局域网下的两台电脑搭建分布式计算的环境：

　　其中JDK、Hadoop、Spark都已经在两台电脑上安装好。

　　一台Ubuntu主机系统Master，IP地址假设为：192.168.1.101（ifconfig查看IP地址）

　　一台Ubuntu主机系统Slave  ，IP地址假设为：192.168.1.108

　　（互ping一下，测试能否ping通）

修改主机名（方便区分主机）：

sudo vim /etc/hostname #分别修改为Master、Slave

修改完后分别重启一下，在终端Shell中可看到机器名的变化。

修改两台电脑的/etc/hosts文件，

sudo vim /etc/hosts

添加同样的配置：

127.0.0.1 localhost
192.168.1.101 Master
192.168.1.108 Slave

配置完后在Master上检测一下能否ping通：ping Slave

配置ssh无密码登录本机和访问集群机器

sudo apt-get openssh-server #若未安装ssh需先安装
ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys #生成ssh公钥

#将公钥发送给Slave
scp ~/.ssh/id_rsa.pub Slave:/home/zj

在Slave电脑上将Master的公钥加入到该节点：

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

在Master电脑上执行命令：ssh Slave，测试能否用ssh登录Slave主机。

Hadoop集群配置

在Master上修改Hadoop的配置文件，

cd /usr/local/hadoop/etc/hadoop

① 修改slaves（将DataNode的主机名写入该文件）

Slave

② 修改core-site.xml

<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop/tmp</value>
          <description>Abase for other temporary directories.</description>
      </property>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
</configuration>

③ 修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

④ 修改mapred-site.xml(复制mapred-site.xml.template,再修改文件名)

sudo cp ./mapred-site.xml.template ./mapred-site.xm #修改文件名

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

⑤ 修改yarn-site.xml

 <configuration>
  <!-- Site specific YARN configuration properties -->
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
      <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
      </property>
</configuration>

配置好后，将 master 上的 /usr/local/Hadoop 文件夹复制到各个节点上

cd /usr/local/
rm -rf ./hadoop/tmp   # 删除以前运行时产生的临时文件
rm -rf ./hadoop/logs/*  # 删除日志文件

tar -zcf ~/hadoop.master.tar.gz ./hadoop #压缩文件
cd ~
scp ./hadoop.master.tar.gz Slave:/home/zj #发送到Slave

在Slave上解压hadoop文件

sudo rm -rf /usr/local/hadoop/
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R zj /usr/local/hadoop

hadoop集群环境配置完成。

Spark集群配置

在Master上修改spark的配置文件，

cd /usr/local/spark/

① 修改slaves文件（将 slaves.template 拷贝到 slaves，cp ./conf/slaves.template ./conf/slaves）

slaves文件设置Worker节点：

Slave

②修改spark-env.sh文件（复制spark-env.sh.template ，再修改）

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=192.168.1.101 #集群中Master节点的IP地址

配置好后，将Master主机上的/usr/local/spark文件夹复制到Slave节点上：

cd /usr/local/
tar -zcf ~/spark.master.tar.gz ./spark
cd ~
scp ./spark.master.tar.gz Slave:/home/zj

在Slave上解压spark文件：

sudo rm -rf /usr/local/spark/
sudo tar -zxf ~/spark.master.tar.gz -C /usr/local
sudo chown -R zj /usr/local/spark

spark集群配置完成。

启动Spark集群

启动Hadoop

cd /usr/local/hadoop
bin/hdfs namenode -format # 首次运行需格式化一下
sbin/start-all.sh

启动spark（Master主机上）

cd /usr/local/spark/
sbin/start-master.sh

sbin/start-slaves.sh

分别在Master和Slave上输入jps，检查集群是否配置成功

#Master主机上
3170 SecondaryNameNode
3335 ResourceManager
3719 Jps
3657 Master
2926 NameNode

#Slave主机上
4933 Jps
4634 NodeManager
4876 Worker
4462 DataNode

能全部输出以上的各进程，则代表配置成功。缺少任一进程，需重新检查配置过程。

（注：来自厦门大学大数据学习总结）