写在前面:
spark只是一种计算框架,如果要搭建集群要依托与一定的组织模式。
目前来说,Spark集群的组织形式有三种:
1. Standalone:使用akka作为网络IO组件,master和worker之间采用actor模型进行组织。简单说就是spark自己实现了集群中的各个节点上的服务。
2. Yarn:直接使用Yarn框架完成资源分配和分布式管理功能,spark只是简单地把任务提交给yarn框架。
3. Mesos:不太清楚。(好像比较古老了)
因此,要搭建一个spark集群,首先要选择一种组织形式,对于我来说以前用过一点Hadoop+MapReduce,因此选择比较熟悉的基于Hadoop的yarn框架,现在网上也有一些教程可供参考。
环境及软件版本型号列表:
Ubuntu 14.04 64位
JDK:jdk-7u80-linux-x64 (网址http://www.oracle.com/technetwork/java/javase/archive-139210.html)
scala:scala-2.10.4 (网址http://www.scala-lang.org/download/2.10.4.html)
Hadoop:hadoop-2.6.2(网址https://hadoop.apache.org/#Download+Hadoop)
spark: sark-1.5.1(要求hadoop2.6+)(网址http://spark.apache.org/downloads.html)(最好是下载pre-built版本的,这样就不用自己额外编译了)
配置集群的大体步骤:
修改hosts文件,使节点时间互相ping通 --》建立ssh连接 --》 为每台机器装JDK与SCALA --》 主机装Hadoop并配置好 --》 通过主机将Hadoop发送至各个从节点 --》 主机配置spark --》 通过主机将配置好的spark发送至各个从节点 --》 完成
通过以上的步骤可以看出,由于我们是把Hadoop及spark一起发送至子节点,因此要求我们的每台机器都有相同的文件路径结构(我的是在所有节点上新建了一个路径放置所有的jdk, scala, hadoop, spark文件,如:~/Downloads/spark_sdk),及相同的用户名(这里指Ubuntu系统admin@master, @前面的admin表示该机器的用户名,@后面的master表示该机器的名称)。
--------------------------------------------------------------配置步骤正式开始---------------------------------------------------------------------------------------
1. 修改每个节点的hosts文件:
sudo /etc/hosts (每台主机操作)
114.212.80.243 master 114.212.81.244 slave1 114.212.82.117 slave2
(在不同机器上互相ping,看是否能够ping通)
ping master
ping slave1
ping slave2
2. ssh免密码登陆。
(1) 为确保ssh可以互连,不会出问题,最好先把防火墙关闭或卸载(每台机器)。
sudo apt-get remove iptables
(2) 每台机器安装ssh server.
sudo apt-get install openssh-server
(3) 每台机器生产公钥和私钥。
ssh-keygen -t rsa (一路回车)
(4) 每个从节点上的id_rsa.pub
发给master节点。
scp /home/master/.ssh/id_rsa.pub master@master:/home/master/.ssh/id_rsa.pub.slave1
scp /home/master/.ssh/id_rsa.pub master@master:/home/master/.ssh/id_rsa.pub.slave2
(5) 在master上,将所有公钥加到用于认证的公钥文件authorized_keys
中.
cat ./.ssh/id_rsa.pub* >> ./.ssh/authorized_keys (可以按照上面的路径写成绝对路径的形式)
(6) 将公钥文件authorized_keys
分发给每台slave.
scp /home/master/.ssh/authorized_keys master@slave1:/home/master/.ssh/
(7) 在每台机子上验证SSH无密码通信.(第一次通信时需要密码,以后则不需要)
ssh master
ssh slave1
ssh slave2
(8) 如果登陆测试不成功,则可能需要修改文件authorized_keys的权限。
chmod 600 /home/master/.ssh/authorized_keys
(现在,完成机器间的护筒之后,下面所有的jdk,scala等得安装可以通过Master用ssh来操控了。)
2. 安装JDK
我的是将JDK解压在 ~/Downloads/spark_sdk/文件夹下。
tar zxvf jdk-7u80-linux-x64.tar.gz ~/Downloads/spark_sdk/
然后配置bashrc文件。(bashrc与profile的区别:bashrc是指当前用户的环境变量的设置,profile是整个机器的环境变量的设置。对于单用户来说,我们设置bashrc即可。显然,bashrc优先级大于profile)。
vim ~/.bashrc
加入如下JDK的配置:
export JAVA_HOME=~/Downloads/spark_sdk/jdk1.7.0_80 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
使bashrc生效:
source ~/.bashrc
测试JDK是否安装成功:
java -version
(所有机器一样,Slave机器可以通过Master操纵)
3. 安装scala
将scala解压在~/Downloads/spark_sdk/文件夹下。
tar zxvf scala-2.10.4.tgz ~/Downloads/spark_sdk/
然后配置bashrc文件。
vim ~/.bashrc
加入如下scala的配置:
export SCALA_HOME=~/Downloads/spark_sdk/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
使bashrc生效:
source ~/.bashrc
测试scala是否安装成功:
scala -version
(所有机器一样,Slave机器可以通过Master机器操控,更简单的是,把文件用scp传送到相应位置后,直接把bashrc传送过去,避免所有机器配置)
4. 配置Hadoop集群。
在主节点上配置好了,直接发送至从节点即可。
详细的配置过程见Jerk's blog http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/
5. 配置spark。
如果Hadoop集群成功构建,则spark在Master上配置好后,发送给Slave节点即可。
写在后面:
配置环境永远是令程序员们最头疼的一件事,可是往往通过配置环境,我们才可以更加了解我们正在使用的这个工具,我们的机器,我们的架构的更底层工作方式。而不是只会使用,不知为何这样做的。
在过程中也会遇到各种各样的问题,往往一个错误就会跳出一整个屏幕的提示信息,错误等,令人眼花缭乱。所以我的感想就是:
- 要仔细阅读info提示信息;
- 慢就是快;
- 最好知道每个配置文件的信息代表的什么意思。