经过了小一天的时间最终把Spark安装好了
我的机器配置是windows7。8G。内存,双核的
安装的软件列表为:
Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)
vmware
Hadoop: 2.6.0
Spark: 1.4.0
jdk-7u75-linux-x64.gz
scala-2.10.4(注意版本号,必须和官方要求的一致)
Spark
runs on Java 6+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.4.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).
主要步骤:
1、安装Vmware
http://jingyan.baidu.com/article/19020a0ad09f35529d2842bf.html
2、安装Ubuntu
http://jingyan.baidu.com/article/ff42efa9423991c19e22020d.html
3、安装Ubuntu必要的软件
保证可以上网,更新源http://jingyan.baidu.com/article/7f41ecec1b7a2e593d095ce6.html
安装vim
4、改动主机名。配置网络(复制系统。把系统复制两份,保存在不同的目录,分别作为master,slave1,slave2)
5、如今master上安装Java
6、安装Scala
7、安装Hadoop、Spark,检查看下是不是成功安装呢?
8、安装SSH ,确保可以无password传输
9、利用scp命令,把安装好的传给slave1,slave2
可直接參考:
http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/
http://blog.csdn.net/stark_summer/article/details/42424279
參考上面两个链接完毕的,当然从安装ubuntu開始一步一步。中间也遇到了非常多问题,可是基本上都是非常low的问题,几乎相同百度或者Bing就能够解决.
遇到问题的能够留言,我会提供技术支持哈!