<亲测>Mac环境下安装spark

Mac环境下安装spark

堂吉诃德_帅帅 2018-06-02 21:20:18  4366  收藏 1

 

版权

由于spark是由scala编写，而scala又是基于jvm环境的变成语言，所有首先要保证你的环境已经安装了JDK8

1.安装scala环境

brew install scala

安装完成后检查

scala -version查看是否安装成功

2.安装spark环境

http://spark.apache.org/downloads.html下载最新的spark包

解压安装包

tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz

3.配置环境变量

1.  
   vim /etc/profile
2.  
   export SCALA_HOME=/usr/local/Cellar/scala
3.  
   export PATH=$PATH:$SCALA_HOME/bin
4.  
   exportSPARK_HOME=/Users/sx/open-source/spark-2.3.0-bin-hadoop2.7
5.  
   export PATH=$PATH:$SPARK_HOME/bin

4.启动Spark

首先进入Spark目录中的sbin子目录运行如下脚本启动Spark:

./start-all.sh

启动后jps检测master,worker全部启动

5.使用spark shell 进行测试

到此说明mac下spark安装成功