Configuration
spark-env.sh
HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.0-cdh5.4.0/etc/hadoop
JAVA_HOME=/opt/modules/jdk1.7.0_67
SCALA_HOME=/opt/modules/scala-2.10.4
#######################################################
#主节点
SPARK_MASTER_IP=hadoop-spark.dragon.org
#端口号默认7077
SPARK_MASTER_PORT=7077
#web端口号
SPARK_MASTER_WEBUI_PORT=8080
#内核管理
SPARK_WORKER_CORES=1
#woker管理内存
SPARK_WORKER_MEMORY=1000m
#端口号
SPARK_WORKER_PORT=7078
#web端口号
SPARK_WORKER_WEBUI_PORT=8081
#节点可以起几个进程，默认一个
SPARK_WORKER_INSTANCES=1
修改hadoop工作地址的slaves配置
hadoop-spark.dragon.org
知道worker工作地址的slaves配置
hadoop-spark.dragon.org
配置参数供程序使用
spark-defaults.conf
spark.master spark://hadoop-spark.dragon.org:7077
启动
sbin/start-master.sh
sbin/start-slaves.sh