zoukankan      html  css  js  c++  java
  • Spark 集群安装

    一、安装jdk

    二、安装scala

    三、安装Spark

    1、解压

    tar -zxvf spark-1.5.1-bin-hadoop2.6.tgz

    2、cp spark-env.sh.template spark-env.sh

    vi spark-env.sh 

    # Hadoop配置文件目录
    export HADOOP_CONF_DIR=/data/hadoop-2.7.1/etc/hadoop
    
    # SCALA路径
    export SCALA_HOME=/data/scala-2.10.6
    export JAVA_HOME=/data/jdk1.7.0_79
    export SPARK_LOCAL_DIRS=/data/spark-1.5.1-bin-hadoop2.6
    export SPARK_CONF_DIR=/data/spark-1.5.1-bin-hadoop2.6/conf
    
    export SPARK_MASTER_IP=192.168.1.105
    export SPARK_MASTER_PORT=7077
    
    #work执行任务使用本地磁盘的位置
    export SPARK_WORKER_DIR=/data/spark-1.5.1-bin-hadoop2.6/tmp
    

      3、work节点,输入主机名或者ip

    cp slaves.template slaves

    vi slaves

    # A Spark Worker will be started on each of the machines listed below.
    node1
    node2
    node3
    

     4、启动:

    sbin/start-all.sh

    查看进程:master1:

    7438 Master

    其他work 节点:

    21454 Worker

    5、关闭

    sbin/stop-all.sh

  • 相关阅读:
    Android中得到布局文件对象有三种方式
    android中的键值对
    .length()与.length与.size()
    异常处理
    Python操作Excel
    写一个简单的爬虫(博客)
    开发一个登录接口(Mysql)
    常用模块
    内置函数
    装饰器
  • 原文地址:https://www.cnblogs.com/fillPv/p/5912351.html
Copyright © 2011-2022 走看看