zoukankan      html  css  js  c++  java
  • spark集群搭建(spark版本2.3.2)

    1.前置软件:

      JDK1.8

    2.修改配置文件:

    cp slaves.template slaves

    vi slaves

      添加从节点:

        slave1

        slave2

    cp spark-env.sh.template spark-env.sh

    vi spark-env.sh

      添加环境变量:

        export SPARK_MASTER_HOST=master
        export SPARK_MASTER_PORT=7077
        export SPARK_WORKER_CORES=2
        export SPARK_WORKER_MEMORY=3g
        export JAVA_HOME=/opt/module/jdk1.8.0_171

    3.基于yarn 提交任务有可能报错虚拟内存不足

    在每台节点中的yarn-site.xml中配值关闭虚拟内存检查
    <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
    </property>

    4.Standalone提交命令:

    ./bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.11-2.3.2.jar 100

    5.YARN提交命令:

    spark-env.sh配置:export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

    ./bin/spark-submit --master yarn --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.11-2.3.2.jar 100

    6.进入webUI界面

     http://master:8080/(端口7070是提交任务用的)

  • 相关阅读:
    java实现拼出漂亮的表格
    java实现金额组合
    java实现金额组合
    java实现金额组合
    java实现金额组合
    java实现Playfair 密码
    Mblog 部署手册
    配置Tomcat apr运行模式
    Duboo入门示例(Idea开发环境)
    Font-Awesome最新版完整使用教程
  • 原文地址:https://www.cnblogs.com/jqbai/p/10821955.html
Copyright © 2011-2022 走看看