zoukankan      html  css  js  c++  java
  • Spark应用(app jar)发布到Hadoop集群的过程

    记录了Spark,Hadoop集群的开启,关闭,以及Spark应用提交到Hadoop集群的过程,通过web端监控运行状态。

    1.绝对路径开启集群

    (每次集群重启,默认配置的hadoop集群中tmp文件被清空所以需要重新format)
    我的集群安装位置是/opt/hadoop下,可以根据自己路径修改。

    /opt/hadoop/bin/hdfs namenode -format
    /opt/hadoop/sbin/start-all.sh
    /opt/spark/sbin/start-all.sh

    使用jps命令查看集群是否全部正确开启
    这里写图片描述

    2.绝对路径关闭集群

    /opt/hadoop/sbin/stop-all.sh
    /opt/spark/sbin/stop-all.sh

    3.Spark业务(app)发布到Hadoop YARN集群方式

    这里发布一个spark本身自带的jar发到hadoop集群中(此时hadoop和spark都已开启)

    cd /opt/spark
    ./bin/spark-submit 
    --class org.apache.spark.examples.SparkPi 
    --master yarn 
    --deploy-mode cluster 
    --driver-memory 4g 
    --executor-memory 2g 
    --executor-cores 1 
    lib/spark-examples-1.6.2-hadoop2.6.0.jar 
    10

    注意spark-examples-1.6.2-hadoop2.6.0.jar,需要根据你的版本来看自带的版本号。
    这里写图片描述

    4.log地址(方便查看错误信息)

    /opt/hadoop/logs/
    /opt/spark/logs/

    5.web地址查看(可以直观的查看集群执行情况)

    http://localhost:8088/cluster/apps
    http://localhost:8080/
    通过http://localhost:8088/cluster/apps看到执行成功SUCCEEDED
    这里写图片描述
    查看SparkPi运行结果,结果为Pi is roughly 3.140572。数值可能稍有不同。总之成功了!

    这里写图片描述

    这里写图片描述

  • 相关阅读:
    以“处理器”为中心的时代过去了
    新宿事件里的一句话
    2
    了解企业要招的,再去学相应的东西
    maxim
    ORA00980 无效同名
    Oracle 字符集的查看和修改
    Linux挂载磁盘
    ORA28002: 7 天之后口令将过期
    ORAdump函数
  • 原文地址:https://www.cnblogs.com/lanzhi/p/6467675.html
Copyright © 2011-2022 走看看