zoukankan      html  css  js  c++  java
  • 007 关于Spark下的第二种模式——standalone搭建

    一:介绍

    1.介绍standalone

      Standalone模式是Spark自身管理资源的一个模式,类似Yarn
      Yarn的结构:
        ResourceManager: 负责集群资源的管理
        NodeManager:负责当前机器的资源管理
        CPU&内存
      Spark的Standalone的结构:
        Master: 负责集群资源管理
        Worker: 负责当前机器的资源管理
        CPU&内存

    二:搭建

    1.在local得基础上搭建standalone

    2.修改env.sh

      SPARK_WORKER_CORES=3 一个executor分配的cpu数量

      SPARK_WORKER_INSTANCES=2 一个work节点允许同时存在的executor的数量

      

    3.修改slave

      

    4.启动

      先启动HDFS

      在在spark根目录下,sbin/start-all.sh

      

       注意点:

      可以单独启动master与slaves。

      

      如下(补充):

      

    5.网页效果(standalone的master的UI网页:8080)

      只要启动standalone模式,这个界面就是有效的。

      在applications的运行或者完成处没有任务,所以没有什么程序。

      

      但是SparkUI 4040界面是进不去的,这个4040在shell的时候才能打开。

      

    三:测试

    1.测试

      启动spark-shell,并配置master地址。

      bin/spark-shell --master spark://linux-hadoop3.ibeifeng.com:7070

      

    2.网页效果

      多出一个运行的applications。

      

    3.使用程序检测

      然后输入wordcount的程序

      

    4.shell中的结果

      

    5.网页效果

      8080端口:

      

      单击8080端口中的这个application ID。

      

      单击8080端口中的spark shell后,将会进入4040端口,进入sparkUI界面。

      

      这时候可以继续单击Completed Jobs,可以看到job的DAG图。

      

      

      

  • 相关阅读:
    OpenCV教程(46) 快速特征检测
    OpenCV教程(45) harris角的检测(3)
    OpenCV教程(44) harris角的检测(2)
    OpenCV教程(43) harris角的检测(1)
    Andriod源码搜集
    OpenCV特征检测教程
    使用SGD(Stochastic Gradient Descent)进行大规模机器学习
    根据两点经纬度计算距离【转】
    转载]根据两点的经纬度求方位角和距离,等
    array
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6373250.html
Copyright © 2011-2022 走看看