zoukankan      html  css  js  c++  java
  • 007 关于Spark下的第二种模式——standalone搭建

    一:介绍

    1.介绍standalone

      Standalone模式是Spark自身管理资源的一个模式,类似Yarn
      Yarn的结构:
        ResourceManager: 负责集群资源的管理
        NodeManager:负责当前机器的资源管理
        CPU&内存
      Spark的Standalone的结构:
        Master: 负责集群资源管理
        Worker: 负责当前机器的资源管理
        CPU&内存

    二:搭建

    1.在local得基础上搭建standalone

    2.修改env.sh

      SPARK_WORKER_CORES=3 一个executor分配的cpu数量

      SPARK_WORKER_INSTANCES=2 一个work节点允许同时存在的executor的数量

      

    3.修改slave

      

    4.启动

      先启动HDFS

      在在spark根目录下,sbin/start-all.sh

      

       注意点:

      可以单独启动master与slaves。

      

      如下(补充):

      

    5.网页效果(standalone的master的UI网页:8080)

      只要启动standalone模式,这个界面就是有效的。

      在applications的运行或者完成处没有任务,所以没有什么程序。

      

      但是SparkUI 4040界面是进不去的,这个4040在shell的时候才能打开。

      

    三:测试

    1.测试

      启动spark-shell,并配置master地址。

      bin/spark-shell --master spark://linux-hadoop3.ibeifeng.com:7070

      

    2.网页效果

      多出一个运行的applications。

      

    3.使用程序检测

      然后输入wordcount的程序

      

    4.shell中的结果

      

    5.网页效果

      8080端口:

      

      单击8080端口中的这个application ID。

      

      单击8080端口中的spark shell后,将会进入4040端口,进入sparkUI界面。

      

      这时候可以继续单击Completed Jobs,可以看到job的DAG图。

      

      

      

  • 相关阅读:
    FreeMarker配置详解
    tab显示不同数据
    EL表达式可以直接放在url的“ ”里面
    js的搜索框
    js实现tab页面不同内容切换显示
    如何让html中的td文字只显示部分
    MobileNets: Open-Source Models for Efficient On-Device Vision
    LFW Face Database下载
    python遍历文件夹
    把cifar数据转换为图片
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6373250.html
Copyright © 2011-2022 走看看