zoukankan      html  css  js  c++  java
  • 07、Spark集群的进程管理

    07、Spark集群的进程管理

    7.1 概述

    Spark standalone集群模式涉及master和worker两个守护进程。master进程是管理节点,worker进程是工作节点。spark提供了很多方便启动或停止进程的脚本,风格和hadoop相似。

    7.2 启动脚本

    #启动所有spark进程包括master和worker,该命令在maste节点执行
    $>start-all.sh
    
    #启动Master进程,该命令需要在master节点执行
    $>start-master.sh
    
    #启动所有worker节点,该命令在master节点执行
    $>start-slaves.sh
    
    #单独启动worker节点,该命令在worker节点上执行
    $>start-slave.sh spark://s101:7077
    

    7.3 停止脚本

    #停止所有spark进程包括master和worker,该命令在maste节点执行
    $>stop-all.sh
    
    #停止Master进程,该命令需要在master节点执行
    $>stop-master.sh
    
    #停止所有worker节点,该命令在master节点执行
    $>stop-slaves.sh
    
    #单独停止worker节点,该命令在worker节点上执行
    $>stop-slave.sh spark://s101:7077
    
  • 相关阅读:
    004 使用文本编辑器
    003 第一个Python程序
    002 Python解释器
    001 安装Python
    000 Python教程
    001 Java环境变量配置
    002 基础语法1
    003 基础语法2
    dede首页调用会员积分和头像代码
    DEDE 会员调用方法
  • 原文地址:https://www.cnblogs.com/xupccc/p/9544597.html
Copyright © 2011-2022 走看看