zoukankan      html  css  js  c++  java
  • Spark——常用命令

    • 查看正在处理(appStatus=SUBMITED、ACCEPTED、RUNNING)的应用
    yarn application -list
    • 查看所有的应用
    yarn application -list -appStates ALL
    • 查看某个应用的状态
    yarn application -status application_1596107846796_0002
    • 查看某个应用的日志
    yarn logs -applicationId application_1596107846796_0002

    注:1、应用的状态为(FINISHED、KILLED)才能使用该命令查看日志

      2、yarn-site.xml 要进行以下配置:

    <!--log-->
     <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
     </property>
     <property>
            <name>yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds</name>
            <value>3600</value>
     </property>
     <property>
            <name>yarn.nodemanager.remote-app-log-dir</name>
            <value>/tmp/logs</value>
     </property>
    • 停止某个应用
    yarn application -kill application_1596107846796_0002

    注:直接在UI界面或者是终端kill掉任务都是不对的,该任务可能还会继续执行下去,所以要用如下命令才算完全停止该job的执行

  • 相关阅读:
    Markdown语法
    Hello World
    sql笔试题-1
    解决高版本vm打开虚拟机报错
    zookeeper启动闪退
    java找出1~1000中素数的三种方式
    Java中更精确的计时
    vue系列之调试工具(vue-devtools)
    vue系列之npm命令错误
    vue系列之安装基础环境
  • 原文地址:https://www.cnblogs.com/caoweixiong/p/13410211.html
Copyright © 2011-2022 走看看