zoukankan      html  css  js  c++  java
  • Spark学习笔记之-Spark远程调试

    Spark远程调试
                          
     
    本例子介绍简单介绍spark一种远程调试方法,使用的IDE是IntelliJ IDEA。
     
    1、了解jvm一些参数属性
     
    -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888
     
    这里对上面的几个参数进行说明:
    -Xdebug 启用调试特性
    -Xrunjdwp 启用JDWP实现,包含若干子选项:
    transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
    address=8888 JVM在8888端口上监听请求,这个设定为一个不冲突的端口即可。
    server=y y表示启动的JVM是被调试者。如果为n,则表示启动的JVM是调试器。
    suspend=y y表示启动的JVM会暂停等待,直到调试器连接上才继续执行。suspend=n,则JVM不会暂停等待。
     
    2、编译打包,正常打包即可。
        放到spark服务器上跑之,执行:
        a、spark-submit --supervise --class spark_security.Sockpuppet  --name "testkdl1"  --executor-memory 8192M --num-executors 8 --master yarn-client --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" spark_Security-1.0-SNAPSHOT.jar  logindelaer.properties 
        其中对应加色字体为:包中具体的方法、打包的文件、对应方法的配置文件
        黑色加粗参数为:启用远程调试参数
        b、也可在conf/spark-env.sh这个文件最后加入
              export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"
              不过没有进行实际测试
        
        执行结果会显示如下,监听8888端口,暂停等待调试器连接,如下:
        
     
    3、配置IDEA调试的一些参数
        Run -> Edit Configurations ->点击左上角 ‘+’ -> Remote -> 设置连接端口  如下
        
     
     
    4、在程序中设置断点
        
     
    5、Run -> Debug 进行调试启动
     
    6、Ok完成
        连接成功
        spark服务器端显示如下:
        
        
        IDEA显示:
        
     
        停在断点,同本地调试一样,也可以查看变量值等
        
     
  • 相关阅读:
    我用Python爬虫挣钱的那点事
    猿人学 . 爬虫逆向高阶课
    Python中实用却不常见的小技巧
    Python内存数据序列化到硬盘上哪家强
    利用setuptools发布Python程序到PyPI,为Python添砖加瓦
    配置tmux在机器重启后自动恢复tmux工作现场,告别重启恐惧症
    用python实现新词发现程序——基于凝固度和自由度
    学习笔记:Python序列化常用工具及性能对比
    浅谈自然语言在科技时代的运用
    python学习笔记:建立一个自己的搜索引擎
  • 原文地址:https://www.cnblogs.com/ilinuxer/p/6759812.html
Copyright © 2011-2022 走看看