zoukankan      html  css  js  c++  java
  • spark调试遇到的问题--hibench的使用及问题

    调试遇到了很多问题,从中总结出最重要的一条就是:一定要看log!!!!!!!!!!

    配置hibench跟着github文档就好了,唯一可能出问题的就是版本问题,所以一定要先了解下各个组件的版本限制

    运行streaming调试需要的文档:https://github.com/intel-hadoop/HiBench/blob/master/docs/run-streamingbench.md

    在我测试的时候出现很多奇怪的问题,第一个:

    某个excutor上面的task总是失败,查看日志文件后tmp/spark-76e6a062-e190-46ca-ae05-2ad7ad33810b/executor-340bde76-c792-426c-934c-ccd9e2897f12/spark-9...No space left on device

    总之就是没空间了,那么

    (1)首先确定是哪个节点的excutor

    (2)往后看,因为master需要发送相关东西到worker的/spark/work文件夹中,那么可能这地方就是没空间的问题所在

    总之,我删了点work文件中的东西就变好了

  • 相关阅读:
    枚举
    枚举
    比特币中的密码学原理
    贪心
    dp
    二分
    mac解决matplotlib中文乱码
    Keras使用多个GPU并行
    pyspark使用-dataframe操作
    箱线图
  • 原文地址:https://www.cnblogs.com/o-din/p/6599713.html
Copyright © 2011-2022 走看看