zoukankan      html  css  js  c++  java
  • hadoop遇到的问题(汇总)

    1. 如果Map和reduce的输出不一致,需要显示的设置Map的输出,没有根据参数进行推导的原因是类型擦除

    combiner是在copy数据到机器之前可以进行的一些数据的合并,这和数据有关,不是所有的任务都可以

    进行combiner过程。

    2. Hadoop 有两套API,一般来说用旧的就只能全部用旧的,用新的话就只能用新的,不能混用,不然会出现各种

    错误。

    3.InputSampler的问题,改变reduce的个数会影响结果的输出,报 split point are out of order 。这个问题是

    因为取样之后,样本不均匀,导致选取的split point 中有相等的,然后报了这个错误,通过查找源代码发现,并且

    把函数展开之后调试,特别困难。这种情况下只能是减少reduce的个数,这个问题只和数据有关,和其它条件没有

    关系。

  • 相关阅读:
    kubernetes系列(十四)
    kubernetes系列(十三)
    kubernetes系列(十二)
    kubernetes系列(十一)
    kubernetes系列(十)
    kubernetes系列(九)
    kubernetes系列(八)
    MySQL命令(其三)
    MySQL操作命令(其二)
    MySQL命令(其一)
  • 原文地址:https://www.cnblogs.com/zhanglanyun/p/3214761.html
Copyright © 2011-2022 走看看