zoukankan      html  css  js  c++  java
  • hadoop运行案例

    运行一个example

    [hadoop@hadoop01 hadoop]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10

    运行的过程中报错

    然后去查看jobhistory

    发现以下错误

    Error: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support

    错误解析:不支持snappy格式的压缩

    解决方法:

    解决问题需要编译好的支持本格式的压缩的hadoop组件,但是我们的hadoop是从网上下载的,并没有这种组件,所以这种方法是行不通的。

    但是我们可以通过对参数的配置的改变来解决这个问题

    首先我们是跑mr报错,所以考虑配置更改是要考虑mapred-site.xml,打开以后把以下这段红框里的内容删掉就可以了

     考虑完mr的配置文件,再考虑一下公共的文件配置,core-site.xml文件里边的配置也要看一下,以下是相关内容,红框里的内容也需要删掉

    以上步骤都操作完了,再重新启动集群,重新跑一次,这时候就OK啦!!!开森!!!,

    开森完继续思考一下

    为什么要使用这个压缩格式呢?

    因为可以减少map的磁盘io

    我们通过hadoop checknative来查看当前我们的hadoop版本支持什么压缩格式。

    可以发现红框里的几种压缩格式都是不支持的。

  • 相关阅读:
    关于binary log一点总结[转]
    使用mysql索引技巧及注意事项
    优化php性能的一点总结
    html静态页面实现微信分享思路
    MySql字符串函数使用技巧
    Oracle计算时间差函数
    oracle10g获取Date类型字段无时分秒解决办法!
    Oracle常用函数
    COALESCE操作符
    关于null的操作
  • 原文地址:https://www.cnblogs.com/xuziyu/p/10673855.html
Copyright © 2011-2022 走看看