zoukankan      html  css  js  c++  java
  • Hive use mapreduce引擎 bsonFile splits报错处理

    Hive use mapreduce引擎

    1、          出现报错。关于bsonFile的。禁止hdfs里面存储的bson文件自动splits。

     可以在hive-site.xml文件里面添加如下内容:

      <property>

            <name>bson.output.build_splits</name>

            <value>false</value>

         </property>

         <property>

            <name>bson.split.write_splits</name>

            <value>false</value>

         </property>

         <property>

            <name>bson.split.read_splits</name>

            <value>false</value>

         </property>

        

     还可以添加一个选项,控制只读取以.bson结尾的文件:

          <property>

            <name> bson.pathfilter.class</name>

            <value>com.mongodb.hadoop.BSONPathFilter</value>

           </property>

  • 相关阅读:
    MapReduce
    es2.0的语法学习
    java的并发
    JVM的前世今生
    linux环境jacoco接入
    每天一个linux命令--~
    每天一个linux命令--ssh的host配置用户名密码
    jenkins集成robot
    ElasticSearch学习
    rf关键字
  • 原文地址:https://www.cnblogs.com/cuishuai/p/7613630.html
Copyright © 2011-2022 走看看