在hive0.7的版本中增加了local hadoop的功能,就是在处理数据量比较小的情况在本地执行,而不走分布的mapred。
这样一来,那些比较小的任务的执行速度就会大大提高。
那到底什么样的任务会采用local hadoop呢,是由hive的一个参数控制的。
hive.exec.mode.local.auto.inputbytes.max
当处理的数据量比这个参数值小的情况下就会采用local hadoop的方式来执行。
如果想要屏蔽掉local hadoop的功能,只需要把这个参数设置为-1即可。
<property> <name>hive.exec.mode.local.auto.inputbytes.max</name> <value>-1</value> </property>
转自 http://www.oratea.net/?p=703