Hive: 可以对数据转换为类SQL执行,调用hadoop mapreduce进行分布式计算。据说facebook的95%统计分析由此进行。有了分布式后ad hoc查询也变成可能。所以该软件还是不错的。
1 单机安装可参考官网
2 和hadoop集成步骤
2.1 安装好hadoop
2.2 job tracker根据自身的配置进行调整
SET mapred.job.tracker=myhost.mycompany.com:50030;
同样文件位置也一样进行调整 hostname:9000 具体忘了,应该是这个
2.3 CLI进行测试
注意:我在整个过程中碰到一个情况,具体的忘了,错误信息是期望的地址和实际不一致。就是修改masters为名称而不是IP。重启动就可以。
HWI可以在页面进行查看当前运行情况和结果。和CLI类似。
参考文献: