本周主要进行了MapReduce的作业,但是尚无成效。数据量一大双表汇总的MapReduce就会运行很久之后FAIL掉,原因疑似是空间占用过大,但是尚不清楚具体问题出在哪步。
花在学习上:15小时
花在代码上:11小时
花在解决问题上:10小时
本周遇到的问题:
1.如上所述,数据量一大双表汇总的MapReduce就会运行很久之后FAIL掉,原因疑似是空间占用过大,但是尚不清楚具体问题出在哪步
2.Map或Reduce阶段尝试使用System.out进行输出,但是无论是查阅网页的logs还是终端都看不到这两个阶段的实际输出。