zoukankan      html  css  js  c++  java
  • MapReduce方法的理解和遇到的问题总结

      昨天联系了一个用map和reduce来编写wordcount当时写出来感觉自己有点懂了,但是今天做到天气站求天气平均数的时候遇到了问题。自己摸索出来了一点歪门邪道。所谓map只管数据中一行,确定要传的key和value。而reduce则是对所有的value值进行计算,而不是只有一行的。在问题中出现类型的错误。通过将Doule换成Int类型解决。

           在对数据进行可视化的时候,tomcat突然就炸了,就连普通的网页就不能跑,后来就开始打不开tomcat。后来发现是maven中导入的tomcat包,和本地引入的tomcat是冲突的,所以发生矛盾,从中除去一个就可以解决,最好修改 tomcat的配置文件。

           在ercharts显示的时候,从后台获取数据之后不能显示出来,检查许久,数据确实是从后台传回来了已经,确保无误。这个问题在于有些echarts可以直接用mychart.setOption执行,而有的要用先写一个option方法,在下面用mychart.setOption(option)来进行实现。     

           还有在将项目部署在虚拟机的tomcat的时候,一定要慎重,用maven部署之后,虚拟机的tomcat原有的root文件内容被覆盖,本机就会出现不能访问虚拟机tomcat的问题。删除虚拟机的root文件,将对应版本号的root文件复制进去即可。

           还有就是MapReduce在计算过程中可能会提示winutils不存在,如果不能跑则配置环境变量,将hadoop.dll winutils libwinutils 拷入system32中,并且把winutils拷入在hadoop的bin目录下即可

  • 相关阅读:
    objectForKey与valueForKey在NSDictionary中的差异 转发
    客户需求
    Linked to SAP CRM
    测试
    同学们,没事就练习打字吧
    WebCast下载利器iReaper新版发布
    转载一篇帖子《我对软件应聘学生的建议》
    建议ASP.NET Web开发新手学习的几个基础框架
    一般CSS元素及文件命名方法
    Thinkpad T60入手,爱机S41出售
  • 原文地址:https://www.cnblogs.com/xieshiyu/p/9306751.html
Copyright © 2011-2022 走看看