zoukankan      html  css  js  c++  java
  • MapReduce方法的理解和遇到的问题总结

      昨天联系了一个用map和reduce来编写wordcount当时写出来感觉自己有点懂了,但是今天做到天气站求天气平均数的时候遇到了问题。自己摸索出来了一点歪门邪道。所谓map只管数据中一行,确定要传的key和value。而reduce则是对所有的value值进行计算,而不是只有一行的。在问题中出现类型的错误。通过将Doule换成Int类型解决。

           在对数据进行可视化的时候,tomcat突然就炸了,就连普通的网页就不能跑,后来就开始打不开tomcat。后来发现是maven中导入的tomcat包,和本地引入的tomcat是冲突的,所以发生矛盾,从中除去一个就可以解决,最好修改 tomcat的配置文件。

           在ercharts显示的时候,从后台获取数据之后不能显示出来,检查许久,数据确实是从后台传回来了已经,确保无误。这个问题在于有些echarts可以直接用mychart.setOption执行,而有的要用先写一个option方法,在下面用mychart.setOption(option)来进行实现。     

           还有在将项目部署在虚拟机的tomcat的时候,一定要慎重,用maven部署之后,虚拟机的tomcat原有的root文件内容被覆盖,本机就会出现不能访问虚拟机tomcat的问题。删除虚拟机的root文件,将对应版本号的root文件复制进去即可。

           还有就是MapReduce在计算过程中可能会提示winutils不存在,如果不能跑则配置环境变量,将hadoop.dll winutils libwinutils 拷入system32中,并且把winutils拷入在hadoop的bin目录下即可

  • 相关阅读:
    Apache-Tomcat 和 Apache-Maven配置
    php版本CKFinder3.4.4自定义上传文件位置
    php版本CKEditor 4和CKFinder安装及配置
    windows10 卸载 Docker 和 DockerNAT
    faker php测试数据库生成2
    faker php测试数据库生成
    我的php.ini上传文件配置
    同一个网址电脑手机访问显示不同内容思路
    mysql where 条件中的字段有NULL值时的sql语句写法
    Chrome导出书签瘦身,去除ADD_DATE和ICON
  • 原文地址:https://www.cnblogs.com/xieshiyu/p/9306751.html
Copyright © 2011-2022 走看看