zoukankan      html  css  js  c++  java
  • MapReduce方法的理解和遇到的问题总结

      昨天联系了一个用map和reduce来编写wordcount当时写出来感觉自己有点懂了,但是今天做到天气站求天气平均数的时候遇到了问题。自己摸索出来了一点歪门邪道。所谓map只管数据中一行,确定要传的key和value。而reduce则是对所有的value值进行计算,而不是只有一行的。在问题中出现类型的错误。通过将Doule换成Int类型解决。

           在对数据进行可视化的时候,tomcat突然就炸了,就连普通的网页就不能跑,后来就开始打不开tomcat。后来发现是maven中导入的tomcat包,和本地引入的tomcat是冲突的,所以发生矛盾,从中除去一个就可以解决,最好修改 tomcat的配置文件。

           在ercharts显示的时候,从后台获取数据之后不能显示出来,检查许久,数据确实是从后台传回来了已经,确保无误。这个问题在于有些echarts可以直接用mychart.setOption执行,而有的要用先写一个option方法,在下面用mychart.setOption(option)来进行实现。     

           还有在将项目部署在虚拟机的tomcat的时候,一定要慎重,用maven部署之后,虚拟机的tomcat原有的root文件内容被覆盖,本机就会出现不能访问虚拟机tomcat的问题。删除虚拟机的root文件,将对应版本号的root文件复制进去即可。

           还有就是MapReduce在计算过程中可能会提示winutils不存在,如果不能跑则配置环境变量,将hadoop.dll winutils libwinutils 拷入system32中,并且把winutils拷入在hadoop的bin目录下即可

  • 相关阅读:
    webpack学习(一)—— 入门
    AMD 规范
    CommonJS 规范
    webpack 故障处理
    webpack 开发环境
    webpack 插件
    webpack 配置文件
    webpack 使用
    webpack Loader
    webpack常用的插件安装命令
  • 原文地址:https://www.cnblogs.com/xieshiyu/p/9306751.html
Copyright © 2011-2022 走看看