zoukankan      html  css  js  c++  java
  • 7月13号day5总结

    今天学习过程和小结

    使用伪分布式进行大数据计算,计算气象站记录气温的平均值

    weather

    map()方法,key值数据多所以用LongWritable,value值是string类型,string类型包装类是Text。输出value是气温也是Text,keyIntWritable.接下来重写map方法。//获取气象站编号--文件名,从510.获取其气温值,从1319,去空格trim()方法。

    reduce()方法,第一步继承int sum=0相同key进行合并在同一个reduce下。int count=0

    sum+=val.get();count++;

    Job()方法,继承类,main方法,配置文件,连接namenode

    气温计算过程:

     

    气温计算结果:

     

    怎么显示?读出来放进数据库中。读一行放一行。怎么读?用HDFS读写操作读取文件。

    读取文件中的数据:

     

    读取之后存入数据库中

    建立数据库,ENGINE=INNODB数据引擎,default charset=utf8事物,原子操作,要么都执行要么都不执行。保证数据的一致性。分布式数据库消息中间件回滚。不能用原子操作。因为数据分布在不同的数据库就不是同一个数据源。

    insert封装数据输入到数据库中之后进行前端显示。

    显示的时候用springMVC框架

    框架配置过程:

    用到springMVCservlet用户只能通过URL提交到servletservicedo Get.doPost)通过转发或重定向。但什么时候用,查询以后用转发。增删改之后用重定向。用转发的话会进行重复操作。查询之后吧数据放入作用域。servlet用类@servlet配地址。用户通过URL到核心拦截器DispatchServlet.拦截所有的请求解析URLhandlerMapping.keyvalueURLhandler对象1.通过URLhandlerhandlerMapping3.handler交给handleradaperhandlerAdaper4.将返回值交还给DispatchServlet.

    web.xml中配置

    第三个包,jstl1.24.16contect,mvc

     遇到问题汇总

     1.在进行气温计算的时候,要通过KEY来确定数据,但一开始从文件中数数据列的时候没有数对列数。而且数据前可能有空格也没有考虑到,要用trim()去空格

    2.Setting property 'source' to 'org.eclipse.jst.jee.server:你的站点名'   did not find a matching property。在Tomcat的设置上面出了错。

    3.SpringMVC的原理有所了解但是自己搭建springMVC的环境还比较生疏。

    4.在用HDFS进行文件操作的时候要注意文件的路径,对于namenotedatanote

     学习技能思维导图

     

  • 相关阅读:
    Spring学习记录(八)---Bean的生命周期
    Spring学习记录(七)---表达式语言-SpEL
    Spring学习记录(六)---使用外部属性文件
    Spring学习记录(五)---bean的作用域scope
    Spring学习记录(四)---bean之间的关系:继承、依赖
    Spring学习记录(三)---bean自动装配autowire
    Spring学习记录(二)---容器和bean属性配置
    2017.9
    Flask
    ELK
  • 原文地址:https://www.cnblogs.com/kangy123/p/9306707.html
Copyright © 2011-2022 走看看