zoukankan      html  css  js  c++  java
  • 用mapreduce 处理气象数据集

    编写程序求每日最高最低气温,区间最高最低气温

    1. 气象数据集下载地址为:ftp://ftp.ncdc.noaa.gov/pub/data/noaa
    2. 按学号后三位下载不同年份月份的数据(例如201506110136号同学,就下载2013年以6开头的数据,看具体数据情况稍有变通)
    3. 解压数据集,并保存在文本文件中
    4. 对气象数据格式进行解析
    5. 编写map函数,reduce函数
    6. 将其权限作出相应修改
    7. 本机上测试运行代码
    8. 放到HDFS上运行
      1. 将之前爬取的文本文件上传到hdfs上
      2. 用Hadoop Streaming命令提交任务
    9. 查看运行结果

    1-2:

    由于我的学号是159,但是因为我所设的内存不够,所以我下载了2015年以9开头的几份数据压缩包以910,911,912为主:

    3.解压数据集,并保存在文本文件中

    4.对气象数据格式进行解析,打开文件的开头,查看气象数据集

    通过分析第一段:

    :1-4: 0195 ;  5-10:910660  表示:城市的气象站编号,不过我上网查了下好像没这个; 11-15:227012 是气象站标识符    ;   16-23:20150101  则是指2015年1月1日的气象记录;  24-27:0056  气候记录时间00:56分    ;  28:4 ;  29-34:+28202  纬度(1000倍)大概是北纬28.2度 ;  35-41:-177381 经度(1000倍)大概是东经177度;

    42-46:FM-15   ;   47-51 :+0004  海拔(米); 52-56:99999; 57-60:V020 ; 61-63:200  风向;64::1;65:N  质量代码;。。。。。88-92:+0227 空气温度(摄氏度)

    5.

    编写map函数,reduce函数

    将其权限作出相应修改

    本机上测试运行代码

    放到HDFS上运行

    将之前爬取的文本文件上传到hdfs上

    用Hadoop Streaming命令提交任务

     

    查看运行结果

  • 相关阅读:
    (转) 网络游戏程序员须知 基础概念篇(游戏同步)
    (转) 网络游戏实时动作同步方案手记
    (转)Unity3d中的碰撞检测
    在Hadoop1.2.1上运行第一个Hadoop程序FileSystemCat
    shell小工具查看Hadoop中System.out输出的日志
    配置Hadoop1.2.1
    Linux下出现command not found的解决办法
    hadoop在子节点上没有datanode进程
    Hadoop常用命令
    hadoop下载地址
  • 原文地址:https://www.cnblogs.com/tiankongyiluozhiwu/p/9015732.html
Copyright © 2011-2022 走看看