zoukankan      html  css  js  c++  java
  • 用mapreduce 处理气象数据集

    用mapreduce 处理气象数据集

    编写程序求每日最高最低气温,区间最高最低气温

    1. 气象数据集下载地址为:ftp://ftp.ncdc.noaa.gov/pub/data/noaa
    2. 按学号后三位下载不同年份月份的数据(例如201506110136号同学,就下载2013年以6开头的数据,看具体数据情况稍有变通)
    3. 解压数据集,并保存在文本文件中
    4. 对气象数据格式进行解析
    5. 编写map函数,reduce函数
    6. 将其权限作出相应修改
    7. 本机上测试运行代码
    8. 放到HDFS上运行
      1. 将之前爬取的文本文件上传到hdfs上
      2. 用Hadoop Streaming命令提交任务
    9. 查看运行结果

    1.按学号后三位下载不同年份月份的数据

    cd /usr/hadoop
    sodu mkdir qx
    cd /usr/hadoop/qx
    
    wget -D --accept-regex=REGEX -P data -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2016/1*  (我学号是160 然而没有0月份)
    

     2.解压数据集,并保存在文本文件中

    zcat data/ftp.ncdc.noaa.gov/pub/data/noaa/2016/1*.gz >qxdata.txt

    3.

    4.将其权限作出相应修改

    chmod a+x /home/hadoop/qx/mapper.py
    chmod a+x /home/hadoop/qx/reducer.py

    5.

    mapper.py

    import sys
    
    for line in sys.stdin:
        line = line.strip()
        print('%s	%d' % (line[15:23], int(line[87:92])))

    reducer.py

    from operator import itemgetter
    import sys
    
    current_date = None
    current_temperature = 0
    date = None
    
    for line in sys.stdin:
        line = line.strip()
        date, temperature = line.split('	', 1)
        try:
            temperature = int(temperature)
        except ValueError:
            continue
    
        if current_date == date:
            if current_temperature < temperature:
                current_temperature = temperature
        else:
            if current_date:
                print('%s	%d' % (current_date, current_temperature))
            current_temperature = temperature
            current_date = date
    
    if current_date == date:
        print('%s	%d' % (current_date, current_temperature))
  • 相关阅读:
    curl查询公网出口IP
    Linux scp命令
    docker 安装 MySQL 8.0
    Ubuntu下apt方式安装与更新Git
    第2章 一切都是对象
    Mave实战(1)——Maven介绍
    关于Identityserver4和IdentityServer3 授权不兼容的问题
    装箱和拆箱、类型比较
    接口自动化用例(Fitnesse)中批量获取系统链路日志
    man时括号里的数字是啥意思
  • 原文地址:https://www.cnblogs.com/swxvico/p/9016494.html
Copyright © 2011-2022 走看看