zoukankan      html  css  js  c++  java
  • Hadoop使用实例 词频统计和气象分析

    一.词频统计

    下载喜欢的电子书或大量文本数据,并保存在本地文本文件中

    编写map与reduce函数

     

    本地测试map与reduce

     将文本数据上传至HDFS上

     用hadoop streaming提交任务

    查看运行结果

     

     计算结果取回到本地

     二、气象数据分析

        如:求每日最高温度

    批量下载气象数据

     解压数据集,并保存在本地文本文件中

     

    编写map与reduce函数

     

     本地测试map与reduce

     

     将气象数据上传至HDFS上

     用hadoop streaming提交任务

     

    查看运行结果

     

    计算结果取回到本地

     

  • 相关阅读:
    hdu4726
    hdu2709
    hdu4706
    hdu4715
    快速幂取模
    快速幂
    asp.net中页面传值
    微信小程序支付
    sql 查询重复记录值取一条
    bower使用
  • 原文地址:https://www.cnblogs.com/cxxcxl/p/13951797.html
Copyright © 2011-2022 走看看