zoukankan      html  css  js  c++  java
  • Hadoop使用实例

    1.词频统计

    1.1下载喜欢的电子书或大量文本数据,并保存在本地文本文件中

    1.2编写map与reduce函数

    1.3本地测试map与reduce

    1.4将文本数据上传至HDFS上

    1.5用hadoop streaming提交任务

    1.6查看运行结果

    1.7计算结果取回到本地

    加分

    2.气象数据分析

         如:求每日最高温度

    2.1批量下载气象数据

    2.2解压数据集,并保存在本地文本文件中

    2.3编写map与reduce函数

    2.4本地测试map与reduce

    2.5将气象数据上传至HDFS上

    2.6用hadoop streaming提交任务

    2.7查看运行结果

    2.8计算结果取回到本地

  • 相关阅读:
    Spring
    JavaWeb
    JDBC
    MYSQL
    IDEA个人常用快捷键
    Web前端-JAVASCRIPT
    Web前端-HTML
    注解与反射
    多线程
    区块链 ATS多策略量化机器人简介
  • 原文地址:https://www.cnblogs.com/shawncs/p/13953321.html
Copyright © 2011-2022 走看看