zoukankan      html  css  js  c++  java
  • 用MapReduce处理数据

    1.打开eclipse,创建一个新的Java Project;选择“Configure Build Path”,选择Library标签,Add External JARs,选择Apache/Hadoop 1.0.4文件夹,选择下列jar文件:(备注:选择的jar视情况而定,参考链接http://www.cnblogs.com/chenyaling/p/5521389.html)

    2.创建“com.letsdobigdata”包,在包下创建“MaxTemparatureMapper,MaxTemparatureRedcuer,MaxTemparatureDriver”类;

    3.将com.letsdobigdata项目导出为Jar文件,命名为weather.jar;

    4.启动Hadoop
    复制weather.txt文件到“/home/ chen/data/weather.txt”

    5.访问localhost:50070,利用文件选择器选择选择weather.txt;

    6.运行MapReduce程序,

    bin/hadoop jar /home/chen/Apache/weatherdata.jar com.letsdobigdata.MaxTemperatureDriver /weather.txt /home/chen/workspace/weather2”;

    7.打开浏览器查看输出结果;

    8.复制结果到output.txt
    bin/hadoop dfs -copyToLocal hdfs:/home/chen/workspace/weather2/part-r-00000 /home/chen/output2.txt
    9.查看output.txt。

  • 相关阅读:
    笔记本
    物料主档建立(PP模组)
    烦!烦!烦!
    Windows Live Writer试用
    SAP系统中发送公告的几种办法
    [CSS样式表之] 渐变色的实现
    今天终于开通了这个博客了
    MFC消息映射机制过程
    绘图
    C++ 内存分配和指针
  • 原文地址:https://www.cnblogs.com/chenyaling/p/5521371.html
Copyright © 2011-2022 走看看