zoukankan      html  css  js  c++  java
  • 4-hadoop的运行模式(本地)

    Hadoop的运行模式

    Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

    Hadoop官方网站:http://hadoop.apache.org/

    2.7.2版本官网:http://hadoop.apache.org/docs/r2.7.2/
    文档:http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html

    Grep案例

    在hadoop文件夹下新建input文件夹
    进行拷贝配置文件

    命令:在hadoop文件目录下

    cp etc/hadoop/*.xml  input/
    

      

    执行测试命令

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  grep input/  output/  'dfs[a-z.]+'

    解释:

    首先使用hadoop命令 找到jar (指定jar的地址) grep为测试的案例

    其次是指定输入路径  input/   均是一些配置文件   output/ 为输出路径(注意:这个文件夹不需要创建)

    最后使用一个正则表达式进行字符的验证

    注意:output文件不能创建否则会进行报错:该文件夹已经存在

    执行程序可以发现(部分):

    此时进入output目录下:

    _SUCCESS:表示执行成功

    part-r-0000:表示执行之后生成的数据文件

    此时查询part-r-0000查询匹配的相关正则表达式的内容

     wordcount案例

     在hadoop目录下创建wcinput文件夹

    统计关键词出现的次数

    进行新创建的文件夹目录下出啊昂见wc.input文件夹

    文件地内容:

    命令:

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  wordcount wcinput/ wcoutput/

    进入wcoutput进行查看

     

  • 相关阅读:
    深入了解Struts2返回JSON数据的原理及具体应用范例
    Struts国际化
    LeetCode Balanced Binary Tree
    LeetCode Triangle
    Binary Tree Level Order Traversal
    Pow(x,n)
    Symmetric Tree
    LeetCode Word Search
    LeetCode Insert Interval
    Maximum Depth of Binary Tree
  • 原文地址:https://www.cnblogs.com/Mrchengs/p/11217756.html
Copyright © 2011-2022 走看看