zoukankan      html  css  js  c++  java
  • CDH quick start VM 中运行wordcount例子

    需要注意的事情:

    1. 对于wordcount1.0 ,按照http://www.cloudera.com/content/cloudera/en/documentation/HadoopTutorial/CDH4/Hadoop-Tutorial/ht_usage.html#topic_5_2 执行。

    2.hadoop fs -mkdir /user/cloudera 这条语句意思是在hadoop文件系统下创建新文件夹。在终端中执行"cd /user/cloudera"是错误的,会出现找不到文件提示。我的理解是hadoop文件系统为每一个组件建立了一个文件夹,其中user是主目录,下面对应的是各个组件文件夹。如下面代码所示,cloudera,hdfs,hive都有自己对应的文件夹。

    [cloudera@quickstart ~]$ hadoop fs -ls /user/cloudera
    Found 1 items
    drwxr-xr-x   - cloudera cloudera          0 2015-01-11 05:16 /user/cloudera/wordcount
    [cloudera@quickstart ~]$ hadoop fs -ls /user/hdfs
    Found 1 items
    drwxr-xr-x   - hdfs supergroup          0 2015-01-10 23:45 /user/hdfs/.Trash
    [cloudera@quickstart ~]$ hadoop fs -ls /user/hive
    Found 1 items
    drwxrwxrwx   - hive hive          0 2015-01-11 03:46 /user/hive/warehouse
    [cloudera@quickstart ~]$ 

    3.在进行第三部的时候“compile wordcount.java”,首先要把源代码拷贝下来,在"/home/cloudera/"下面新建文件WordCount.java,注意区分大小写。然后执行:

    mkdir wordcount_classes
    javac -classpath /usr/lib/hadoop/hadoop-common-2.5.0-cdh5.2.0.jar:/usr/lib/hadoop/client/hadoop-mapreduce-client-core-2.5.0-cdh5.2.0.jar -d wordcount_classes WordCount.java

    注意根据自己的版本把上面的代码替换成适合自己的。

    4.完成上步之后,完全按照官网(http://www.cloudera.com/content/cloudera/en/documentation/HadoopTutorial/CDH4/Hadoop-Tutorial/ht_usage.html#topic_5_2)来即可。

    chuanting.zhang @ 2015-01-11 引用请注明出处 http://www.cnblogs.com/chuantingSDU/。

  • 相关阅读:
    PHP生成xml 无法识别或是无法读取或是浏览器不识别等问题
    关于PHP 采集类
    Centos7 下安装Docke
    Git使用之设置SSH Key
    yii2.0中Rbac 怎么添加超加管理员
    Undefined index: HTTP_RAW_POST_DATA的解决办法
    window下phpstudy的nginx配置虚拟主机
    yii2.0中添加二维数组,多条数据。
    预防onion比特币勒索病毒,如何快速关闭135,137,138,139,445端口
    github与git之间怎么建立连接
  • 原文地址:https://www.cnblogs.com/chuantingSDU/p/4217173.html
Copyright © 2011-2022 走看看