zoukankan      html  css  js  c++  java
  • Hadoop学习之路一 Single Node Setup

      从研究生入学到现在,快一年的时间了。和很多人一样,我迷茫着,一直没想明白自己想要干什么。年轻的时候真的想和所有人不一样,直到最后选择了大数据方向,更多的也是感觉。青春的魅力在于可能性。没有过多的犹豫纠结,专心练剑才是王道。

      刚开始学习Hadoop,用的最多的是apache的官方网站,www.apache.org。可以从主页的DownLoad里下载apache的软件,在下方的Apahce Project List里可以找到软件的详细信息,我主要用到的是Hadoop的文档。

    Overview: 介绍了hadoop的主要改进。
    Single Node Setup:介绍了最简单的Hadoop的使用,这种模式不使用HDFS,只访问本地文件。

    单节点模式需要的软件:jdk和hadoop

    版本信息:Hadoop-2.5.2;jdk1.7.0_79

    安装位置:/home/hadoop/jdk1.7.0_79;

         /home/hadoop/hadoop-2.5.2

    配置信息:home/hadoop/hadoop-2.5.2/etc/hadoop/hadoop-env.sh(修改之前先备份,养成习惯)

             export JAVA_HOME=/home/hadoop/jdk1.7.0_79

           export HADOOP_PREFIX=/home/hadoop/hadoop-2.5.2

    到这里,单击模式的Hadoop就完成了。

    Try the following command:

      $ bin/hadoop

    正常情况下,会出现Usage信息

    测试:Standalone Operation

      $ mkdir input

      $ cp etc/hadoop/*.xml input

      $ bin/hadoop jar share/hadoop/mapreduce//hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'

      $ cat output/*

    结果为:1    dfsadmin

    可能会出现错误信息,如:无法加载主类,org.apace....Runjar

    我第一次实验的时候出现这个问题,没有解决。最后之后,清理空间,重新安装才成功。

  • 相关阅读:
    CSS中position小解
    position
    mac默认安装postgresql, 如何让postgresql可以远程访问
    The data directory was initialized by PostgreSQL version 9.6, which is not compatible with this version 10.0.
    active admin gem error
    psql 无法添加超级用户
    ubuntu 15.04 安装Balsamiq Mockups 3
    Rails html 写public里图片的路径
    rails c 历史命令
    undefined local variable or method `per' for []:ActiveRecord::Relation
  • 原文地址:https://www.cnblogs.com/fuchao1992/p/4554717.html
Copyright © 2011-2022 走看看