zoukankan      html  css  js  c++  java
  • Hadoop学习之路一 Single Node Setup

      从研究生入学到现在,快一年的时间了。和很多人一样,我迷茫着,一直没想明白自己想要干什么。年轻的时候真的想和所有人不一样,直到最后选择了大数据方向,更多的也是感觉。青春的魅力在于可能性。没有过多的犹豫纠结,专心练剑才是王道。

      刚开始学习Hadoop,用的最多的是apache的官方网站,www.apache.org。可以从主页的DownLoad里下载apache的软件,在下方的Apahce Project List里可以找到软件的详细信息,我主要用到的是Hadoop的文档。

    Overview: 介绍了hadoop的主要改进。
    Single Node Setup:介绍了最简单的Hadoop的使用,这种模式不使用HDFS,只访问本地文件。

    单节点模式需要的软件:jdk和hadoop

    版本信息:Hadoop-2.5.2;jdk1.7.0_79

    安装位置:/home/hadoop/jdk1.7.0_79;

         /home/hadoop/hadoop-2.5.2

    配置信息:home/hadoop/hadoop-2.5.2/etc/hadoop/hadoop-env.sh(修改之前先备份,养成习惯)

             export JAVA_HOME=/home/hadoop/jdk1.7.0_79

           export HADOOP_PREFIX=/home/hadoop/hadoop-2.5.2

    到这里,单击模式的Hadoop就完成了。

    Try the following command:

      $ bin/hadoop

    正常情况下,会出现Usage信息

    测试:Standalone Operation

      $ mkdir input

      $ cp etc/hadoop/*.xml input

      $ bin/hadoop jar share/hadoop/mapreduce//hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'

      $ cat output/*

    结果为:1    dfsadmin

    可能会出现错误信息,如:无法加载主类,org.apace....Runjar

    我第一次实验的时候出现这个问题,没有解决。最后之后,清理空间,重新安装才成功。

  • 相关阅读:
    解释器
    桥接
    组合
    hbase读性能优化
    Hbase为什么写比读快
    http和https区别
    R apply() 函数和 tapply() 函数
    R 语言 decostand() 函数
    R多行交叉作图
    k-mean 拐点
  • 原文地址:https://www.cnblogs.com/fuchao1992/p/4554717.html
Copyright © 2011-2022 走看看