zoukankan      html  css  js  c++  java
  • (四)hadoop系列之__hadoop搭建(单机配置)

    1.Ubuntu下用命令 (自动下载并安装)
      $ sudo apt-get install ssh
      $ sudo apt-get install rsync
    2.redhat linux9 
      i:默认已经安装
        查看版本:# rpm -q openssh-server
      ii:设置为开机自启动
        ntsysv   打开窗口 (互动式操作界面)--启动或停止服务提供了简单的界面
        如果sshd服务没有启动,则在sshd前面的[]处按空格键(变为*号即可),按tab键,确定。
      iii:启动ssh
        /etc/init.d/sshd start  #启动
        /etc/init.d/sshd start  #停止
        
    3.安装hadoop
       i:  下载hadoop:    hadoop-0.20.2.tar.gz
            地址:http://apache/hadoop/common/
       ii: 解压到目录:/usr/hadoop #hadoop需要创建
           tar -zxvf hadoop-0.20.2.tar.gz
       iii: rm -r hadoop-0.20.2.tar.gz
       注意:直接根目录下删除时,需要修改文件权限 chmod 755 hadoop-0.20.2.tar.gz
    4.修改配置文件
      vi /usr/hadoop/hadoop-0.20.2/conf/hadoop-env.sh
      在配置文件中需要添加 JAVA_HOME路径。
      我的配置是:JAVA_HOME=/home/jdk1.6.0_13
      保存,即可。  
    5.回到hadoop-0.20.2目录
       # bin/hadoop jar hadoop-0.20.2-examples.jar wordcount test-in test-out  --wordcount为hadoop自带的统计单词出现次数包
       # echo "hello world bye world" >file1.txt
       # echo "hello hadoop goodbye hadoop" >file2.txt
       # bin/hadoop jar hadoop-0.20.2-examples.jar wordcount test-in test-out
       执行完后
       # cd /usr/hadoop/hadoop-0.20.2/test-out
       # ls
          part-r-00000
       #  cat part-r-00000
       执行结果:
       bye     1
       goodbye 1
       hadoop  2
       hello   2
       world   2
       

    结果图:

  • 相关阅读:
    MySQL客户端管理
    Windows10安装Pytorch环境要点
    使用ssh加密github通信
    JVM 对象状态判断01
    并发之AbstractQueuedLongSynchronize----AQS
    关于CountDownLatch控制线程的执行顺序
    关于线程执行顺序的问题
    并发之Striped64(l累加器)
    并发之线程以及线程的中断状态
    1 JPA入门----项目搭建以及CRUD
  • 原文地址:https://www.cnblogs.com/FCWORLD/p/3138572.html
Copyright © 2011-2022 走看看