zoukankan      html  css  js  c++  java
  • Hadoop-1.0.4伪分布安装与配置

    1、采用伪分布模式安装
         将hadoop-****.tar.gz复制到linux的/usr/local目录下。
    2、解压,重命名
         #tar -xzvf hadoop-1.0.4.tar.gz
           #mv hadoop-1.0.4 hadoop
    3、配置环境变量
         vi /etc/profile,在文件java_home后添加,export HADOOP_HOME=/usr/local/hadoop
         在PATH后面添加:$HADOOP_HOME/bin
         可以设置一个别名,从linux中快速进入到hadoop目录下:
         alias chha='cd /usr/local/hadoop'
         在命令中,输入chha就可以快速进入hadoop中。
         source /etc/profile
    4、修改hadoop的配置文件,所有配置文件都在conf文件夹下
         (1)hadoop-env.sh
              修改第9行,去掉注释,exprto JAVA_HOME=/usr/local/jdk
         (2)core-site.xml
     
       
         (3)hdfs-site.xml

         (4)
    mapred-site.xml
    5、hdfs是文件系统,第一次使用之前需要进行格式化,
         $HADOOP_HOME/bin/hadoop namenode -format
    6、启动hadoop程序,由于hadoop由hdfs文件系统,MapReduce两个部分组成,所以可以有三种启动方式
         (1)全部启动,start-all.sh
                   全部关机,stop-all.sh
         全部启动,用jps进行查看,有6项,缺一项即表示不成功
         
         (2)分别启动HDFS和MapReduce
              start-dfs.sh     启动HDFS
              start-mapred.sh     启动MapReduce     
         (3)分别各个启动进程
              hadoop-daemon.sh start namenode
              hadoop-daemon.sh start datanode
              hadoop-daemon.sh start secondarynamenode
              hadoop-daemon.sh start jobtracker
              hadoop-daemon.sh start tasktracker
         若/etc/hosts中设置的名称hadoop0与core-site.xml和mapred-site.xml中的不同,启动不成功。如本例中,这两个文件中都是book0,应该改成hadoop0
    7、可以运行hadoop中自带的example进行展示

  • 相关阅读:
    Selenium
    Selenium和ChromeDriver下载地址
    CQRS Event Sourcing介绍
    JAVA程序员面试30问(附带答案)
    拼多多、饿了么、蚂蚁金服Java面试题大集合
    40K刚面完Java岗,这些技术必须掌握
    接口测试之深入理解HTTPS
    选择了软件测试,你后悔吗?
    如何优雅的使用 Python 实现文件递归遍历
    刚从阿里回来,有些想法想跟测试员说说
  • 原文地址:https://www.cnblogs.com/wuyida/p/6300272.html
Copyright © 2011-2022 走看看