zoukankan      html  css  js  c++  java
  • 学习一:hadoop 1.0.1集群安装

    用vmware搭建三台Linux虚拟机,具体步骤如下:

    1、hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/

    2、下载java6软件包,分别在三台安装

    3、三台虚拟机,一台作为master,另外两台作为slave,分别配置/etc/hosts

        172.16.130.136   masternode
        172.16.130.137  slavenode1
        172.16.130.138  slavenode2

    4、在三台主机/etc/profile设置环境变量

    export JAVA_HOME=/usr/java/jdk1.6.0_13
    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    export HADOOP_HOME=/home/hduser/hadoop
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

    5、在三台机器上建立hadoop用户和组
        groupadd hadoop
        useradd -g hadoop hduser

    6、在masternode节点创建SSH安全认证
     $ ssh-keygen -t rsa -P ""
     $cd .ssh
     $ cat id_rsa.pub>>authorized_keys
     $ssh masternode
     $ssh slavenode1
     $ssh slavenode2
    将授权的文件分别拷贝到slavenode1和slavenode2,检查ssh登陆主机是否需要密码。

    7、上传hadoop软件包到hadoop用户目录下解压
      tar xvf hadoop*.gz
     
    8、添加$HADOOP_HOME/conf/hadoop-env.sh
       export JAVA_HOME=/usr/java/jdk1.6.0_13

    9、编辑$HADOOP_HOME/conf/core-site.xml
    <configuration>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/home/hduser/hadoop/tmp</value>
       <description>.</description>
     </property>
     <property>
       <name>fs.default.name</name>
       <value>hdfs://masternode:54310</value>
       <description> </description>
     </property>
    </configuration>

    10、编辑$HADOOP_HOME/conf/mapred-site.xml
    <configuration>
    <property>
      <name>mapred.job.tracker</name>
      <value>masternode:54311</value>
      <description>.  </description>
      </property>
    </configuration>

    11、编辑$HADOOP_HOME/conf/hdfs-site.xml
    <configuration>
    <property>
      <name>dfs.replication</name>
      <value>3</value>
      <description>. </description>
    </property>
    </configuration>

    12、编辑$HADOOP_HOME/conf/masters
     masternode

    13、编辑$HADOOP_HOME/conf/slaves
    slavenode1
    slavenode2

    14、在所有机器上创建/home/hduser/hadoop/tmp

    15、拷贝masternode上$HADOOP_HOME文件拷贝到各个节点上

    16、在masternode进行格式化
     hadoop -namenode -format

    17、启动
      start-all.sh
      jps命令查看

    18、访问masternode http://172.16.130.136:50030
             访问slavenode http://172.16.130.137:50060

  • 相关阅读:
    Nginx记录-nginx 负载均衡5种配置方式(转载)
    Nginx记录-Nginx基础(转载)
    Hadoop记录-Hadoop集群重要监控指标
    Hbase记录-HBase性能优化指南
    Hadoop记录-hadoop集群常见问题汇总
    Hadoop记录-Hadoop集群添加节点和删除节点
    Linux记录-安装LAMP和R环境
    SQL记录-ORACLE 12C初体验
    Hbase记录-hbase部署
    接口测试基础与工具
  • 原文地址:https://www.cnblogs.com/mfryf/p/2751590.html
Copyright © 2011-2022 走看看