zoukankan      html  css  js  c++  java
  • hadoop集群基本配置

    最近在学习hadoop。网上具体过程很多,我就说说简单过程和注意问题。

    环境:宿主机(windows64),虚拟机(centos64)。

    准备软件:

    1、Vmware——虚拟机

    2、centos镜像文件——centos熟悉点

    3、hadoop包——用的是1.1.2版本(主要是这个版本资料较多)

    4、jdk——hadoop需要java支持

    5、ssh secure client——windows操作虚拟机所用

    一、Vmware

    1、选择虚拟机属性,网络适配器选择桥接模式

    二、centos

    1、设置网络

    最好设置为静态ip,且设置之前最好在windows下ping一下你想设置的Ip,免得出现ip冲突

    关闭防火墙 service iptables stop

    2、检查网络

    虚拟机与宿主互ping成功后,说明网络配置成功。

    3、可能问题

    linux、windows防火墙未关闭

    虚拟机网络连接方式有问题

    三、安装jdk

    1、用ssh client将jdk文件上传至虚拟机,我选择的目录是/local。

    2、修改 /etc/profile文件,增加:

    export JAVA_HOME = /local/jdk

    export PATH=.:$PATH:$JAVA_HOME/bin

    3、测试成功

    shell下输入java、javac等

    4、注意问题

    记的source /etc/profile哦

    四、设置DNS解析

    1、修改 /etc/hosts,  增加下面两个映射:

    192.168.1.30  master
    192.168.1.31  slave

    2、测试

    ping master 成功即可

    五、设置ssh免密码登陆

    1、生成秘钥

    cd ~/.ssh

    ssh-keygen -t rsa

    各种回车就行

    2、生成授权文件

    cp id_rsa.pub authorized_keys

    3、在主节点和从节点都进行1、2动作

    4、在主节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub slave

    5、在从节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub master

    6、测试

    互相ssh,看需不需要密码

    六、安装hadoop

    1、同jdk安装一样,配置相应的环境变量

    2、环境变量

    export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

    3、测试

    shell下输入hadoop

    七、修改配置文件

    1、环境脚本文件hadoop-env.sh 

    修改 export JAVA_HOME=/local/jdk,记的删掉"#"

    2、修改core-site.xml

    <property>  
          <name>fs.default.name</name>          //配置NN节点地址和端口号  
          <value>master:9000</value> //注意格式必须是host:port的形式  
    </property>  
    <property>  
          <name>hadoop.tmp.dir</name>          //hadoop临时目录用来存放nn临时文件  
          <value>/local/hadoop/tmp</value>     //该目录必须预先手工创建不能删除  
    </property>  

    3、修改hdfs-site.xml

    <property>  
           <name>dfs.replication</name>    //数据节点冗余备份的数量,由于实验只有2个  
           <value>3</value>               // NN顾设置唯一,实际配置是可由实际情况  
    </property> 

    4、修改mapred-site.xml

    <property>      
        <name>mapred.job.tracker</name>  
        <value>master:9001</value> //jobTracker访问路径  
    </property>

    5、在主节点修改masters.xml 

    localhost
    、拷贝到从节点

      scp -r /local/hadoop/conf root@slave:/local/hadoop 
    7、在从节点修改slaves.xml 

    localhost

     slave

    八、格式化系统 

    1、hadoop namenode -format 

    九、启动

    1、start-all.sh 
    2、检测 
    jps 
    主节点有namenode datanode jobtracker tasktracker secondaryNameNode 
    从节点有datanode tasktracker

  • 相关阅读:
    [ 测试管理 ] 如何描述缺陷报告?
    [ 测试思维 ] 启发式测试策略模型(HTSM)
    Linux tcpdump命令使用方法
    Linux创建SSH信任关系
    [ Shell入门教程 ] 通配符与基础正则表达式、扩展正则表达式
    [ Shell入门教程 ] shell字符串基本操作
    Shell多进程获取未使用IP方法
    [ Shell入门教程 ] 字符串空格和文件空行删除
    [ Shell入门教程 ] Shell编程中数值计算方法实例
    [ Shell入门教程 ] echo和printf使用实例
  • 原文地址:https://www.cnblogs.com/longshiyVip/p/4803868.html
Copyright © 2011-2022 走看看