zoukankan      html  css  js  c++  java
  • hadoop集群部署

    1) 安装jdk 
    下载jdk-6u21-linux-i586.bin 
    然后修改/etc/profile: 

    export JAVA_HOME=/usr/local/jdk  
    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH  
    export PATH=$PATH:$JAVA_HOME/bin  

    保存,并执行source /etc/profile 

    2) 配置host 
    Namenode的机器,需要配置集群中所有机器的ip 
    修改/etc/hosts 

    10.10.236.190   master  
    10.10.236.191   slave-A  
    10.10.236.193   slave-B  

    其他的datanode的/etc/hosts 只需要配置namenode的机器ip和本机ip 

    10.10.236.190   master  
    10.10.236.191   slave-A  


    修改hostname(可选) 
    vi /proc/sys/kernel/hostname 

    3) 建立ssh无密码登录 

    在登陆方生成密钥对,执行命令: ssh-keygen(下面的项目都默认,会生成密钥对)

    进入.ssh目录 

    ssh-copy-id   hadoop-server03(要免密登录的主机)
    就可以完成ssh免密登录的设置。

    测试ssh 

    4) 安装hadoop 
    下载Hadoop 解压到每台服务器的/usr/local/apps
    解压

    tar -zxvf   hadoop-2.6.5

    然后修改/etc/profile 

    export HADOOP_HOME=/usr/local/apps/hadoop  
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin  

    5) 配置hadoop 
    1.修改conf/hadoop-env.sh,添加jdk支持

    export JAVA_HOME=/usr/local/jdk  

      如果ssh端口不是默认的22,在conf/hadoop-env.sh里改下。如:

    export HADOOP_SSH_OPTS="-p 1234"

    2.修改conf/core-site.xml,增加下面内容 
       

    复制代码

    <property>
    <name>fs.defaultFS</name>
    <value>hdfs:hadoop-server-03:9000/</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/root/tmp</value>
    </property>

    <property>
    <name>fs.default.name</name>
    <value>hdfs://hadoop-server-03:8020/</value>
    </property>

    复制代码

    3.修改conf/hdfs-site.xml,增加下面内容 

    复制代码

    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/root/tmp/dfs/name</value>
    </property>
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/root/tmp/dfs/data</value>
    </property>

    <property>
    <name>dfs.http.address</name>
    <value>0.0.0.0:50070</value>
    </property>

    <property>
    <name>dfs.datanode.address</name>
    <value>0.0.0.0:50010</value>
    </property>

    <property>
    <name>dfs.datanode.ipc.address</name>
    <value>0.0.0.0:50020</value>
    </property>

    <property>
    <name>dfs.datanode.http.address</name>
    <value>0.0.0.0:50075</value>
    </property>

    复制代码

    3.修改conf/mapred-site.xml,增加下面内容 
        

    <property>  
            <name>mapred.job.tracker</name> //jobTracker的主机  
            <value>master:54311</value>  
    </property>  


    4. .修改conf/masters,这个决定那个是secondarynamenode 

    master

    5 .修改conf/slaves,这个是所有datanode的机器 

    slaves-A
    slaves-B

    6) 将配置好的hadoop拷贝到所有的datanode 

    scp -rp /data/soft/hadoop-0.21.0 10.10.236.191:/data/soft/hadoop-0.21.0  

    在datanode上建立对应的软连 

    7) 格式化hdfs文件系统的namenode 

    root@master:/data/soft/hadoop# bin/hadoop namenode –format  

    输入Y 

    8) 启动hadoop集群

    root@master:/data/soft/hadoop# bin/start-all.sh 

    9) Hdfs操作 
    建立目录 

    root@master:/data/soft/hadoop # bin/hadoop dfs -mkdir testdir

    查看现有文件 

    root@master:/data/soft/hadoop # bin/hadoop dfs -ls 

    10) 关闭Hdfs

    root@master:/data/soft/hadoop# bin/stop-all.sh 

    转自 http://running.iteye.com/blog/890971

    作者: liangxb

    出处:https://www.cnblogs.com/lxbmaomao/

    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

  • 相关阅读:
    linux查看电脑温度
    sshd_config详解
    Python Matplotlib包中文显示异常解决方法
    "打开jupyter notebook后找不到安装Anaconda的环境"的解决方法
    [7]力扣每日一题
    UML复习回忆
    [6]力扣每日一题
    [4]力扣每日一题
    [3]力扣每日一题
    mybatis 动态创建表、主键、索引、注释
  • 原文地址:https://www.cnblogs.com/lxbmaomao/p/8082766.html
Copyright © 2011-2022 走看看