zoukankan      html  css  js  c++  java
  • 设置hadoop集群的相关配置文件

    一、设置相关配置属性
    进入hadoop/conf
    masters
    slaves

    core-site.xml
    // 配置临时文件
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop-1.2.1/tmp</value>
    </property>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.92.10:9000</value>
    </property>


    mapred-site.xml
    // 配置namenode节点
    <property>
    <name>mapred.job.tracker</name>
    <value>http://192.168.92.10:9001</value>
    </property>


    hdfs-site.xml
    // 数据在hdfs存储的副本数
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>

    hadoop-env.sh
    // 配置环境变量
    export JAVA_HOME=/usr/local/src/jdk1.6.0_45

    vim /etc/hosts
    // 配置几个集群服务器别名可通过别名访问
    192.168.92.10 master
    192.168.92.11 slave1
    192.168.92.12 slave2

    hostname master 临时生效的
    hostname

    vim /etc/sysconfig/network // 指定永久的别名

    /etc/init.d/iptables stop // 关闭防火墙
    setenforce 0 关闭
    getenforce
    -
    二、建立互信关系
    ssh-keygen(机器之间免密码)
    cd ~/.ssh/ 把每个节点的公钥放入 authorized_keys
    authorized_keys每个hadoop conf保存一份


    三、启动
    cd bin
    ./hadoop namenode -format
    ./start-all.sh
    jps
    ./hadoop fs -ls / 查看
    ./hadoop fs -put /etc/passwd / 上传文件至hdfs 如果没报错则OK
    ./hadoop fs -cat /passwd 查看此文件

    群交流(262200309)
  • 相关阅读:
    Java语言基础(3)
    Java语言基础(2)
    Java语言基础(1)
    标准C语言(13)
    标准C语言(12)
    标准C语言(11)
    标准C语言(10)
    IDEA 学习笔记之 Console显示日志大小
    Java 学习笔记之 线程sleep方法
    Java 学习笔记之 线程isAlive方法
  • 原文地址:https://www.cnblogs.com/webster1/p/7471372.html
Copyright © 2011-2022 走看看