zoukankan      html  css  js  c++  java
  • 设置hadoop集群的相关配置文件

    一、设置相关配置属性
    进入hadoop/conf
    masters
    slaves

    core-site.xml
    // 配置临时文件
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop-1.2.1/tmp</value>
    </property>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.92.10:9000</value>
    </property>


    mapred-site.xml
    // 配置namenode节点
    <property>
    <name>mapred.job.tracker</name>
    <value>http://192.168.92.10:9001</value>
    </property>


    hdfs-site.xml
    // 数据在hdfs存储的副本数
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>

    hadoop-env.sh
    // 配置环境变量
    export JAVA_HOME=/usr/local/src/jdk1.6.0_45

    vim /etc/hosts
    // 配置几个集群服务器别名可通过别名访问
    192.168.92.10 master
    192.168.92.11 slave1
    192.168.92.12 slave2

    hostname master 临时生效的
    hostname

    vim /etc/sysconfig/network // 指定永久的别名

    /etc/init.d/iptables stop // 关闭防火墙
    setenforce 0 关闭
    getenforce
    -
    二、建立互信关系
    ssh-keygen(机器之间免密码)
    cd ~/.ssh/ 把每个节点的公钥放入 authorized_keys
    authorized_keys每个hadoop conf保存一份


    三、启动
    cd bin
    ./hadoop namenode -format
    ./start-all.sh
    jps
    ./hadoop fs -ls / 查看
    ./hadoop fs -put /etc/passwd / 上传文件至hdfs 如果没报错则OK
    ./hadoop fs -cat /passwd 查看此文件

    群交流(262200309)
  • 相关阅读:
    Understanding performance, load and stress testing
    添加查看原型的插件
    Navicat Premium 15安装破解
    APP 测试 与 WEB 测试的本质区别
    app专项测试(稳定性测试、安全性测试)
    ubantu在登录界面一致循环的问题
    Ubuntu虚拟机安装
    装WIN7
    Linux线程模型浅析
    django中常用的数据查询方法
  • 原文地址:https://www.cnblogs.com/webster1/p/7471372.html
Copyright © 2011-2022 走看看