zoukankan      html  css  js  c++  java
  • 设置hadoop集群的相关配置文件

    一、设置相关配置属性
    进入hadoop/conf
    masters
    slaves

    core-site.xml
    // 配置临时文件
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop-1.2.1/tmp</value>
    </property>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.92.10:9000</value>
    </property>


    mapred-site.xml
    // 配置namenode节点
    <property>
    <name>mapred.job.tracker</name>
    <value>http://192.168.92.10:9001</value>
    </property>


    hdfs-site.xml
    // 数据在hdfs存储的副本数
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>

    hadoop-env.sh
    // 配置环境变量
    export JAVA_HOME=/usr/local/src/jdk1.6.0_45

    vim /etc/hosts
    // 配置几个集群服务器别名可通过别名访问
    192.168.92.10 master
    192.168.92.11 slave1
    192.168.92.12 slave2

    hostname master 临时生效的
    hostname

    vim /etc/sysconfig/network // 指定永久的别名

    /etc/init.d/iptables stop // 关闭防火墙
    setenforce 0 关闭
    getenforce
    -
    二、建立互信关系
    ssh-keygen(机器之间免密码)
    cd ~/.ssh/ 把每个节点的公钥放入 authorized_keys
    authorized_keys每个hadoop conf保存一份


    三、启动
    cd bin
    ./hadoop namenode -format
    ./start-all.sh
    jps
    ./hadoop fs -ls / 查看
    ./hadoop fs -put /etc/passwd / 上传文件至hdfs 如果没报错则OK
    ./hadoop fs -cat /passwd 查看此文件

    群交流(262200309)
  • 相关阅读:
    Linux网络配置
    配置bash以及bash初始化
    文本提取、分析和修改工具
    标准输入输出和管道
    文件和文件夹管理
    用户、组和权限
    vim工具使用
    Linux获取命令帮助的方法
    Linux知识整理-入门和体验
    Robot Framework简易复刻版-未完成
  • 原文地址:https://www.cnblogs.com/webster1/p/7471372.html
Copyright © 2011-2022 走看看