zoukankan      html  css  js  c++  java
  • Hadoop 集群搭建

    Hadoop 集群搭建
    core-site.xml 核心-站点
    hdfs-site.xml hd hadoop fs file system hadoop文件系统-配置
    mapred-site.xml map red reduce mapreduce 计算框架- 配置
    yarn-site.xml 资源调度 --配置
    slaves slave奴隶 (从者 主机-从机) 写上从机名称 (datanode)


    core-site.xml
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ip150:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/root/sw/hadoop/data</value>
    </property>

    hdfs-site.xml 配置可以不写,按默认配置执行
    mapred-site.xml 这个文件要copy 一个 cp mapred-site.xml.template mapred-site.xml
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>


    7、yarn-site.xml
    <!-- 配置成跟core-site fs.defaultFS机器同一个 -->
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ip150</value>
    </property>
    <!-- reducer获取数据的方式 -->
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>

    vi slaves
    ip150
    ip151

    hdfs namenode –format dfs格式化只需要在主节点(namenode)执行
    格式化是否成功看
    /root/sw/hadoop/data/dfs/name

    jps java process show
    验证:其一:namenode datanode secondarynamenode
    其二:http://192.168.230.150:50070 namenode的地址
    点击 datanodes 出来的节点要去集群配置的节点数量一致

    将目录整个复制给其他的机器
    scp -r /root/sw/hadoop ip151:/root/sw/
    scp /root/.bashrc ip151:/root/ 别忘了执行

    hadoop集群的启动只需要在一台机器打命令,其他的会通过ssh连接远程启动(对比zookeeper)
    集群出错失败,解决方式之一:删除 目录data/dfs/data(哪个不正常删除哪个)

  • 相关阅读:
    CSS hacks汇总
    都要靠自己
    不被需要
    我们都是和自己赛跑的人
    其实天底下只有三件事
    开始怀旧了
    JavaScript回调函数陷阱
    郁闷着继续
    清明节悼念逝去亲人
    纯div+css制作的弹出菜单
  • 原文地址:https://www.cnblogs.com/richlovesherry/p/11606635.html
Copyright © 2011-2022 走看看