zoukankan      html  css  js  c++  java
  • yarn的部署

    Yarn: 资源和作业调度 是需要部署的

    MapReduce on Yarn

    http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
    查看以下内容的官网

    Configure parameters as follows:
    etc/hadoop/mapred-site.xml:

    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>


    etc/hadoop/yarn-site.xml:
    <configuration>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    </configuration>


    Start
    ResourceManager daemon 老大 资源管理者
    NodeManager daemon 小弟 节点管理者

    $ sbin/start-yarn.sh
    Browse the web interface for the ResourceManager; by default it is available at:
    ResourceManager - http://47.110.74.23:8088/

    [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ jps
    4001 NodeManager
    3254 SecondaryNameNode
    3910 ResourceManager
    3563 NameNode
    4317 Jps
    3087 DataNode
    [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$
    [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$

    http://47.75.249.8:8088/

    hadoop-hadoop-datanode-hadoop002.log
    hadoop-用户-进程名称-机器名称

    vi :/搜索
    tail -200f xxx.log 另外窗口重启进程 为了再现这个错误

    rz上传到windows editplus去定位查看 备份

  • 相关阅读:
    排序算法(一)之冒泡排序
    递归思想
    排序算法(四)之归并排序
    排序算法(三)之插入排序
    Config 摆脱配置的烦恼
    Mysql查看正在执行的Sql进程
    Scala笔记
    WPF之AvalonEdit实现MVVM双向绑定
    2021最新 MySQL常见面试题精选(附刷题小程序)
    IDEA控制台乱码
  • 原文地址:https://www.cnblogs.com/xuziyu/p/10403174.html
Copyright © 2011-2022 走看看