zoukankan      html  css  js  c++  java
  • EMR目录

    EMR链接:

    手动重启服务: E-MapReduce 集群运维指南

    https://help.aliyun.com/document_detail/54465.html?spm=5176.11065259.1996646101.searchclickresult.67745bbe5lSLPA

    例:批量操作,10个节点 
    for i in `seq 1 10`;do ssh emr-worker-$i /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager;done


    EMR目录:

    E-MapReduce 是阿里云上的开源大数据平台,用户可以登录集群主节点查看相关安装路径。 登录后也可以使用 env |grep xxx 查看。

    或者,在EMR Hadoop集群,切换到hadoop用户下,可以通过命令 echo $xxxx 查看集群设置的环境变量

    配置文件目录:
    /etc/ecm/hadoop-conf
    #看gateway机器配置是否同步,直接看配置文件,如:
    /etc/ecm/hadoop-conf/core-site.xml
    然后输入命令hadoop classpath 打印一下classpath, 看引用的conf目录是否为/etc/ecm/hadoop-conf,以及是否包含其他目录

    配置文件目录在 /etc/ecm/xxx 下,如果仅登录节点修改集群中的配置文件,配置文件不会生效。
    注意 此处的配置文件只能浏览配置文件的参数,如需修改参数,请到 E-MapReduce控制台操作。
    Hadoop:/etc/ecm/hadoop-conf/
    Spark:/etc/ecm/spark-conf/
    Hive:/etc/ecm/hive-conf/

    #外部包:

    /etc/hive/auxlib/


    系统已经设置好的环境:
    echo $JAVA_HOME /usr/lib/jvm/java-1.8.0
    echo $HADOOP_HOME /usr/lib/hadoop-current
    echo $HADOOP_CONF_DIR /etc/ecm/hadoop-conf
    echo $HADOOP_OG_DIR
    echo $YARN_LOG_DIR /var/log/hadoop-yarn
    echo $HIVE_HOME /usr/lib/hive-current
    echo $HIVE_CONF_DIR /etc/ecm/hive-conf
    echo $PIG_HOME /usr/lib/pig-current
    echo $PIG_CONF_DIR /etc/ecm/pig-conf

    大数据组件目录
    软件安装目录在 /usr/lib/xxx 下,例如:
    Hadoop:/usr/lib/hadoop-current
    Spark :/usr/lib/spark-current
    Hive:/usr/lib/hive-current
    Flink:/usr/lib/flink-current
    日志目录
    组件日志目录在 /mnt/disk1/log/xxx 下,例如:
    Yarn ResourceManager 日志:master 节点 /mnt/disk1/log/hadoop-yarn
    Yarn NodeNanager 日志:slave 节点 /mnt/disk1/log/hadoop-yarn
    HDFS NameNode 日志:master 节点 /mnt/disk1/log/hadoop-hdfs
    HDFS DataNode 日志:slave 节点 /mnt/disk1/log/hadoop-yarn
    Hive 日志:Master 节点 /mnt/disk1/log/hive

    hue日志: /usr/lib/hue-current/logs

    hbase regionserver日志: /mnt/disk1/log/hadoop-hbase

    直接服务器上hive,会在/tmp下以用户名的形式存放log:

    tail -500 /tmp/root/hive.log

    #做的软链

    配置文件目录在/etc/ecm

    例如 :core-site.xml在$HADOOP_CONF_DIR

    /etc/ecm/hadoop-conf/core-site.xml

    而是实际地址是: /etc/ecm/hadoop-conf-2.8.5-1.4.0/core-site.xml

    又如:

    vi /etc/ecm/hadoop-conf/fair-scheduler.xml

    #这里面的配置文件记录集群的一些配置,调用jar等信息;

    /usr/local/emr/emr-bin/conf

    ln -s /opt/apps/hive-current /usr/lib/hive-current
    /usr/lib/hadoop-current/share/hadoop/common/hadoop-common-2.8.5.jar
    /usr/lib/hadoop-current/share/hadoop/common/lib/hadoop-auth-2.8.5.jar

    EMR Hadoop集群组件的安装目录和配置文件目录,用户自建Gateway集群copy文件
    https://help.aliyun.com/document_detail/124298.html?spm=a2c4g.11186623.6.1045.dae071aex9wNuF

  • 相关阅读:
    log4net使用
    第二天 ado.net, asp.net ,三层笔记
    第一天上传我的前端基础笔记
    开通博客的第一天上传我的C#基础笔记。
    VS 星期作业 if else的应用 做一个受不受异性欢迎的小程序
    ****************VS编码操作实践******************
    VS基本学习之(变量与常量)
    VS的基本学习
    2016.4.10 重生
    【python之路3】if 语句
  • 原文地址:https://www.cnblogs.com/hongfeng2019/p/12077848.html
Copyright © 2011-2022 走看看