zoukankan      html  css  js  c++  java
  • Hadoop中的文件

    1,文件结构
    · bin:脚本和命令目录。
    · etc:配置文件目录。
    · sbin:命令目录,主要包含HDFS和YARN中各类服务的启动和关闭,依赖于bin中的脚本。
    · share:各个模块编译后的jar包,和示例代码。
    · libexec:各个服务的shell配置文件目录,比如配置日志输出目录、启动参数等。
    · include:对外提供的头文件,由C++定义。
    · lib:对外的动态库,与include 对应。
     
    2,core-default.xml
    ··· hadoop的默认配置文件,位于./share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml
    其他的配置文件也一样
     
    3,core-site.xml
    ··· fs.defaultFS
        · 设置运行时的文件系统,默认是 [file:///] 即本地文件系统。
        · 对于分布式Hadoop必须设置为 HDFS,[hdfs://hadoop11:9000],hadoop11:9000为NameNode所在的主机和端口
    ··· hadoop.tmp.dir
        · hadoop的临时文件夹,一般为 [/opt/app/hadoop/data/tmp]。会保存hdfs的NameNode的信息和DataNode的数据
     
    4,hdfs-site.xml
    ··· dfs.replication
        · hdfs的副本个数,默认为3。在伪分布式中要设置为1。
    ··· dfs.namenode.http-address
        · NameNode的web访问地址,即在浏览器上查看NameNode上的信息。一般为 [hadoop11:50070]
    ··· dfs.namenode.secondary.http-address
        · SecondaryNameNode的web访问地址。一般为 [hadoop33:50090]
    ··· dfs.permissions.enabled
        · HDFS的文件系统权限。一般设为 [false]
     
    5,yarn-site.xml
    ··· yarn.resourcemanager.hostname
        · 设置RM主机的位置。一般为 [hadoop22]
    ··· yarn.nodemanager.aux-services
        · 一般为 [mapreduce_shuffle],通知NodeManager实现名为mapreduce.shuffle的辅助服务
    ··· yarn.log-aggregation-enable
        · 设置日志聚集属性,一般打开,设为 [true]
    ··· yarn.log-aggragation.retain-seconds
        · 设置日志聚集的时间,单位秒,一般为7天,设为 [604800]
     
    6,mapred-site.xml
    ··· mapreduce.framework.name
        · MapReduce的计算框架,可以是 local、classic、yarn,一般设为 yarn,默认是local
    ··· mapreduce.jobhistory.address
        · 历史服务器的地址,一般设为 [hadoop33:10020]
    ··· mapreduce.jobhistory.webapp.address
        · 历史服务器的web访问地址,一般设为 [hadoop33:19888]
     
    7,slaves
    ··· 设置从主机的主机名(不能有空格)
        · 当启动 hdfs时,会在配置的主机中启动 DataNode进程。
        · 当启动 yarn时,会在配置的主机中启动 NodeManager进程。
  • 相关阅读:
    深拷贝和浅拷贝
    【.NET MVC分页】.NET MVC 使用pagelist 分页
    Win10开启IIS
    Win10开启IIS
    目前问题:plupload上传带参数到后台
    目前问题:plupload上传带参数到后台
    jquery怎样获取html页面中的data-xxx
    .Net MVC删除图片
    .Net MVC删除图片
    AlloyClip的简单使用
  • 原文地址:https://www.cnblogs.com/shendeng23/p/12398914.html
Copyright © 2011-2022 走看看