zoukankan      html  css  js  c++  java
  • Hadoop配置文件


    部分内容参考:http://www.linuxqq.net/archives/964.html


          Hadoop有三个重要的配置文件:core-site.xml,hdfs-site.xml,mapred-site.xml,但这三个文件默认情况下均为空,其默认值保存在core-default.xml,hdfs-default.xml,mapred-default.xml中。这三个默认配置文件放在src目录下。

        在1.2.1版本中,core-default.xml有73个属性,hdfs-default.xml有76个属性,mapred-default.xml有136个属性。


    二、常用的端口配置

    JobTracker管理地址:http://182.92.160.44:50030/
    NameNode管理地址:http://182.92.160.44:50070/

    2.1  HDFS端口 

    参数 描述 默认 配置文件 例子值
    fs.default.name namenode namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/
    dfs.http.address NameNode web管理端口 50070 hdfs- site.xml 0.0.0.0:50070
    dfs.datanode.address datanode 控制端口 50010 hdfs -site.xml 0.0.0.0:50010
    dfs.datanode.ipc.address datanode的RPC服务器地址和端口 50020 hdfs-site.xml 0.0.0.0:50020
    dfs.datanode.http.address datanode的HTTP服务器和端口 50075 hdfs-site.xml 0.0.0.0:50075

     

    2.2  MR端口

    参数 描述 默认 配置文件 例子值
    mapred.job.tracker job-tracker交互端口 8021 mapred-site.xml hdfs://master:8021/
    job tracker的web管理端口 50030 mapred-site.xml 0.0.0.0:50030
    mapred.task.tracker.http.address task-tracker的HTTP端口 50060 mapred-site.xml 0.0.0.0:50060

      

    2.3  其它端口

    参数 描述 默认 配置文件 例子值
    dfs.secondary.http.address secondary NameNode web管理端口 50090 hdfs-site.xml 0.0.0.0:50090
             

    三、core-site.xml的重要属性


    四、hdfs-site.xml的重要属性


    五、mapred-site.xml的重要属性


  • 相关阅读:
    Socket
    字符串,byte,字典转换整理
    1-嵌入式面试题库
    10-FreeRTOS 队列
    9-FreeRTOS API获取任务使用CPU时间
    7-代码区 | 常量区 | 静态区(全局区) | 堆区 | 栈区
    8-FreeRTOS任务API
    7-FreeRTOS时间片进行任务调度
    6-C指针
    用Union体测试处理器大小端
  • 原文地址:https://www.cnblogs.com/jediael/p/4304066.html
Copyright © 2011-2022 走看看