zoukankan      html  css  js  c++  java
  • Hadoop单机模式的配置与安装

    Hadoop单机模式的配置与安装

    单机hadoop集群正常启动后进程情况
    ResourceManager
    NodeManager
    SecondaryNameNode
    NameNode
    DataNode

    完全分布式。最少要有三个节点(三台主机)

             一个节点用来做:NameNode和JobTracker

             一个节点用来做:SecondaryNameNode,随时用来编辑日志,完成向NameNode之间的合并。

             一个节点用来做:DateNode,存储数据。

    HDFS进程有许多属性可以定义其工作路,如  hdfs-site.xml 

    dfs.name.dir属性定义的HDFS元数据持久存储路径默认为${hadoop.tmp.dir}/dfs/name、

    dfs.data.dir属性定义的DataNode用于存储数据块的目录路径默认为${hadoop.tmp.dir}/dfs/data、

    fs.checkpoint.dir属性定义的SecondaryNameNode用于存储检查点文件的目录默认为${hadoop.tmp.dir}/dfs/namesecondary。

    hadoop.tmp.dir  -- 定义在  core-site.xml

    格式化 

    [hduser@gdy01 ~]$hadoop namenode -format
  • 相关阅读:
    COJ 1691:前缀和
    COJ 1692:模拟
    POJ 3415:后缀数组+单调栈优化
    python拓展知识
    git总结
    好的文章及博客收集
    python爬虫总结
    ajax与java后台交互
    Java多线程与并发库
    Django框架创建
  • 原文地址:https://www.cnblogs.com/jing1617/p/9504281.html
Copyright © 2011-2022 走看看