zoukankan      html  css  js  c++  java
  • Hadoop主要架构

    主要架构图


    各部分作用

    * Core:核心支持,内核代码
    * MapReduce:映射数据
    * HDFS:文件存储
    * ZooKepper:服务器节点和进程通信的协调工具
    * Pig:支持用户和MapReduce(java)交互的语言工具
    * Hive:支持SQL对数据查询的语言工具(可理解为一种关系型数据库),但是不支持所有SQL
    * HBase:NoSql数据库,使用列式存储(提高响应速度,减少IO),用于数据分析。
    * Chukwa:日志抓取
    

    HDFS:

    * Namenode   :
        * HDFS守护程序
        * 记录文件如何分割
        * 对内存和IO集中管理
        * 单节点,一旦崩溃集群就崩溃了
    
    * Secondary Namenode:
        * 主要作为Namenode的后备节点
        * 每个集群一个
        * 和Namenode通信,定期保存HDFS快照
        * 是否自动切换?
    
    * DataNode
        * 每台服务器一个
        * 负责HDFS数据读写到本地
    
    * JobTracker
        * 运行在主节点,每个集群一个,总调度作用
        * 处理用户提交
        * 哪些文件要处理,要分割并分配
        * 监控task,重启失败的task
    
    * TaskTracker
        * 每个slave都有一个,和datanode结合使用,但是一个tasktracker可以启动多个jvm
        * 管理自己节点的task
        * 和jobtracker交互
    
    * Master和slave
        * Master不一定只有一个
        * Master运行JobTracker、Namenode
  • 相关阅读:
    网页打开本地exe程序
    【JS】最简单的域名防红方法,QQ/微信打开网站提示浏览器打开
    【HTML】建站成功默认页面
    python中日志器的使用
    python中连接mysql
    python中处理配置文件
    接口实战项目总结上
    布隆过滤器和LRU Cache
    Python版常见的排序算法
    LeetCode 27. 移除元素
  • 原文地址:https://www.cnblogs.com/bugstar/p/7206788.html
Copyright © 2011-2022 走看看