zoukankan      html  css  js  c++  java
  • 大数据架构与技术选型

    大数据基本架构

    了解架构能更清晰地认识每个组件,数据处理流程,用作流程设计和技术选型

     

    数据传输层

    Flume 专业的日志收集工具,对象一般是 文件类型;

    Sqoop 是专门采集结构化数据的,对象一般是 数据库;

    Kafka  实际上是一个 MQ,当做缓存,常用于高并发;它既能传输,也能存储,只是存储空间有限,默认 1 G(可配置),且有存储期限,默认 7 天(可配置);

    其实还有一些不太常用的工具,如 Logstash、DataX

    数据存储层

    MySQL 关系型数据库,存储结构化数据,还有很多其他关系型数据库;

    Mongodb 非关系型数据库;

    HDFS 分布式 文件系统,非结构化数据,把文件分布式的存储在集群上;

    Hive 是基于 hadoop 的数据仓库,存储结构化数据;Hive 也可以用于计算,所以也在计算层

    HBase 

    S3

    其中 HDFS、Hive、HBase 是大数据常用的技术,只是 HBase 用户在减少

    数据计算层

    MapReduce 基础分布式计算框架;

    Hive 基于 MapReduce 的计算框架,它把 sql 转换成了 MapReduce;

    Spark 基于内存的计算,计算效率高;

    Storm 实时计算,只是它的扩展太少,逐渐被淘汰;

    Flink 逐渐火起来;

    Tez

  • 相关阅读:
    Gvim快捷键学习
    一步一步学习Vim 全图解释
    经典vim插件功能说明、安装方法和使用方法介绍
    中国数学数字图书馆
    RQNOJ第一题---PID1 / 明明的随机数
    gdb常用命令
    linux c下mysql编程样例
    linux c编程 -- 线程互斥
    linux c多线程编程范例
    数据结构 -- 可重用模块的接口设计模板
  • 原文地址:https://www.cnblogs.com/yanshw/p/11547522.html
Copyright © 2011-2022 走看看