zoukankan      html  css  js  c++  java
  • Hadoop

    Hadoop简介:

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),其中一个组件是HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFSMapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算 。

    Hadoop成名史: 用910个结点,使用209秒对1TB的数据进行排序。

    具有可靠性,高效性,可拓展性,

    访问层 数据分析 数据实时查询 数据挖掘
    大数据层

    离线分析

    HIVE Pig

    MR

    HDFS分布式文件存储

    实时查询

    Solr REDis

    HBase

    HDFS分布式文件存储

    BI分析

    MAhout

    HDFS分布式文件存储

    数据来源 数据源 数据源 数据源

    Hadoop 版本分类:

    Hadoop 1.0  :hadoop 0.20.x          hadoop 0.21.x  hadoop 0.22.x  核心 HDFS MapReduce

     hadoop 2.0: hadoop 0.23.x  hadoop2.x  核心 MapReduce (数据处理 )YARN(资源调度管理) HDFS

  • 相关阅读:
    spring IOC
    spring IOC
    自定义UDF,UDTF函数
    vue异步 同步 等待方法执行完毕
    周总结(六)
    周总结(五)
    Downie Mac 网络视频下载工具 v3.9.1
    Sequel pro mysql 图形化工具下载
    让Mac系统读写NTFS Paragon
    framework-plugin 轻量级安卓组件化架构插件
  • 原文地址:https://www.cnblogs.com/cxy0210/p/13500548.html
Copyright © 2011-2022 走看看