zoukankan      html  css  js  c++  java
  • 大数据学习(1)认识HaDoop工具

    Hadoop是什么?

    Hadoop:适合大数据的分布式存储和计算平台

    HadoopHadoop不是值具体一个框架或者组建爱你,它是Apache软件基金会下用Java语言开发的一个家园分布式计算平台(开源)。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。

    Hadoop核心组件:

    MapReduce和Hadoop Distributed File System(HDFS),HBase 

    其中HDFS负责蒋海量数据进行分布式存储,而MapReduceeduce负责提供对数据的计算结果的汇总

    MapReduce  ---》 大数据处理

    HDFS   ----》MapReduce 大数据统计分析 计算问题

    HBase  ---> Big Table Nosql数据库

    Hadoop神态系统

     1. Hadoop核心,HDFS, MapReduce

    2. Hive 通过SQL语句形式执行mapreduce

    3. Hbase Nosql数据库

    4. Flume 日志采集工具

    5. Sqoop sql to hadoop 将数据导入Hadoop中

    6. Zookeeper 协调服务工具

    7. Mahout  算法库

    8. Pig 是MapReduce的一个抽象, 它是一个工具/平台, 用于分析较大的数据库,并就爱那个它们表示为数据流。

    Hadoop HDFS简单原理

  • 相关阅读:
    OAuth
    PHP获取客户端的真实IP
    负载均衡----实现配置篇(Nginx)
    在线时间戳转换
    使用curl进行模拟登录
    定时任务
    Matplotlib使用教程
    CentOS7.X安装PHP
    Python虚拟环境的搭建与使用
    CentOS7.X安装openssl
  • 原文地址:https://www.cnblogs.com/shoebill/p/14555856.html
Copyright © 2011-2022 走看看