zoukankan      html  css  js  c++  java
  • 了解一下大数据

    项目开发针对的主要是企业家的应用,所以数据量算不上大数据,但是最近大数据在互联网行业的使用,作为一名程序员,应该学习新技术吗?但是学习他仅仅是为了借鉴一下大数据的处理思想,实现的过程,针对的场景,以便在我们的项目开发中借鉴一些思想,提高开发水平。

    ======================================

    hadoop生态系统:

    CPU:hadoop的Mad-Reduce------------------------并行编程的模型机制------切分并发之后合并---spliter--Agrator

    内存:HBase-基于列的NoSQL数据库------------------Key-Value的基于HashTable的快速查询机制

    存储:Hadfs的分布式文件系统--------------------------存储大量数据---针对分布式存储而言(数据分割存储,IO并行运行,提高IO速度,麻烦在于查询如何找并组装)

    ======================

    Habse:nosql数据库

    Hive:nosql的数据仓库

    hadfs:分布式文件系统

    sqoop:etl的工具(数据抽取工作-做etl的过程)

    zookeeper:时间同步工具------注意网络之间协调本质就是时间服务。

    ======================

    Storm流处理技术

    Spark:全新的框架,集大成者

     如果学习的话,这就是一个应该学习的技术.

    部分来自:http://blog.csdn.net/woshiwanxin102213/article/details/19688393

  • 相关阅读:
    加法的位运算实现
    C++装饰器模式
    字符串类型的相互转换
    手算CRC及其实现
    Linux下搭建C/C++编程环境
    Deepin Linux 实体机安装
    Atom + Texlive 配置 Latex 环境
    有关字符串的算法(KMP,Manacher,BM)陆续补充
    Linux 下大文件分割与合并
    Ubuntu /目录满,发现是docker image 太多解决办法
  • 原文地址:https://www.cnblogs.com/gstsyyb/p/3965588.html
Copyright © 2011-2022 走看看