zoukankan      html  css  js  c++  java
  • 关于套牌车识别系统的卡口数据存储管理

    关于套牌车识别系统的卡口数据存储管理,采用并行数据库存储,请查资料,给出一个方案,存储几百GB数据到TB级数据,硬件环境如何建立,硬件系统要求的配置和数量等,数据的管理方法等。

    背景

    根据现有的交通数据进行初步的分析进行计算,平均每条记录为85个字节。按照1T=2^40字节来初步估计的话,大概有1.29*10^10 条记录,也就是10亿记录。传统关系型数据应付起来有点吃力。这里采用hbase进行数据存储,使用phoneix4.2.2进行数据的管理。同时也兼容hive以及spark-sql。

    硬件环境&配置要求

    这里参考nosql标准性能测试中用到的机器配置以及拓扑结构。数据量大小为100GB。

    • 测试数据概要

    • 网络拓扑结构

    • 服务器配置

    环境搭建

    基于开源分布式计算平台进行软件环境的搭建,包括:

    • hadoop2.5.2
    • hbase0.98
    • spark1.1.1
    • hive0.14
    • phoneix4.2.2

    数据管理

    采用hdfs作为底层文件系统已经资源管理框架,并且使用hbase作为卡口的数据存储。结合最新apache-phoenix进行数据的管理,可以通过采用jdbc的方式进行数据的管理。为了便于开发人员验证实验想法,集成spark-sql和hive进行快速计算。
    大致草图

    测评参考

    Query: select count(1) from table over 10M and 100M rows. Data is 5 narrow columns. Number of Region Servers: 4 (HBase heap: 10GB, Processor: 6 cores @ 3.3GHz Xeon)

    Query: select count(1) from table over 1M and 5M rows. Data is 3 narrow columns. Number of Region Server: 1 (Virtual Machine, HBase heap: 2GB, Processor: 2 cores @ 3.3GHz Xeon)

    更多性能指标移步这里apache-phoenix

    其他nosql产品

    更多性能对比数据可以查看伯克利大学关于大数据分析性能基准测试

    参考链接

    本博客文章除特别声明,全部都是原创! 尊重原创,转载请注明: 转载自thinkml(http://www.cnblogs.com/thinkml) 访问更多内容 请访问个人博客 http://me.needpp.com
  • 相关阅读:
    软件工程—附加作业
    软件工程最终总结
    电梯调度(两人结对)
    VS单元测试
    第二周作业(2,3题)
    VS的安装
    补救
    漂亮男孩不说谎
    博客带我成长
    Java后缀数组-求sa数组
  • 原文地址:https://www.cnblogs.com/thinkml/p/4170282.html
Copyright © 2011-2022 走看看