zoukankan      html  css  js  c++  java
  • Mongo亿级数据量性能测试

    因为课题需要,需要用大数据技术建立元数据库,这里通过调研准备使用nosql里面比较火的MongoDB,导师一直让我测试一下,一开始我一脸懵逼,以为只是测试对应sql里面的增删改查怎么写,并且怎么取底层元数据库我还没学会,于是进度一直拖这被一顿喷,很尴尬。

    其实就是一个简单的性能测试,在初步的了解了元数据的数据结构之后,设计不同的方案并生成满足符合需求的数据,进行性能测试即可。

    前期简单的铺垫,在mac单机上进行测试的。

    配置环境:https://www.runoob.com/mongodb/mongodb-osx-install.html

    这里的需求主要是100000炮数据,每炮数据5000信号量。有如下两个数据结构的设计:

    方案一:100000炮数据,5000信号,每个信号做成一个document,一共5e8条文档。

    方案二:100000炮数据,5000信号,每一炮的5000信号放在一起做成一个document,一共1e5条文档。

    db.metadata.insert({ Tree:'east',
    Shot:i,
    Path:'EAST::A1',
    createTime:'0000/00/00 00:00:00',
    daqTime:arr,
    Freq:arr,
    Ftrans:arr,
    Fzoom:arr,
    segNum:arr,
    segTime:arr,
    sigUnit:'Not define',
    trigTime:arr,
    uIMax:arr,
    uISwing:arr})
    //其中arr对应方案2的设计方法 是一个长度为5000的数组,对应方案一,arr的赋值就换成int or  double

    测试结果和方案性能对比如下表:

     初步的结论就是Mongo在有索引的情况下,亿级的记录(存储量也就25G多点),查询速度还是很客观的。

  • 相关阅读:
    自学Linux命令的四种方法
    linux命令学习
    设计师提高效率必备的10大在线工具
    基于CNN网络的汉字图像字体识别及其原理
    字库的产生
    开篇
    智能建筑系统集成发展目标——节能建筑
    建筑节能案例解析:拜尔的生态幼儿园
    能源管理系统(Synchro EMS)技术架构
    能源管理系统(Synchro EMS)
  • 原文地址:https://www.cnblogs.com/rhythmic/p/14135599.html
Copyright © 2011-2022 走看看