zoukankan      html  css  js  c++  java
  • 建造一个MapD官网上测试用的12亿行数据库

    1.该测试库来自于以下的网站:

    http://stat-computing.org/dataexpo/2009/the-data.html

    该网站上所有的年份的数据库加起来是123534969行。

    2.将以上的数据库下载下来,我放到了这个文件夹中:/mapd-core/build/sample_datasets/flights_year。

    3.用以下命令分别解压:bunzip2 1999.csv.bz2

    4.新建一个表:

    create table flights_ASA_year (
    Flight_Year int,
    Flight_Month int,
    Flight_DayofMonth int,
    Flight_DayOfWeek int,
    DepTime int,
    CRSDepTime int,
    ArrTime int,
    CRSArrTime int,
    UniqueCarrier varchar(5),
    FlightNum int,
    TailNum varchar(8),
    ActualElapsedTime int,
    CRSElapsedTime int,
    AirTime int,
    ArrDelay int,
    DepDelay int,
    Origin varchar(3),
    Dest varchar(3),
    Distance int,
    TaxiIn int,
    TaxiOut int,
    Cancelled int,
    CancellationCode varchar(1),
    Diverted varchar(1),
    CarrierDelay int,
    WeatherDelay int,
    NASDelay int,
    SecurityDelay int,
    LateAircraftDelay int
    );

    5.使用以下的命令拷备10次:

    COPY flights_ASA_year from '/mapd-core/build/sample_datasets/flights_year/*' WITH (nulls = 'NA');

    每次结果有以下的返回,证明拷备成功:

    Result
    Loaded: 123534969 recs, Rejected: 0 recs in 441.858000 secs

    6.至此创建了MapD官网上的12行测试数据库。

    注:该过程用的不是GPU,而是CPU。实时测试,GPU数据无变化,CPU变化如下:

    CPU%在2000左右。mem%在20左右。

  • 相关阅读:
    谈谈ios内存管理--持续更新
    IOS整体框架介绍
    OC-精简解读 block
    解读自定义UICollectionViewLayout--感动了我自己
    内存管理-深浅拷贝之 copy和mutableCopy
    OC-socket使用介绍
    ios 调用系统打电话和发消息的功能
    Swift-扩展
    Java 之switch语句
    Java 键盘输入数据
  • 原文地址:https://www.cnblogs.com/laozhuang/p/7097883.html
Copyright © 2011-2022 走看看