zoukankan      html  css  js  c++  java
  • 建造一个MapD官网上测试用的12亿行数据库

    1.该测试库来自于以下的网站:

    http://stat-computing.org/dataexpo/2009/the-data.html

    该网站上所有的年份的数据库加起来是123534969行。

    2.将以上的数据库下载下来,我放到了这个文件夹中:/mapd-core/build/sample_datasets/flights_year。

    3.用以下命令分别解压:bunzip2 1999.csv.bz2

    4.新建一个表:

    create table flights_ASA_year (
    Flight_Year int,
    Flight_Month int,
    Flight_DayofMonth int,
    Flight_DayOfWeek int,
    DepTime int,
    CRSDepTime int,
    ArrTime int,
    CRSArrTime int,
    UniqueCarrier varchar(5),
    FlightNum int,
    TailNum varchar(8),
    ActualElapsedTime int,
    CRSElapsedTime int,
    AirTime int,
    ArrDelay int,
    DepDelay int,
    Origin varchar(3),
    Dest varchar(3),
    Distance int,
    TaxiIn int,
    TaxiOut int,
    Cancelled int,
    CancellationCode varchar(1),
    Diverted varchar(1),
    CarrierDelay int,
    WeatherDelay int,
    NASDelay int,
    SecurityDelay int,
    LateAircraftDelay int
    );

    5.使用以下的命令拷备10次:

    COPY flights_ASA_year from '/mapd-core/build/sample_datasets/flights_year/*' WITH (nulls = 'NA');

    每次结果有以下的返回,证明拷备成功:

    Result
    Loaded: 123534969 recs, Rejected: 0 recs in 441.858000 secs

    6.至此创建了MapD官网上的12行测试数据库。

    注:该过程用的不是GPU,而是CPU。实时测试,GPU数据无变化,CPU变化如下:

    CPU%在2000左右。mem%在20左右。

  • 相关阅读:
    mac 配置 iterm2
    python面试题
    待办事项--flask
    八皇后问题c语言版(xcode下通过)
    对分布式一些理解
    观察者模式
    用redis实现悲观锁(后端语言以php为例)
    只用200行Go代码写一个自己的区块链!(转)
    php的生命周期的概述
    linux网络编程1 最简单的socket编程
  • 原文地址:https://www.cnblogs.com/laozhuang/p/7097883.html
Copyright © 2011-2022 走看看