zoukankan      html  css  js  c++  java
  • 建造一个MapD官网上测试用的12亿行数据库

    1.该测试库来自于以下的网站:

    http://stat-computing.org/dataexpo/2009/the-data.html

    该网站上所有的年份的数据库加起来是123534969行。

    2.将以上的数据库下载下来,我放到了这个文件夹中:/mapd-core/build/sample_datasets/flights_year。

    3.用以下命令分别解压:bunzip2 1999.csv.bz2

    4.新建一个表:

    create table flights_ASA_year (
    Flight_Year int,
    Flight_Month int,
    Flight_DayofMonth int,
    Flight_DayOfWeek int,
    DepTime int,
    CRSDepTime int,
    ArrTime int,
    CRSArrTime int,
    UniqueCarrier varchar(5),
    FlightNum int,
    TailNum varchar(8),
    ActualElapsedTime int,
    CRSElapsedTime int,
    AirTime int,
    ArrDelay int,
    DepDelay int,
    Origin varchar(3),
    Dest varchar(3),
    Distance int,
    TaxiIn int,
    TaxiOut int,
    Cancelled int,
    CancellationCode varchar(1),
    Diverted varchar(1),
    CarrierDelay int,
    WeatherDelay int,
    NASDelay int,
    SecurityDelay int,
    LateAircraftDelay int
    );

    5.使用以下的命令拷备10次:

    COPY flights_ASA_year from '/mapd-core/build/sample_datasets/flights_year/*' WITH (nulls = 'NA');

    每次结果有以下的返回,证明拷备成功:

    Result
    Loaded: 123534969 recs, Rejected: 0 recs in 441.858000 secs

    6.至此创建了MapD官网上的12行测试数据库。

    注:该过程用的不是GPU,而是CPU。实时测试,GPU数据无变化,CPU变化如下:

    CPU%在2000左右。mem%在20左右。

  • 相关阅读:
    Image Perimeters(图像周长)
    Power Strings(字符串的n次方)
    滑雪
    剪花布条
    SOJ题目分类
    Catch That Cow(捉住那头牛)
    Seek the Name, Seek the Fame(找名字,要成名)
    Avoid The Lakes(躲开湖水区)
    hash相关理论
    JAVASCRIPT共通関数数値チェック
  • 原文地址:https://www.cnblogs.com/laozhuang/p/7097883.html
Copyright © 2011-2022 走看看