zoukankan      html  css  js  c++  java

  • 使用COSBench工具对ceph s3接口进行压力测试--续

    之前写的使用COSBench工具对ceph s3接口进行压力测试是入门，在实际使用是，配置内容各不一样，下面列出

    压力脚本是xml格式的，套用UserGuide文档说明，如下

    有很多模板的例子，在conf目录下，如librados-config-sample.xml、s3-config-sample.xml

    这里只有s3的，所以目前只关注s3的相关配置

    S3的配置在页面上选择时没有显示出来，所以我们就进行手工配置

    第一级workload，格式如下：

    <workload name=”demo” description=”demo benchmark with mock storage” />

    属性

    类型

    默认值

    备注

    Name

    String

    名字，随便取

    Descriptipion

    String

    描述

    对应s3就用storage参数，格式如下：

    <storage type="s3" config="accesskey=<accesskey>;secretkey=<scretkey>;endpoint=<endpoint>; proxyhost=<proxyhost>;proxyport=<proxyport>" />

    属性

    类型

    默认值

    备注

    Timeout

    Int

    30,000

    毫秒

    Accesskey

    String

    S3 的accesskey

    Secretkey

    String

    S3的secretkey

    Endpoint

    String

    默认为亚马逊地址

    Proxyhost

    String

    代理地址

    Proxyport

    Int

    代理端口

    第二级workstorage，格式如下

    <workstage name="<name>" ></workstage>

    属性

    类型

    默认值

    备注

    Name

    String

    名字，随便取

    对应使用work参数，格式如下

    <work name="main" type="normal" workers="128" interval="5" division="none" runtime="60" rampup="0" rampdown="0" totalOps="0" totalBytes="0" afr=”200000” config="" > . . . </work>

    属性

    类型

    默认值

    备注

    Name

    String

    名字，随便取

    Type

    String

    “normal”

    工作类型，下面有介绍

    Workers

    Int

    并发工作数

    Interval

    Int

    5

    间隔时间

    Division

    Str

    “none”

    划分数据方式，为container时，通过bucket划分数据，为ojbect，以对像数据划分数据,”none”时，所以的bucket都 有ojbect数据

    Runtime

    Int

    0

    运行时长

    Rampup

    Int

    0

    多长时间启动完所有的压力

    Rampdown

    Int

    0

    结束数，不能与runtime同时配

    totalOps

    Int

    0

    操作数

    totalBytes

    Int

    0

    多大bytes将传输

    Driver

    Str

    哪个driver将执行工作，默认的话，所有的drivers将参与工作，平分

    Afr

    Int

    200,000 – normal

    0 – special work

    可接受错误速率，毫秒级别

    Work type支持
    init(创建bucket)

    格式<work type=”init” workers=”4” config=”containers=r(1,100)” />

    参数

    类型

    默认值

    说明

    Containers

    String

    Bucket选项表达式，比如c(1),r(1,100)

    Cprefix

    String

    Mycontainers_

    Bucket前缀

    Csuffix

    String

    <null>

    后缀

    prepare(在bucket中插入特定的对像)

    格式

    <work type=”perpare” work=”4” config=”containers-=r(1,10);objects=r(1,100);sizes=c(64)KB”/>

    参数

    类型

    默认值

    说明

    Containers

    String

    Bucket选项表达式，比如c(1),r(1,100)

    Cprefix

    String

    Mycontainers_

    Bucket前缀

    Csuffix

    String

    <null>

    后缀

    Ojbects

    String

    Object选择表达式,如c(1),u(1,100)

    Oprefix

    String

    Myobjects_

    对像前缀

    Osuffix

    String

    <null>

    对像后缀

    Sizes

    String

    大小，单位可以为(B/KB/MG/GB)

    Chuncked

    Boolean

    False

    校验上传的数据

    Content

    String

    “random”(默认)

    “zero”

    上传数据内容，默认为随机字符号

    Createcontainer

    Boolean

    False

    如果bucket不存在就创建对赢的bucket

    hashCheck

    Boolean

    False

    Hash检查

    Cleanup(删除文件)

    格式：<work type=”cleanup” workers=”4” config=”containers=r(1,5)”;objects=r(1,100)” />

    参数

    类型

    默认值

    说明

    Containers

    String

    Bucket选项表达式，比如c(1),r(1,100)

    Cprefix

    String

    Mycontainers_

    Bucket前缀

    Csuffix

    String

    <null>

    后缀

    Ojbects

    String

    Object选择表达式,如c(1),u(1,100)

    Oprefix

    String

    Myobjects_

    对像前缀

    Osuffix

    String

    <null>

    对像后缀

    Deletecontainer

    Boolean

    False

    存在相关的bucket则删除bucket

    Dispolse(删除bucket)

    格式 <work type=”dispose” workers=”4” config=”containers=r(1,100)” />

    参数

    类型

    默认值

    说明

    Containers

    String

    Bucket选项表达式，比如c(1),r(1,100)

    Cprefix

    String

    Mycontainers_

    Bucket前缀

    Csuffix

    String

    <null>

    后缀

    Delay（延迟）

    用的少，不写了

    Operation支持：

    格式<operation type=”read|write|delete” ratio=”<1-100> config=”<key>=<value>;….” />

    参数

    类型

    默认值

    说明

    Type

    String

    操作类型，只有read write delete list

    Ratio

    Int

    比例

    Division

    Int

    Config

    String

    参数列表

    read

    格式<operation type=”read” ratio=”79” config=”containers=c(1);objects=u(1,100)” />

    参数

    类型

    默认值

    说明

    Containers

    String

    Bucket选项表达式，比如c(1),r(1,100)

    Cprefix

    String

    Mycontainers_

    Bucket前缀

    Csuffix

    String

    <null>

    后缀

    Ojbects

    String

    对像表达式如u(1,100)

    Oprefix

    String

    Myobjects_

    对像前缀

    Osuffix

    String

    <null>

    对像后缀

    Hascheck

    Boolean

    False

    是否校验

    write

    格式：

    <operation type=”write” ratio=”20” config=”containers=c(2);objects=u(1,10);size=c(2)MB”/>

    参数

    类型

    默认值

    说明

    Containers

    String

    Bucket选项表达式，比如c(1),r(1,100)

    Cprefix

    String

    Mycontainers_

    Bucket前缀

    Csuffix

    String

    <null>

    后缀

    objects

    String

    对像表达式如u(1,100)

    Oprefix

    String

    Myobjects_

    对像前缀

    Osuffix

    String

    <null>

    对像后缀

    Sizes

    String

    大小

    Chunked

    Boolean

    False

    上传数据是否分片

    Content

    String

    “radom”（默认值）

    “zero”

    默认是随机字符填充

    Hascheck

    Boolean

    False

    是否校验

    filewrite（文件上传)

    格式：

    <operation type=”filewrite” ratio=”20” config=”containers=c(2);fileselection=s;files=/tmp”/>

    参数

    类型

    默认值

    说明

    Containers

    String

    Bucket选项表达式，比如c(1),r(1,100)

    Cprefix

    String

    Mycontainers_

    Bucket前缀

    Csuffix

    String

    <null>

    后缀

    Fileselection

    String

    上传文件选择方式，如s

    Files

    String

    目录

    Chunked

    Boolean

    False

    上传数据是否分片

    Hascheck

    Boolean

    False

    是否校验

    delete

    格式<operation type=”delete” ratio=”10” config=”containers=c(2);ojbects=u(1,100)” />

    参数

    类型

    默认值

    说明

    Containers

    String

    Bucket选项表达式，比如c(1),r(1,100)

    Cprefix

    String

    Mycontainers_

    Bucket前缀

    Csuffix

    String

    <null>

    后缀

    objects

    String

    对像表达式如u(1,100)

    Oprefix

    String

    Myobjects_

    对像前缀

    Osuffix

    String

    <null>

    对像后缀

    list（用的少）

    在填写参数时，还需要注意各种选择器的使用，如下

    Expression

    格式

    备注

    Constant（不变的）

    C(number)

    固定在一个数值

    Uniform（随机）

    U(min,max)

    从[min,max]中随机选择一个数

    Range

    R(min,max)

    同python里的range函数

    更常用在(init,prepare,cleanup,dispose)里，不建议用在operation

    sequential

    S(min,max)

    也是增加函数，常用于operation操作中

    Histogram

    H(min1|max1|weight1,…..)

    用在文件大小的不同比重中，实际使用少，不解释

    常见的xml:

    初始化bucket，将会创建二个bucket

    <?xml version="1.0" encoding="UTF-8" ?> 
- <workload name="initBucket" description="sample benchmark for s3">
  <storage type="s3" config="accesskey=V02TU7BTTHYSVINSRB7P;secretkey=b2u6ZgiNVlnfsDUpBigEbZKX9Na7kvM7UWEMrtPN;endpoint=http://xxx.xxx.xxx/" /> 
- <workflow>
- <workstage name="init_create_bucket">
  <work type="init" workers="1" config="cprefix=test;containers=r(1,2)" /> 
  </workstage>
  </workflow>
  </workload>
    View Code

    上传特定大小的文件

    在test1 bucket中上传100个4M的文件，并发25

    <?xml version="1.0" encoding="UTF-8" ?> 
- <workload name="put-100Workers-4MB" description="sample benchmark for s3">
  <storage type="s3" config="accesskey=V02TU7BTTHYSVINSRB7P;secretkey=b2u6ZgiNVlnfsDUpBigEbZKX9Na7kvM7UWEMrtPN;endpoint=http://xxx.xxx.xxx.xxx/" /> 
- <workflow>
- <workstage name="put 4MB data with 100 workers">
- <work name="Put64KBData1" workers="25" totalOps="200" driver="sv40">
  <operation type="write" ratio="100" config="cprefix=test;oprefix=100wks_64k;containers=c(1);objects=s(1,100);sizes=c(4)MB" /> 
  </work>
  </workstage>
  </workflow>
  </workload>
    View Code

    读写1:1

      <?xml version="1.0" encoding="UTF-8" ?> 
- <workload name="read&write" description="sample benchmark for s3">
  <storage type="s3" config="accesskey=7FRWOW451AM5N1BDGWG6;secretkey=Xb9YEC5ia4KbCR1M7fZgR67RFXi1ARPrOfxa9Bjx;endpoint=http://xxx.xxx.xx.xx/" /> 
- <workflow>
- <workstage name="read &write">
- <work name="read write" workers="25" totalOps="100">
  <operation type="write" ratio="50" config="cprefix=test;oprefix=100wks_64k;containers=c(1);objects=s(1,10);sizes=c(50)KB" /> 
  <operation type="read" ratio="50" config="cprefix=test-;oprefix=100wks_64kr;containers=c(1);objects=s(1,10);sizes=c(50)KB" /> 
  </work>
  </workstage>
  </workflow>
  </workload>
    View Code
  • 相关阅读:
    Diablo3 英雄榜-显示用户的装备信息-Volley读取API的图片资源,使用MySingleton管理RequestQueue
    Diablo3英雄榜-使用Volley和Gson来处理暴雪API的Json数据
    Diablo3英雄榜-API分析
    《Android编程权威指南》-读书笔记（十一） 完善CriminalIntent
    《Android编程权威指南》-读书笔记（十）-从一个内涵段子开始第二个例子
    さらば、博客园よ
    Kotlin有点用力过猛了
    记一个耻辱
    备份一个省市区JSON数据
    博(wǒ)客(zì)园(jǐ)的排版真是丑毙了
  • 原文地址：https://www.cnblogs.com/landhu/p/5896829.html
Copyright © 2011-2022 走看看