zoukankan      html  css  js  c++  java
  • Windows Azure Virtual Machine (26) 使用高级存储(SSD)和DS系列VM

      《Windows Azure Platform 系列文章目录

      

      Update: 2016-11-3,如果大家在使用Linux VM,使用FIO进行IOPS测试的时候,请使用以下命令:

    sudo fio -filename=/data2/testfile  -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=16k -size=10G -numjobs=20 -runtime=60 -group_reporting -name=mytest

      注意ioengine使用libaio,不要使用-ioengine=psync,因为性能差别很大。

      本文介绍的是国内由世纪互联运维的Azure China

      熟悉Azure平台的读者都了解,Azure VM每一块Disk的IOPS为500。我们以D系列的VM为例,IOPS信息如下:

    虚拟机类型 CPU RAM 临时磁盘 外挂磁盘数 IOPS
    D1 1 3.5GB 50GB 2 2 * 500
    D2 2 7GB 100GB 4 4 * 500
    D3 4 14GB 200GB 8 8 * 500
    D4 8 28GB 400GB 16 16 * 500
    D11 2 14GB 100GB 4 4 * 500
    D12 4 28GB 200GB 8 8 * 500
    D13 8 56GB 400GB 16 16 *500
    D14 16 112GB 800GB 32 32 * 500

      这里要特别注意:用户在创建Azure VM的时候,不要把所有的虚拟机磁盘都保存在同一个存储账号里。因为一个存储账号是有IOPS上限20000的。

      以笔者个人经验来说,我建议每3台虚拟机使用同一个存储账号,第4台虚拟机使用另外一个存储账号。

      当我们需要更高的IOPS的时候,比如某些场景需要更高性能的磁盘读写,这时候就需要用到高级存储Premium Storage。

      传统的标准存储(Standard Storage)使用的是普通硬盘(Hard Disk Drives, HDD),高级存储(Premium Storage)使用的固态硬盘(Solid State Drives, SSD)

      使用高级存储(Premium Storage)可以提高IOPS和吞吐量,降低延时。每个VM可以配置最多32TB的持久化存储,每个VM可以超过50000的IOPS,读取操作的延迟少于1毫秒。

      

      这里再特别强调一下,Azure D系列VM,本地临时磁盘是SSD的。请注意是临时存储,这个存储在Windows里显示为D盘,在Linux系统里是/dev/sdb1 。优点: IOPS高;缺点:非持久化存储,文件会有丢失的风险,不能保留重要的文件。D系列VM的其他磁盘都是普通SAS盘,每块盘MAX IOPS为500。

      而我们在这里介绍的Premier Storage和DS VM,对于DS VM来说,他们的磁盘是保存在Premier Storage里的。本地系统盘和数据盘都是SSD,提供持久化保存,文件不会有丢失的风险。(但是对于DS系列来说,也会有临时盘。这个存储在Windows里显示为D盘,在Linux系统里是/dev/sdb1 ,这是临时盘,数据会有丢失的风险)。

      

      在开始本章内容之前,我们先介绍一下高级存储(Premium Storage)的注意事项:

      1.Premium Storage目前在Azure China只能通过PowerShell创建。

      2.Premium Storage支持的类库:Storage REST API version 2014-02-14 or later; Service Management REST API version 2014-10-01 or later; andAzure PowerShell version 0.8.10 or later.

      3.Premium Storage目前只能在中国东部地区使用

      Update 2016-09-22,Premium Storage目前可以在中国东部和中国北部地区使用

      4.Premium Storage目前只支持Page Blob,只能被Azure DS系列的VM使用

      5.Premium Storage只支持本地冗余(Local Redundant Storage, LRS),即同一个数据中心三分冗余。在使用Premium Storage的时候想实现异地冗余,请参考:使用高级存储时的快照与复制 Blob 

      6.非DS系列的VM(A系列VM,D系列VM)是无法使用Premium Storage。

      只有DS系列的VM才可以使用Premium Storage。DS系列的VM可以同时使用Premium Storage和标准存储(Standard Storage)

      7.Premium Storage无法映射到自定义域名

      8.Premium Storage无法使用存储分析进行监控。如果需要监控,请使用基于操作系统的工具,如Windows 性能监视器(对于 Windows VM)和 IOSTAT(对于 Linux VM)。

      

      重要说明:

      1.单个Premium Storage Account最大容量为32TB。如果需要使用40TB的Premium Storage,请使用两个Premium Storage Account。

      2.默认情况下,附加到DS VM的Premium Storage缓存都设置为"读写"。为使应用程序的 I/O 达到最佳性能,建议使用此配置设置。对于频繁写入或只写的磁盘(例如 SQL Server 日志文件),请关闭磁盘缓存以获得更佳的应用程序性能。

      3.Azure限制了DS VM到Premium Storage的网络吞吐量。例如,STANDARD_DS1 VM 为高级存储磁盘通信提供每秒 32 MB 的专用吞吐量。这意味着,附加到此 VM 的 P10 高级存储磁盘最高只能达到每秒 32 MB,而不能像 P10 磁盘那样最高达到每秒 100 MB。同样,STANDARD_DS13 VM 可跨所有磁盘最高达到每秒 256 MB。目前,DS 系列上的最大 VM 是 STANDARD_DS14,它可以跨所有磁盘最高提供每秒 512 MB。根据磁盘通信中的读写 IO 混合形式,你可能会获得高于此值的吞吐量。

       请注意,这些限制只适用于磁盘通信。VM 网络通信可以使用单独的吞吐量,这不同于高级存储磁盘的专用带宽。下表列出了附加到 VM 的所有磁盘上的每个 DS 系列 VM 的当前最大 IOPS 和吞吐量(带宽)值:

    VM大小 CPU 最大IOPS 最大磁盘吞吐量
    STANDARD_DS1 1 3,200 32MB/S
    STANDARD_DS2 2 6,400 64MB/S
    STANDARD_DS3 4 12,800 128MB/S
    STANDARD_DS4 8 25,600 256MB/S
    STANDARD_DS11 2 6,400 64MB/S
    STANDARD_DS12 4 12,800 128MB/S
    STANDARD_DS13 8 25,600 256MB/S
    STANDARD_DS14 16 50,000 512MB/S

      4.DS系列的VM可以同时使用Premium Storage和标准存储(Standard Storage)

      5.可以使用Storage Space,设置软RAID,来提高磁盘的IOPS。具体请参考:

      [New Portal]Windows Azure Virtual Machine (23) 使用Storage Space,提高Virtual Machine磁盘的IOPS

      6.建议在系统盘+数据盘的情况下,如果系统盘只是用于引导,请考虑使用标准存储(Standard Storage),这样可以节省成本。数据盘可以使用Premium Storage,因为性能更好。

      如果系统盘和数据盘有数据传输,系统盘可以使用Premium Storage以获得更好的性能。

      

      高级存储性能:

      当你为某个高级存储帐户设置磁盘时,其每秒的输入/输出操作次数 (IOPS) 和吞吐量(带宽)取决于磁盘大小。目前有三种类型的高级存储磁盘:P10、P20 和 P30。每种类型各有特定的 IOPS 和吞吐量限制,如下表所示:

    Premium Storage P10 P20 P30
    磁盘大小 128GB 512GB 1024GB
    每个磁盘的IOPS 500 2300 5000
    每个磁盘的吞吐量 100MB/S 150MB/S 200MB/S

       Azure 会将磁盘大小映射(向上舍入)至表中指定的最接近高级存储磁盘选项。例如,大小为 100 GB 的磁盘会分类为 P10 选项,每秒最多可执行 500 个 IO 单位,每秒吞吐量可达 100 MB。同样地,大小为 400 GB 的磁盘会分类为 P20 选项,每秒最多可执行 2300 个 IO 单位,每秒吞吐量可达 150 MB。

      输入/输出 (I/O) 单位大小为 256 KB。如果要传送的数据少于 256 KB,会视为单个 I/O 单位。较大的 I/O 大小则会视为大小是 256 KB 的多个 I/O。例如,1100 KB 的 I/O 会视为五个 I/O 单位。

      吞吐量限制包含磁盘的读取和写入。例如,P10 磁盘的读取和写入总和应小于或等于每秒 100 MB。同样地,单个 P10 磁盘可有每秒 100 MB 的读取或每秒 100 MB 的写入吞吐量,或是每秒 60 MB 的读取和每秒 40 MB 的写入吞吐量。

      当你在 Azure 创建磁盘后,请根据应用程序的容量、性能、缩放性和高峰负载需求来选择最适合的高级存储磁盘产品。

      下表描述高级存储帐户的缩放性目标:

    总帐户容量 本地冗余存储帐户的总吞吐量
    • 磁盘容量:32 TB
    • 快照容量:10 TB
    入站 + 出站最高每秒 50 Gbps
    • 入站是指发送到存储帐户的所有数据(请求)。
    • 出站是指从存储帐户接收的所有数据(响应)。

      高级存储的计费方式:

      1.Premium Storage按照磁盘分配的最大容量计费。例如:你申请了1TB的Premium Storage,实际只用了1GB,则Azure会按照Premium Storage的最大容量,即1TB计费。

      2.DS VM还会按照分钟计费。DS系列VM的价格和D系列VM的价格相同

    =============================分隔符===============================

      接下来介绍使用高级存储Premium Storage和DS VM,关键步骤如下:

      1.创建Premium Storage

      2.创建DS VM

      

      1.首先我们以管理员身份,运行Azure PowerShell

      2.选择当前的订阅:

    Select-AzureSubscription '[SubscriptionName]' –Current

      3.在中国东部创建Premium Storage

    New-AzureStorageAccount -StorageAccountName "yourpremiumaccount" -Location "China East" 
    -Type "Premium_LRS" 

      

      4.创建新的DS VM,VM Size为DS2

    $storageAccount = "yourpremiumaccount"
    $adminName = "youradmin"
    $adminPassword = "yourpassword"
    $vmName ="yourVM"
    $location = "China East"
    $imageName = "a699494373c04fc0bc8f2bb1389d6106__Windows-Server-2012-R2-201409.01-en.us-127GB.vhd"
    $vmSize ="Standard_DS2"
    $OSDiskPath = "https://" + $storageAccount + ".blob.core.chinacloudapi.cn/vhds/" + $vmName + "_OS_PIO.vhd"
    $vm = New-AzureVMConfig -Name $vmName -ImageName $imageName -InstanceSize $vmSize -MediaLocation $OSDiskPath
    Add-AzureProvisioningConfig -Windows -VM $vm -AdminUsername $adminName -Password $adminPassword
    New-AzureVM -ServiceName $vmName -VMs $VM -Location $location

      创建虚拟机,并加入虚拟网络

    $storageAccount = "yourpremiumstorage" 
    $adminName = "yourusername"
    $adminPassword = "yourpassword"
    $vmName =  "yourvmname"
     
    $location =  "China East"
    $imageName = "f1179221e23b4dbb89e39d70e5bc9e72__OpenLogic-CentOS-67-20160415"
    $vmSize = "Standard_DS13"
     
    $vnet = "yourvnetname"
    $ipaddr= "privateip"
     
    $subnet = "subnetname"
    $csname = "yourcloudservicename"
    
    New-AzureService -ServiceName $csname  -Location $location -Label demo 
     
    # Create the VM
    $OSDiskPath = "https://" + $storageAccount + ".blob.core.chinacloudapi.cn/vhds/" + $vmName + "_OS_PIO.vhd"
     
    $vm = New-AzureVMConfig -Name $vmName -ImageName $imageName -InstanceSize $vmSize -MediaLocation $OSDiskPath
     
    Add-AzureProvisioningConfig -VM $vm -Linux -LinuxUser $adminName -Password $adminPassword
     
    Set-AzureSubnet -SubnetNames $subnet -VM $vm
    Set-AzureStaticVNetIP -IPAddress $ipaddr -VM $vm
     
    New-AzureVM -ServiceName  $csname -VMs $VM -VNetName $vnet

      5.在创建的DS VM上挂载新的数据磁盘:

    $storageAccount = "yourpremiumaccount"
    $vmName ="yourVM"
    $vm = Get-AzureVM -ServiceName $vmName -Name $vmName
    $LunNo = 1
    $path = "http://" + $storageAccount + ".blob.core.chinacloudapi.cn/vhds/" + "myDataDisk_" + $LunNo + "_PIO.vhd"
    $label = "Disk " + $LunNo
    Add-AzureDataDisk -CreateNew -MediaLocation $path -DiskSizeInGB 128 -DiskLabel $label -LUN $LunNo -HostCaching ReadOnly -VM $vm | Update-AzureVm

      修改DS VM Size

      1.笔者发现创建成功的Azure DS VM,如果想修改VM Size是没有配置页面的。如下图:

      

      2.如果我们想修改VM Size的话,可以以管理员身份,运行以下命令:

    #在弹出的输入框,输入用户名和密码
    Add-AzureAccount -Environment AzureChinaCloud
    
    #设置当前订阅
    Select-AzureSubscription -SubscriptionName [SubscriptionName] –Current
    
    #修改VM Size
    Get-AzureVM –ServiceName '[CloudServiceName]' –Name '[VMName]' | Set-AzureVMSize '[VMSize]' | Update-AzureVM
    
    #我们以DB-CS-A为例,设置大小为Standard_DS4,该命令为
    Get-AzureVM –ServiceName 'uladvdb' –Name 'DB-CS-A' | Set-AzureVMSize 'Standard_DS4' | Update-AzureVM
    
    #注意,运行上述命令修改VM Size后,该VM会重启。请确认把虚拟机一台一台重启,不要同时重启造成服务宕机

      上面聊完了技术问题,现在聊聊非技术问题

      1.Azure 高级存储是怎么计算费用的?

      首先我们看一看Azure官方提供的高级存储价格:

      http://www.windowsazure.cn/home/features/storage/#price

    磁盘类型 P10 P20 P30
    磁盘大小 128GB 512GB 1024GB
    每月价格 470 1750 3230
    每个磁盘的IOP 500 2300 5000
    每个磁盘的吞吐量 100MB/S 150MB/S 200MB/S

      我们知道,Azure DS虚拟机在创建的时候,默认情况下Windows OS盘的大小为127GB,Linux OS盘的大小为30GB。

      参照上面的表,我们可以发现Windows OS 127GB和Linux OS 30GB,都小于P10的磁盘大小128GB。则Windows OS 127GB和Linux OS 30GB都是按照P10收费的。

      任何高级存储的磁盘大小,小于等于128GB的,都是按照P10收费。

      任何高级存储的磁盘大小,大于128GB,但是小于等于512GB,都是按照P20收费的。

      任何高级存储的磁盘大小,大于512GB,但是小于等于1024GB,都是按照P30收费的。

      好了,再举一个复杂的例子。假设我要130GB容量的磁盘,应该如何收费?

      1.如果是单块磁盘是130GB,那磁盘大小是大于128GB,但是小于等于512GB,都是按照P20收费的。每月费用=1750元/月。

      2.如果是2块磁盘,总容量是130GB。那我可以这样分配,5GB+125GB=130GB。这2块磁盘大小都小于等于128GB,都是按照P10收费的。每月费用=470*2=940元/月

      所以规划好高级存储的磁盘容量,可以帮我们显著的节省成本。

      

      2.Azure高级寸尺是怎么收取费用的?

      Azure高级存储是按照磁盘的最大容量收费的。

      在标准存储(Standard Storage)里,我们创建的磁盘VHD (A系列的虚拟机和D系列的虚拟机),是按照磁盘实际存储数据的容量来收费的。比如我分配的磁盘大小是1TB,但是实际存储容量为1GB,则普通存储是按照1GB的实际存储容量来收费的。

      在高级存储(Premium Storage)里,我们创建的磁盘VHD (DS系列的虚拟机),是按照整个VHD分配的总容量大小来收费的。比如我们分配的磁盘大小是1TB,但是实际存储容量为1GB,则高级存储是按照1TB的总容量,及P30的整体费用来收费的。

      Update 2016-04-06,笔者拿了一台DS13的VM,挂载1023GB (P30)磁盘,使用IOMeter进行测试:

      先设置Outstanding I/Os,为32。如下图:

      

      然后设置4K,100% Read

      

      

      IOMeters读的结果:

      

      可以看到上图中,P30 MAX IOPS为5000左右

      参考资料:

          https://azure.microsoft.com/en-us/documentation/articles/storage-premium-storage-preview-portal/

          http://www.windowsazure.cn/documentation/articles/storage-premium-storage-preview-portal/?fb=001

      

  • 相关阅读:
    python 自定义去掉空行
    JavaScript 获取时间函数
    python 自定义ssh
    python 去掉空行
    python roboot解析 output.xml
    语音识别-windows
    python 自定义request模块调试
    python 自定义装饰器
    python 自定义Server酱模块编写
    python 自定义exception模块
  • 原文地址:https://www.cnblogs.com/threestone/p/4860660.html
Copyright © 2011-2022 走看看