raid

硬盘－－分区－－－格式化－－－挂载使用

硬件存储－－》硬raid－－》通过iscsi或光纤网络共享给服务器(SAN)（可选)－－》分区（lvm可选)－－》格式化－－》mount使用

raid redundant arrays of inexpensive disks

简单来说，raid就是把多个磁盘组成一个磁盘组（为了提高IO性能和数据高可用）

硬raid 　生产环境用这个，使用raid卡来做的磁盘阵列

软raid 　使用软件做的磁盘阵列，实际应用没什么价值，这里用于教学说明原理

raid级别

常见的raid5,raid10

raid 0 读写性能佳，坏了其中一块，数据挂掉，可靠性低（stripe条带化），磁盘利用率100％

A B

1234

1 2

3 4

raid 1 镜像备份（mirror)，同一份数据完整的保存在多个磁盘上，写的性能不佳，可靠性高，读的性能还行，磁盘利用率50%

A B

1234

1 1

2 2

3 3

4 4

raid 10 先做raid 1 再做raid 0

　 12

1 disk A disk B raid 1

1 1

2 disk C disk D raid 1

2 2

raid 5

由多块磁盘做raid 5，磁盘利用率为n-1/n, 其中一块放校验数据，允许坏一块盘，数据可以利用校验值来恢复

disk 1 disk 2 disk 3

数据 数据 校验

检验 数据 数据

数据 检验 数据

1+2=3

raid5 raid10

3d+1d 2d+2d

1，成本

3/4 1/2

2,安全性

坏掉一块的情况，raid5就不能再坏了

raid10只有当和坏掉的那块同为raid1组里的时候，才会整个坏掉，概率1/3

3,性能

raid 5 对大文件读写好点 olap（联机分析处理)

raid 10对小文件读写好点 oltp(联机事务处理)

----------------------------------------------------------------------------------------------------------------

使用vmware或者kvm直接在线加9个1G大小的硬盘

linear 线型

stripe 条带

mirror 镜像

mdadm - manage MD devices aka Linux Software

RAID

创建raid 0

# mdadm --create /dev/md0 --level=0 --raid-devices=2 /dev/sdb /dev/sdc

mdadm: array /dev/md0 started.

创建过程中可以用另一终端cat /proc/mdstat 去查看正在创建的状态信息

# mkfs.ext4 /dev/md0

# mount /dev/md0 /mnt/

# df -h |grep mnt

/dev/md0 2.0G 36M 1.9G 2% /mnt

# cat /proc/mdstat

Personalities : [raid0]

md0 : active raid0 sdc[1] sdb[0]

2097024 blocks 64k chunks

unused devices: <none>

创建raid 1

# mdadm --create /dev/md1 --level=1 --raid-devices=2 /dev/sdd /dev/sde

mdadm: array /dev/md1 started.

# mkfs.ext4 /dev/md1

# mount /dev/md1 /media/

# df -h |grep md

/dev/md0 2.0G 36M 1.9G 2% /mnt

/dev/md1 1008M 18M 940M 2% /media

创建raid5

# mdadm --create /dev/md5 --level=5 --raid-devices=4 /dev/sdf /dev/sdg /dev/sdh /dev/sdi

mdadm: array /dev/md5 started.

# watch cat /proc/mdstat --这里监控一下它们盘之间的数据同步；等它们同步完毕再进行下面的格式化

# mkfs.ext4 /dev/md5

# mount /dev/md5 /misc/

# df -h |grep md

/dev/md0 2.0G 36M 1.9G 2% /mnt --raid 0利用率为100%

/dev/md1 1008M 18M 940M 2% /media --raid 1利用率为50%

/dev/md5 3.0G 69M 2.8G 3% /misc --raid 5利用率为n-1/n,在这里就是3/4

--验证raid0

在做raid0的两个盘上查看io情况

例:

终端1：iostat 2 两秒一次查看所有的盘上的IO情况

终端2: dd if=/dev/zero of=/mnt/aaa bs=1M count=1000

可以看到两个盘上都有写的io,并且/dev/sdb和/dev/sdc的IO一样,总和才等于/dev/md0的IO;验证了raid0的功能(条带)

--验证raid1

在做raid1的两个盘上查看io情况

例:

终端1：iostat 2 两秒一次查看所有的盘上的IO情况

终端2: dd if=/dev/zero of=/media/aaa bs=1M count=1000

可以看到两个盘上都有写的io,并且/dev/sdd和/dev/sde的IO一样,并且也等于/dev/md1的IO;验证了raid1的功能(镜像)

--验证raid5

在做raid5的四个盘上查看io情况

例:

终端1：iostat 2 两秒一次查看所有的盘上的IO情况

终端2: dd if=/dev/zero of=/misc/aaa bs=1M count=1000

可以看到四个盘上都有写的io,并且/dev/sdf,/dev/sdg,/dev/sdh,/dev/sdi四个盘的IO总和为/dev/md5的IO的4/3;验证了raid5的功能(n-1/n)

实际速度比较应该为:raid0>raid5>raid1或不做raid

--------------------------------------------------------------------------------------------------------------------------------

--raid的启停

# vim /etc/mdadm.conf --手动编写raid的配置文件，此文件不存在，要手动建立，并写上

DEVICES /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/

sdg /dev/sdh /dev/sdi --把做了raid的分区写上来。或者写成DEVICES /dev/sd[bcdefghi]。但不能写成DEVICES /dev/sd{b,c,d,e,f,g,h,i}

# mdadm --detail --scan >> /etc/mdadm.conf

--扫描当前raid的信息，并追加到配置文件里

# cat /etc/mdadm.conf

DEVICES /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi

ARRAY /dev/md0 level=raid0 num-devices=2 metadata=0.90 UUID=84209045:9c03c4cb:7f755b8d:cc471294

ARRAY /dev/md1 level=raid1 num-devices=2 metadata=0.90 UUID=4e62fdc1:6c2a652f:fb72c05d:356d5c76

ARRAY /dev/md5 level=raid5 num-devices=4 metadata=0.90 UUID=c3c1f37b:9fba8a89:a711dc6c:01a5ddb3

--如果你不做上面这步，重启系统，raid会不能自动被认到（在rhel6里测试为重启后名字会变）。所以做完的raid都需要扫描并存放信息

停止raid设备

先umount 已经挂载的raid设备

# umount /mnt/

# umount /media/

# umount /misc/

然后使用命令停止

# mdadm --stop /dev/md0

mdadm: stopped /dev/md0

# mdadm --stop /dev/md1

mdadm: stopped /dev/md1

# mdadm --stop /dev/md5

mdadm: stopped /dev/md5

启动raid设备

1，有/etc/mdadm.conf配置文件的情况下

# mdadm -A /dev/md0

mdadm: /dev/md0 has been started with 2 drives.

# mdadm -A /dev/md1

mdadm: /dev/md1 has been started with 2 drives.

# mdadm -A /dev/md5

mdadm: /dev/md5 has been started with 4 drives.

# cat /proc/mdstat --再查看，就有信息了，并且raid里的数据还在

2，没有配置文件的情况下，手动把设备名写上就可以了

# mdadm -A /dev/md0 /dev/sd{b,c}

mdadm: /dev/md0 has been started with 2 drives.

# mdadm -A /dev/md1 /dev/sd{d,e}

mdadm: /dev/md1 has been started with 2 drives.

# mdadm -A /dev/md5 /dev/sd{f,g,h,i}

mdadm: /dev/md5 has been started with 4 drives.

3，如果连设备名都不知道，可以去查看每个设备的raid信息，使用uuid把raid设备重新组合

# mdadm -E /dev/sdf

/dev/sdf:

Magic : a92b4efc

Version : 0.90.00

UUID : b091e16b:f8df9671:465755db:c640595b --UUID,同一个raid里每个磁盘查看的都是这个值

Creation Time : Sat May 7 11:23:52 2011

Raid Level : raid5

Used Dev Size : 1048512 (1024.11 MiB 1073.68 MB)

Array Size : 3145536 (3.00 GiB 3.22 GB)

Raid Devices : 4

Total Devices : 4

Preferred Minor : 5

Update Time : Sat May 7 11:42:09 2011

State : clean

Active Devices : 4

Working Devices : 4

Failed Devices : 0

Spare Devices : 0

Checksum : facef367 - correct

Events : 2

Layout : left-symmetric

Chunk Size : 64K

Number Major Minor RaidDevice State

this 0 8 80 0 active sync /dev/sdf

0 0 8 80 0 active sync /dev/sdf

1 1 8 96 1 active sync /dev/sdg

2 2 8 112 2 active sync /dev/sdh

3 3 8 128 3 active sync /dev/sdi

[root@raid ~]# mdadm -A --uuid=b091e16b:f8df9671:465755db:c640595b /dev/md5

mdadm: /dev/md5 has been started with 4 drives.

--上面组合后的名字可以随意写，甚至是不存在的一个名字，相当于是重新组合

------------------------------------------------------------------------------------------------------------------------

软raid的热插拔实验

模拟raid中其中一块盘故障

# mdadm /dev/md5 --fail /dev/sdf

mdadm: set /dev/sdf faulty in /dev/md5

--使用--fail对raid中其中一块盘打一个fail标记

# cat /proc/mdstat

Personalities : [raid0] [raid1] [raid6] [raid5] [raid4]

md5 : active raid5 sdf[4](F) sdi[3] sdh[2] sdg[1]--有个F标记

3145536 blocks level 5, 64k chunk, algorithm 2 [4/3] [_UUU]

md1 : active raid1 sdd[0] sde[1]

1048512 blocks [2/2] [UU]

md0 : active raid0 sdb[0] sdc[1]

2097024 blocks 64k chunks

# mdadm /dev/md5 --remove /dev/sdf

mdadm: hot removed /dev/sdf

--热移除故障磁盘

# mdadm /dev/md5 --add /dev/sdj --增加一块新的磁盘上去

mdadm: re-added /dev/sdj

--刚增加完后，机器负载较高，因为现在它在对新盘同步数据

# cat /proc/mdstat

Personalities : [raid0] [raid1] [raid6] [raid5] [raid4]

md5 : active raid5 sdj[4] sdi[3] sdh[2] sdg[1]

3145536 blocks level 5, 64k chunk, algorithm 2 [4/3] [_UUU]

[=====>...............] recovery = 29.2% (307840/1048512) finish=0.0min speed=153920K/sec --这里可以看到在同步中

md1 : active raid1 sdd[0] sde[1]

1048512 blocks [2/2] [UU]

md0 : active raid0 sdb[0] sdc[1]

2097024 blocks 64k chunks

--同步完成后，查看数据还在

－－－－－－－－－－－－－－－－－－－－－

把raid设备挂载到/mnt目录

# mysql_install_db --datadir=/mnt --user=mysql

# mysqld_safe --datadir=/mnt/ --user=mysql &

然后使用mysql进入，插入一些数据，再进行热插拔实验，在这个过程中都可以进入大批量insert操作，不受影响（只受负载影响，因为同步raid数据时也要占用负载）

----------------------------------------------------------------------------------------------------------------------------

删除raid

1,umount

2,

# mdadm /dev/md5 --fail /dev/sdf --remove /dev/sdf

mdadm: set /dev/sdf faulty in /dev/md5

mdadm: hot removed /dev/sdf

# mdadm /dev/md5 --fail /dev/sdg --remove /dev/sdg

mdadm: set /dev/sdg faulty in /dev/md5

mdadm: hot removed /dev/sdg

# mdadm /dev/md5 --fail /dev/sdh --remove /dev/sdh

mdadm: set /dev/sdh faulty in /dev/md5

mdadm: hot removed /dev/sdh

# mdadm /dev/md5 --fail /dev/sdi --remove /dev/sdi

mdadm: set /dev/sdi faulty in /dev/md5

mdadm: hot removed /dev/sdi

3,

# mdadm --stop /dev/md5

mdadm: stopped /dev/md5

4,

直接用fdisk删除分区

或者

用下面命令擦除superblock

# mdadm --misc --zero-superblock /dev/sdf

# mdadm --misc --zero-superblock /dev/sdg

# mdadm --misc --zero-superblock /dev/sdh

# mdadm --misc --zero-superblock /dev/sdi

--把上面的四个盘再做成raid 10

方法一:

# mdadm --create /dev/md10 --level=10 --raid-devices=4 /dev/sd[fghi]

方法二：

先把两个做成两组raid1

再把这两组做成raid0

--做完raid10后把配置文件/etc/mdadm.conf里的raid信息的那几行删除，再重新用下面的命令扫描一下

mdadm --detail --scan >> /etc/mdadm.conf