zoukankan      html  css  js  c++  java
  • 17 RAID与mdadm管理命令

      在"14 磁盘及文件系统管理详解"中,我们详细介绍了磁盘的工作原理,但是,有一点我们一定要明白,作为现在存储数据的主要设备,机械磁盘早就是上个世纪的产品,而它的读写速度与内存、CPU比起来已经不在一个级别上,但是当前“大数据”背景下,我们有大量的数据需要进行存储,这样对磁盘的要求更加高了。

      为了解决,或者是缓解磁盘读写存储速度慢,以及保证数据的冗余性,我们创建了RADI技术,同时,通过mdadm命令来管理软RAID。这一节内容,我们就来详细了解RAID技术和mdadm管理命令。

    硬盘的分类(接口)

      我们说电脑的核心部件为CPU、内存和I/O总线;他们之间的大概工作过程如下图:

        1、我们要知道,系统要实现某一个应用的功能,就需要对应的启动这个应用的进程。而这个进程的运行与否,则取决于内核进程。所以,第一步,我们需要将内核进程调用CPU上,让内核进程调用你要实现的那个应用的进程内容。而这些进程内容默认都是存储在内存中的;

        所以,我们说内存的大小直接决定了进程运行的快慢;

        【这里要注意的是,我们的内存将进程分为一个一个的“页面”,而“页面”的大小正好就是2^n,所以,我们的磁盘上的数据块(block)的大小,也是以2^n来进行存储的,就是为了方便内存调用】

        2、内核进程决定调用的哪个普通进程,比如,我要运行“mkdir”创建目录,则这个时候,“mkdir”的进程就会被调用到CPU上来运行;这个过程就是由内核进程来决定的;

        3、“mkdir”的进程决定了调用磁盘的那些数据,而这个过程则由CPU通过控制总线来向磁盘发起控制指令;例如:运行 “mkdir /test” 则此时,CPU就会控制在 / 目录对应的磁盘来创建 test 目录;

        4、如果是数据调用,则这个数据会通过数据总线,从磁盘上调用到内存中,方便应用进程来对该数据进行处理;

      明白这个过程后,我们需要明白一个问题;不管是在数据传输、还是指令传输的时候,我们的CPU、磁盘、内存都来自于不同的厂家,而这些厂家之间的指令都是不同的。就好像一个说英语的和一个说汉语的之间无法沟通。这时候,我就需要两个东西来解决这个问题:1、驱动;2、控制器(接口)

      驱动我们不多研究,这里我们重点说磁盘控制器:

      主板上不同的接口,就是不同设备的控制器,他们都担任着控制指令转换的任务,也就是将CPU的控制指令装换为各个设备能够识别的控制指令。在保证指令能够读懂的情况下,来进行数据传输;

      在硬盘设备上,我们根据不同的接口来区分不同的硬盘:

        1、IDE并行总线:133Mbps

        2、SATA串行总线:300Mbps、600Mbps

        3、USB3.0串行接口:480Mbps

        4、SCSI(small computer system interface 小型计算机系统接口)并行总线

        5、SAS将SCSI并行总线接口作为串行总线接口

      此时,我们回到我们最初提出的问题,在一台繁忙的服务器上面,单块磁盘没办法满足内存对于数据读取速度的要求了。这是候,就出现了RAID技术;

    RAID的工作原理

      RAID原理说白了,就是将多个磁盘同时为服务器提供数据读取与写入的服务;

      原来磁盘用来连接服务器的那个接口,不再用来直接连接硬盘,而是连接一个特定的设备,而这个设备能将一个接口模拟成多个接口,用来连接硬盘,而接主机的那个口依然只有一个,这样,在CPU看来,后面接的硬盘依然是一个,而实际上已经接上了多个磁盘;

      而这个中间设备,我们就叫做RAID(可以是硬件,也可以由软件模拟,模拟的叫软RAID,而硬件搭建的叫硬RAID,这内容我们之后再提),Redundant arrays of dependent disks 独立的磁盘冗余阵列。现在,它已经成为了一个企业级存储的标准解决方案;

    条带与镜像

      RAID如何进行数据存储呢?

      100M的数据,将其存储于两个磁盘上,如果按照block单位来存储,则会被切分为过小的数据,不太适合,为了方便将数据存储,我们使用条带技术,将数据均匀的切分为多个“条带”;如下图,将100M的数据分为两个50M的条带分别存储于两块磁盘上;

      在数据进行读取的时候,也是从来块次磁盘上面同时读取;

      但是这样来存储数据也有一个问题,如果任何一个磁盘上的数据出现问题,则整个数据就无法读取了;

      RAID如何进行数据冗余呢?(镜像)

      为了解决条带技术带来的数据容易丢失的问题,我们又通过镜像的方式来对数据进行备份,这种方式就是将同一份数据在两个磁盘上都存放一份,其中一个磁盘数据丢失,还有另外一个磁盘的数据还在;但是,这种方式使得数据读写速度降低。

       所以,就产生了各种级别的RAID。

    RAID级别

      首先,RAID级别仅仅只是代表磁盘的组织方式不同,没有上下之分;

      RAID0  条带技术,实现的即为RAID0

      RAID1  镜像技术,实现的即为RAID1

      RAID10  对磁盘先做RAID1,在对磁盘做RAID0,则是RAID10

        A,B两盘做RAID1,C,D两盘做RAID1,然后再一起做RAID0;

      RAID01

        A,B两盘先做RAID0,C,D两盘先做RAID0,然后再一起做RAID1;

        R10要比R01好,因为,如果A,B做的RAID1,当B盘出现故障的时候,则在数据恢复的时候就可以直接从A盘进行数据恢复;如果A,B做的是RAID0,当B盘出现故障的时候,则在数据恢复的时候,就需要从C,D两盘中获取数据进行恢复;

      RAID4  最少要三块盘,才能实现RAID4;其中一块校验盘,如果A,B或者校验盘任何一块盘坏了,都可以进行数据恢复。但是,在读取或者存储数据的时候都要经过校验盘,所以,这大大影响了数据的读取;于是就有了RAID5;

      RAID5  如下图,相对于RAID4而言,RAID5则是将校验数据分布在各个磁盘上,则时候就不会单独拿出一个磁盘来作为校验盘了。这就解决了RAID4校验盘影响数据读写速度的问题;【这是最常用的RAID方式】

      RAID50  磁盘先做RAID5,在做RAID0;

      RAID6  相对于RAID5而言,RAID5只做了一次数据校验,而RAID6则由添加了一次数据校验的过程;

      JBOD  磁盘大小可以不停的累加,当单个文件特别大的时候,并且在逐渐变大的时候,空间不够用了,就可以使用该技术;Hadoop就需要使用到该技术;

    硬RAID与软RAID

      硬RAID是由特定的RAID卡来完成工作的。

      这个RAID卡上包含自己的控制芯片,自己的内存,以及供电电池;硬RAID的配置需要在BIOS里面完成;做好了RAID以后,CPU是无法看到你的真正的磁盘了,而是一些虚拟的磁盘;当CPU需要将数据写入磁盘的时候,这时现将数据缓存在RAID卡上的内存上面,然后慢慢写入到磁盘中;当CPU要读取数据的时候,这个工作就由RAID的芯片来完成;

      软RAID的实现是通过系统内核模块md(multi disks)来完成。

      首先md会模拟出一个逻辑设备来,这个逻辑设备就是以md开头的文件,例如/dev/md0最后的数字只是一个标号而已;再进行数据存储的时候就会通过你对应的RAID级别进行存储;所以软RAID是由你的CPU完成的,这个性能是无法保证的;

    mdadm管理命令(软RAID)

    mdadm(md admin)md的管理器;将任何块设备做成RAID;
      -C 创建

      -l 级别  指定级别

      -n  设备个数

      -c  chunk大小

      --add

      --del

      -F  监控查看

      -G  增加

      -A  装配

      -x  指定空闲盘自动填充坏盘
        例如:mdadm -C /dev/md0 -a yes -l 0 -n 2 /dev/sdb{1,2}

           【在创建这个虚拟的RAID磁盘的过程中,我们可以通过 cat /proc/mdstat 文件,看到磁盘的同步过程】
            cat /proc/mdstat或fdisk -l查看创建RAID的相关信息;
            mount /dev/md0 /mnt 挂载就能使用了


        例如:mdadm -C /dev/md1 -a yes -n 2 -l 1 -x 1 /dev/sdb{1,2,3}   #指定/dev/md1磁盘,然后 -x 指定一个备份盘;
              mke2fs -j /dev/md1  格式化
              mount /dev/md1 /media/  挂载

              mdadm -D /dev/md1 显示磁盘阵列RAID的详细信息

      -f  可以模拟坏盘

          mdadm /dev/md1 -f /dev/sdb1  #将sdb1模拟损坏

      -r  移除坏盘

          mdadm /dev/md1 -r /dev/sdb1  #将sdb1拔出来
      -S  暂停运行整个磁盘阵列

          mdadm -S /dev/md1  #停止这个整列

      -A  再次启动磁盘整列
            mdadm -A /dev/md1 /dev/sdb{1,2}  重新再启用这个RAID

    watch 周期性的执行某命令,并以全屏的方式显示这个结果;

      -n 制定周期长度

        例如:watch -n 5 ‘命令’  #将当前RAID信息保存至配置文件,以便以后进行装配
              mdadm -D --scan > /etc/mdadm.conf

  • 相关阅读:
    iOS
    iOS
    ios
    iOS
    ios
    ios
    iOS
    ios
    常用NSString的方法
    instancetype
  • 原文地址:https://www.cnblogs.com/BurnovBlog/p/10451852.html
Copyright © 2011-2022 走看看