zoukankan      html  css  js  c++  java
  • 学习LVM转载

    学习LVM

    学习Linux LVM,第1部分

    1. 逻辑卷管理器的存储管理魔术

    LVM介绍

    在这一系列中,我要向您介绍如何安装和使用新的内置在Linux 2.4内核中的“逻辑卷管理”支持。如果您以前从未使用过任何形式的LVM,那么您得好好学一学;它是一种非常棒的技术。在我们真正设置和运行LVM之前,我要解释一下它究竟是什么以及它是如何工作的。然后,我们准备对LVM做一些测试来充分了解它。 如果您象我一样,那么您对UNIX和Linux的体验是从PC平台,而不是从大型的商业UNIX服务器和工作站上开始的。在一台pc裸机上,我们总是不得不对硬盘驱动器执行分区。使用PC的人通常相当了解fdisk这样的在硬盘上创建和删除主要分区和扩展分区的工具。硬盘分区是一种令人厌烦,但公认是使操作系统设置和运行进程不可或缺的一部分。 硬盘分区可能是非常烦人的事,如果要把它分好,确实需要精确地估计每个分区需要多少空间。如果估计得不准确,Linux系统很可能会顾此失彼──为解决这个问题,您甚至可能需要执行整个系统备份、将硬盘清除干净,然后将所有数据恢复到新的(可能比原来好一些)分区布局中。讨厌!这正是系统管理员在一开始就竭力避免的情况。 一直以来我们的分区都是一些大小固定的存储区域,但值得庆幸的是,我们现在有许多PC重新分区工具(PowerQuest的Partition Magic产品就是最流行的一种)。这些工具可以让您用一个特殊磁盘来引导系统,并可以动态地重新调整分区和文件系统的大小。重新引导后,您就拥有了重新调整过大小的新分区,这样就有望将您从存储器困境中解脱出来。这些重新调整分区大小的工具很有效,并从某种程度上解决了一些存储器管理问题。但它们是不是就完美了呢?不一定。 像Partition Magic这样的工具对于工作站来说非常有效,但对服务器来说就不合适了。首先,它们需要重启系统。而这正是大多数系统管理员想尽量避免的。如果在每次需要调整存储器(例如每周都需要动态调整的存储器)时就是不能重启机器怎么办?如果需要扩充文件系统使它能跨越多个硬盘驱动器会发生什么,或者如果在允许Apache继续提供Web服务的同时需要动态扩充或缩减分区的存储容量,您该怎么做?在一个使用率高、机动性强的环境中,原始的分区大小调整工具无法满足这些要求。对于这样一些和其它一些情况,“逻辑卷管理”是一种非常出色(如果还算不上完美)的解决方案。

    走进LVM

    现在,让我们看看LVM是如何解决这些问题的。我们执行下面的三步骤来创建LVM逻辑卷。首先,我们需要选择用于LVM的物理存储器资源。这些通常是标准分区,但也可以是我们已创建的Linux Software RAID卷。如果使用LVM术语,这些存储器资源称为物理卷。设置LVM的第一步是正确初始化这些分区以使它们可以被LVM系统识别。如果添加物理分区,它还包括设置正确的分区类型,以及运行pvcreate命令。 在初始化LVM使用的一个或多个物理卷后,可以继续进行第二步──创建卷组。您可以把卷组看作是由一个或多个物理卷所组成的存储器池。在LVM运行时,我们可以向卷组添加物理卷,亦或移除它们。不过,我们不能直接在卷组上安装或创建文件系统。而是告诉LVM使用我们的卷组存储器池创建一个或多个“逻辑卷”:
      创建LVM逻辑卷非常容易,而且一旦创建它以后,我们就可以把文件系统放在它上面、安装它,然后开始使用卷来存储文件。使用“lvcreate”命令来创建逻辑卷,指定新卷的名称、所希望的卷的大小,以及希望这个特定逻辑卷所属的卷组。然后,LVM系统从我们指定的卷组中分配存储量来创建准备使用的新卷。创建新卷后,可以将ext2或ReiserFS文件系统放在上面、安装它,然后照我们喜欢的方式使用它。  
     

    范围

    在幕后,LVM系统以大小相等的“块”(称为“范围”)为单位分配存储量。我们可以指定在创建卷组时使用的特定的范围大小。范围的大小缺省为4Mb,这对于大多数情况来说相当理想。LVM的一个好处是在已经安装了逻辑卷并在使用逻辑卷的情况下,可以动态地改变逻辑卷使用的范围的物理存储位置(换句话说,就是存储它们所在的磁盘)。LVM系统确保逻辑卷在管理员物理地改变存储位置的同时能够继续正常操作。 当然,因为所有事物都是在大小相等的范围之上创建的,所以要为已存在的逻辑卷分配一些额外的范围实际上很容易──换句话说,动态“增长”卷:  
    图示 1.3: 从卷组添加额外的范围, 扩展逻辑卷的大小
    一旦扩充了逻辑卷,接下来就可以扩充ext2或ReiserFS文件系统来利用这一新的磁盘空间。如果使用例如resize_reiserfs这样的程序,也可以在已安装和正使用卷时扩充文件系统!真正令人称奇的是──使用LVM和联机文件系统扩充实用程序,可以在改变存储器配置时不再需要重新引导系统,甚至不需要降低到运行级别1唯一需要关闭系统的情况是在需要添加新的物理磁盘时。添加了新磁盘后,可以将这些新的物理卷添加到卷组中来创建新的范围补给。

    设置LVM

    好,让我们开始安装LVM。LVM由两部分组成:内核部分和一套用户空间工具。为了开始,先跳到主要LVM页面(请参阅本文稍后部分的参考资料)并下载可以找到的最新版本的LVM tar文件(当前是lvm_0.9.1_beta3.tar.gz)。LVM tar文件包含了所有用户空间工具以及一组内核补丁程序。这正是令人感兴趣的地方。 如果已经安装了2.4系列内核,则系统上已有LVM支持,如果没有,很简单,只需要重新编译内核来启用LVM支持即可。不过,您可能不希望使用自带的(或发行版提供的)2.4内核所包括的LVM支持。如果希望使用最新的LVM版本,要将LVM tar文件中的补丁程序应用到当前的2.4内核源码树。以下是执行方法。 为了开始,进入内核源码目录 (/usr/src/linux) 并创建一个称为extras的目录。然后进入该目录并解压LVM tar文件:
    代码 1.1: 解压补丁包
    # cd /usr/src/linux
    # mkdir extras
    # cd extras
    # tar xzvf /path/to/location/of/lvm_0.9.1_beta3.tar.gz
    执行完这一步后,您会注意到在extras中有一个称之为LVM的目录,它包含了另一个根据您刚刚解包的LVM版本命名的目录。进入这两个目录找到LVM源码:
    代码 1.2: 获取LVM源代码
    # cd LVM/0.9.1_beta3
    # ls
    ABSTRACT      COPYING      INSTALL     Makefile     README    autoconf      config.status  kernel         make.tmpl.in
    CHANGELOG     COPYING.LIB  KNOWN_BUGS  Makefile.in  TODO      config.cache  configure      lvm_input_msg  scripts
    CONTRIBUTORS  FAQ          LVM-HOWTO   PATCHES      WHATSNEW  config.log    configure.in   make.tmpl      tools
    您将看到几个文本文件、脚本和源目录。您会在INSTALL文件中找到安装指令;我将指导您完成这一过程。首先,我们希望运行配置脚本,如下:
    代码 1.3: 配置LVM源代码
    # ./configure --prefix=/ --mandir=/usr/man

    修补

    执行完这条命令后,将创建并配置Makefile,以在/sbin中安装所有LVM工具,在/usr/man中安装帮助页面。如果您的帮助页面位于/usr/share/man中(按照FHS2.1),则对上述路径作相应的调整。如果内核源码不在/usr/src/linux中,还需要将--with-kernel_dir=/path/to/usr/src/linux选项添加到一行中。配置脚本完成后,我们就可以准备安装这些工具并生成当前内核的补丁了。让我们首先对内核加以修补。进入PATCHES目录:
    代码 1.4: 切换文件夹
    # cd PATCHES
    现在输入make。makefile将生成专用于特定2.4系列内核源码的补丁:
    代码 1.5: 创建patch
    # make
    补丁名为lvm-[lvmversion]-[kernelversion].patch。例如,因为我使用的是版本0.9.1_beta3的LVM和内核2.4.0-ac11,所以补丁名为lvm-0.9.1_beta3-2.4.0-ac11.patch。您可以在当前目录中找到它。现在该应用补丁了。要应用补丁,需要将目录切换到内核源码所在的位置,然后使用patch命令:
    代码 1.6: patch命令
    # cd /usr/src/linux
    # patch -l -p1 < /usr/src/linux/extras/LVM/0.9.1_beta3/PATCHES/lvm-0.9.1_beta3-2.4.0-ac11.patch
    虽然LVM INSTALL文档并没有提到,但我通常将-l选项传递给patch。该选项让补丁程序补偿空白中的任何变化(例如细微的缩排变化),这些变化一般会造成补丁的某些部分失败。如果上述命令完成时没有任何带有"FAILED"的行,那么就可以准备安装用户磁盘空间工具了。如果不是这样,您需要审视/usr/src/linux目录来查找.rej文件,然后使用文本编辑器手工将被拒绝的部分插入到源码中──真麻烦!不过,在大多数情况下,应用补丁都很顺利,您可以迅速使用它。

    配置、编译和安装

    好,现在有了一个经过修补的内核,因此它具有最新可用的LVM代码。现在需要配置内核来启用LVM支持。我建议您直接将LVM支持编译到内核中而不是将它配置成作为一个模块编译。启动您喜爱的Linux内核配置方法:
    代码 1.7: 配置内核
    # cd /usr/src/linux
    # make menuconfig
    您在 "Multi-device support (RAID and LVM)" 部分中可以找到LVM选项。一旦启用了第一个选项:
    代码 1.8: RAID与LVM支持
    [*] Multiple devices driver support (RAID and LVM)
    . . .您将看到以下选项,您也应该启用它们:
    代码 1.9: 启用LVM支持
    <*>   Logical volume manager (LVM) support
    根据您使用的LVM版本,可能还有其它一些希望启用的与LVM相关的选项。完成后,保存内核配置,并执行标准内核编译例程,然后重新引导。恭喜──您现已启用了内核LVM支持;现在,我们需要编译和安装用户磁盘空间工具。这一步很简单:
    代码 1.10: 安装用户磁盘空间工具
    # cd /usr/src/linux/extras/LVM/0.9.1_beta3
    # make
    # make install
    另外还有一步,它是可选的。如果您要做的不仅是测试LVM,还需要将以下几行添加到startup rc脚本中:
    代码 1.11: 编辑startup rc脚本
    /sbin/vgscan
    /sbin/vgchange -a y
    这些行将浏览所有可用的卷组并激活它们。然后,将以下这行添加到shutdown rc脚本中,并确保它在卸装了所有文件系统后执行:
    代码 1.12: 编辑shutdown rc脚本
    /sbin/vgchange -a n
    如果只是测试LVM,可以跳过这些步骤。只是要记住,在每次重新引导后,在逻辑卷可以使用前,需要以root输入vgscan和vgchange -a y。 以上就是这篇文章的内容。在下一篇文章中,我将介绍如何创建您自己的逻辑卷,以及如何发挥LVM的威力。到时候再见!

    学习Linux LVM,第2部分

    1. cvs.gentoo.org升级

    简介

    我前一篇LVM文章中,我解释了LVM背景知识。现在该是发挥LVM作用的时候了。在本文中,我将在官方Gentoo Linux web cvs服务器(cvs.gentoo.org)上设置LVM。尽管cvs.gentoo.org只有一个硬盘,但灵活性很强的LVM仍然令人难以置信地提供了比标准静态分区方法好得多的改进。我将为您介绍LVM转换过程的的所有步骤,这样,如果您有兴趣,可以在自己的机器上执行类似的转换。
    警告: 在开始之前有一个告诫。因为实现LVM是对系统进行的一项重要的变动(包括创建新分区和其它一些潜在的冒险操作),所以在开始这一过程之前备份整个系统不失为一个好主意。如果您不想进行备份,我希望您能使用一台没有什么重要数据的测试机器。应该说我在转换到LVM时并没有遇到任何问题,但最好做好准备以防万一。
    那么,让我们继续。在开始转换过程之前,我对cvs.gentoo.org进行了升级,让它使用下列软件包。在我执行LVM转换的时候,这些是当时的最新版本(请参阅本文稍后部分的参考资料):
    • Linux kernel 2.4.1-ac19
    • LVM 0.9.1_beta5
    • reiserfs-utils 3.6.25
    现在轮到硬盘驱动器了。cvs.gentoo.org有一个不错的新的IBM 45GB硬盘驱动器;不过,当我在cvs上安装Gentoo Linux时,我只对驱动器中的10GB进行了分区,而将余下的35GB留作“将来的分区”使用。这些是在不使用LVM时耍的一点小计谋──将部分驱动器保留不分区是一种为今后的扩充作准备的简单但有效的方式。不过,如果使用LVM,会有更好的方法。

    空间问题

    在过去的几个星期中,我注意到我的ReiserFS根分区在被缓慢地填满,这可以从下面的df输出中看出:
    代码 1.1: 日见缩小的空闲空间
    Filesystem           1k-blocks      Used Available Use% Mounted on
    /dev/hda3              9765200   6989312   2775888  72% /
    tmpfs                   269052         0    269052   0% /dev/shm
    现在,72%被占满的根分区并不构成什么危机,但也决不是一种良好的状况。ReiserFS和许多其它文件系统一样,随着它的越来越满而越来越慢,根文件系统被完全填满、文件系统的性能遭到重创只是个时间问题。 我决定在硬盘驱动器的结尾处使用LVM,从35GB的当前未分区空间中创建新逻辑卷来解决这一问题。然后,我会在这个卷上创建一个文件系统,并将/dev/hda3的大部分内容转移到其中。 如果您考虑在自己的机器上进行类似的转换,首先需要做的就是在根文件系统上找一个合适的部分转移到逻辑卷上。对我来说,选择很容易──我的/home树占用了大约5.7GB。将/home转移到它自己的LVM逻辑卷之后,我的根分区只占用了20%的容量。因为大多数新数据将被添加到/home,所以我根分区的使用量将保持在20%左右──一种非常健康的状态。

    开始前的准备

    在开始转换之前,首先在硬盘驱动器的结尾处对未使用的空间进行分区。我使用cfdisk创建了一个35GB的分区(/dev/hda5),然后将分区的分区类型设置成"8E"(正规LVM分区类型)。在这一更改后,我进行了重新引导以强制重新读取分区表。在重新引导后,我的分区表如下:
    代码 1.2: 新的分区表
    # sfdisk -l
    Disk /dev/hda: 89355 cylinders, 16 heads, 63 sectors/track
    Units = cylinders of 516096 bytes, blocks of 1024 bytes, counting from 0
       Device Boot Start     End   #cyls   #blocks   Id  System
    /dev/hda1   *      0+    247     248-   124960+  83  Linux
    /dev/hda2        248     743     496    249984   82  Linux swap
    /dev/hda3        744   20119   19376   9765504   83  Linux
    /dev/hda4      20120   89354   69235  34894440    5  Extended
    /dev/hda5      20120+  89354   69235- 34894408+  8e  Linux LVM
    既然有了空的35GB的分区,我就准备为LVM初始化它。以下是过程──首先,我将35GB初始化成物理卷;然后,使用这个物理卷创建一个卷组,最后,在卷组上分配一些范围,创建将包含新文件系统并存放当前/home中所有文件的逻辑卷。 为开始这个过程,我使用pvcreate命令将/dev/hda5初始化成物理卷:
    代码 1.3: 创建物理卷
    # pvcreate /dev/hda5
    pvcreate -- physical volume "/dev/hda5" successfully created
    pvcreate在/dev/hda5上设置一个特殊的“记帐”区域,称作VGDA(“卷组描述符区域”)。LVM使用该区域来记录物理范围是如何分配的,以及其它一些操作。 下一步是创建卷组并向该卷组添加/dev/hda5。卷组将充当范围池(许多存储块)。创建卷组之后,创建所需数量的逻辑卷。我决定将卷组称为"main":
    代码 1.4: 创建卷组
    # vgcreate main /dev/hda5
    vgcreate -- INFO: using default physical extent size 4 MB
    vgcreate -- INFO: maximum logical volume size is 255.99 Gigabyte
    vgcreate -- doing automatic backup of volume group "main"
    vgcreate -- volume group "main" successfully created and activated
    vgcreate命令执行几个操作。除了创建"main"卷组以外,它还设置/dev/hda5,使它使用4MB的范围,4MB是缺省范围大小。这意味着在卷组上创建的所有逻辑卷都可以以4MB为增量单位来进行扩充或缩减。 由于内核限制的原因,范围大小决定了逻辑卷的最大大小。您可以从上面的输出中看出,4MB的范围大小决定了逻辑卷大小限制为256GB,如果您向卷组添加几个高容量驱动器,这是很容易达到的逻辑卷组大小。如果每一个卷最后都大于256GB,我建议您在运行vgcreate时指定更大一些的范围大小。范围的大小可以是从8KB到512MB之间的任何值,并且必须总是2的倍数。通过将范围大小增加到4MB以上,最大的物理卷大小将相应地增加到最大为1Petabyte(尽管当今现实世界中,x86系统上的大小限制是2Terabytes)。例如,如果希望使用32MB的范围创建卷组,我会输入:
    代码 1.5: 一个更大的范围大小
    # vgcreate -s 32M main /dev/hda5
    32MB是个合适的范围大小,因为32MB的颗粒度仍然便于管理,并将引导的最大逻辑卷大小增加到2TB。创建卷组之后,可以通过输入"vgdisplay"来查看其信息:
    代码 1.6: 查看卷信息
    # vgdisplay
    --- Volume group ---
    VG Name               main
    VG Access             read/write
    VG Status             available/resizable
    VG #                  0
    MAX LV                256
    Cur LV                0
    Open LV               0
    MAX LV Size           255.99 GB
    Max PV                256
    Cur PV                1
    Act PV                1
    VG Size               33.28 GB
    PE Size               4 MB
    Total PE              8519
    Alloc PE / Size       0 / 0
    Free  PE / Size       8519 / 33.28 GB
    VG UUID               2qC2H2-iA8s-qW6F-cwXx-JVIh-I6VC-VVCGmn
    既然有了自己的卷组,我准备创建逻辑卷。我决定在最初时将它的大小设置为8GB,并称它作"lv_home":
    代码 1.7: 创建逻辑卷
    # lvcreate -L8G -nlv_home main
    lvcreate -- doing automatic backup of "main"
    lvcreate -- logical volume "/dev/main/lv_home" successfully created
    然后,在逻辑卷上创建文件系统:
    代码 1.8: 文件系统的创建
    # mkreiserfs /dev/main/lv_home
      <----------- MKREISERFSv2 ----------->
       Block size 4096 bytes
       Block count 2097152
       Used blocks 8275
               Journal - 8192 blocks (18-8209), journal header is in block 8210
               Bitmaps: 17, 32768, 65536, 98304, 131072, 163840,
               196608, 229376, 262144, 294912, 327680, 360448,
               393216, 425984, 458752, 491520, 524288, 557056,
               589824, 622592, 655360, 688128, 720896, 753664,
               786432, 819200, 851968, 884736, 917504, 950272,
               983040, 1015808, 1048576, 1081344, 1114112,
               1146880, 1179648, 1212416, 1245184, 1277952,
               1310720, 1343488, 1376256, 1409024, 1441792,
               1474560, 1507328, 1540096, 1572864, 1605632,
               1638400, 1671168, 1703936, 1736704, 1769472,
               1802240, 1835008, 1867776, 1900544, 1933312,
               1966080, 1998848, 2031616, 2064384
       Root block 8211
    Hash function "r5"
    ATTENTION: ALL DATA WILL BE LOST ON '/dev/main/lv_home'! (y/n)y
    journal size 8192 (from 18)
    Initializing journal - 0%....20%....40%....60%....80%....100%
    Syncing..done.
    既然创建了文件系统,我就可以在/mnt/newhome上安装它:
    代码 1.9: 挂载新卷
    # mkdir /mnt/newhome
    # mount /dev/main/lv_home /mnt/newhome
    # df
    Filesystem           1k-blocks      Used Available Use% Mounted on
    /dev/hda3              9765200   6989840   2775360  72% /
    tmpfs                   291388         0    291388   0% /dev/shm
    /dev/main/lv_home      8388348     32840   8355508   1% /mnt/newhome
    您可以从上面看出,我几乎准备复制/home中的所有数据。在开始之前,我把系统降低到运行级别1以确保在复制/home中的文件时,没有用户或进程能够访问或修改它们:
    代码 1.10: 运行级别1
    # init 1
    然后,开始复制文件:
    代码 1.11: 复制文件到新文件夹
    # cp -avx /home/* /mnt/newhome
    复制操作需要大约10分钟的时间完成。然后,我将原始/home备份成/home.old,这只是为在复制过程中有任何错误而准备的。创建一个新的安装点,然后在/home上重新安装新home:
    代码 1.12: 新的挂载点
    # cd /
    # mv home home.old
    # mkdir home
    # umount /mnt/newhome
    # mount /dev/main/lv_home /home
    然后,应该设置服务器以使我的新/home分区可以在每次启动机器时使用。首先修改/etc/fstab以使它包括新的/home项:
    代码 1.13: 编辑fstab
    
    
    #fs                 mountpoint       type         opts          dump/pass
    /dev/hda3           /                reiserfs     defaults      1 1
    /dev/main/lv_home   /home            reiserfs     defaults      2 2
    /dev/hda2           none             swap         sw            0 0
    /dev/hda1           /boot            reiserfs     noauto        0 0
    /dev/cdrom          /mnt/cdrom       iso9660      noauto,ro     0 0
    proc                /proc            proc         defaults      0 0
    none                /dev/pts         devpts       mode=620      0 0
    tmpfs               /dev/shm         tmpfs        defaults      0 0
    然后,我对初始化脚本进行了一些小小改动。我修改了"checkroot"启动脚本,使以下命令可以在根分区重新安装读/写后立即运行:
    代码 1.14: 修改启动脚本
    /sbin/vgscan
    /sbin/vgchange -a y
    接下来,我修改了在关机时运行的文件系统卸装脚本,使以下命令在卸装了所有文件系统后立即运行:
    代码 1.15: 修改关机脚本
    /sbin/vgchange -a n
    完成了这些步骤后,我重新引导了机器,让我高兴的是一切都工作正常。在接下去的一天左右的时间里完全没有问题,随后我删除了/home.old以释放根文件系统上的一些空间。太棒了!到LVM的转换成功了。

    LVM的优点

    虽然到LVM的转换有些痛苦,但一旦转换完成之后,管理文件系统就变得非常简单。例如,我决定重新调整新的/home逻辑卷大小,向文件系统结尾添加大约2GB的空间。首先,我向"lv_home"逻辑卷添加了额外的容量,然后使用resize_reiserfs实用程序来扩充文件系统,使它可以使用额外的容量。以下是执行所有这些操作的两个命令:
    代码 1.16: 新增空间
    # lvextend -L+2G /dev/main/lv_home
    # resize_reiserfs -f /dev/main/lv_home
    在大约一秒钟的时间里,我将/home文件系统扩大了2GB;令人惊奇的是,我不需要重新引导、降低到运行级别1,甚至不需要卸载/home来执行大小调整。一切都照常工作。是不是很了不起?下面是我的文件系统的当前状态:
    代码 1.17: 文件系统空间
    # df
    Filesystem           1k-blocks      Used Available Use% Mounted on
    /dev/hda3              9765200   1413340   8351860  15% /
    /dev/main/lv_home     10485436   5609836   4875600  54% /home
    您可以看出LVM的确可以让管理员的工作轻松许多。我希望在今后能将根文件系统的其它部分转移到LVM,最终甚至将我的根文件系统转换成LVM逻辑卷。下面的参考资料可以帮助您了解有关LVM的更多知识。

    参考资料

    • 有关LVM的概念和如何在系统上安装最新的内核补丁和工具的建议,请参阅我的前一篇文章,学习LVM,第1部分
    • 从RedHat下载LVM源代码包
    • 等不及的读者可以查看Heinz Mauelshagen的LVM HOWTO,它包含更多设置物理卷、卷组和逻辑卷的例子。
    • 另外还有一个有意思的HOWTO,告诉您如何在逻辑卷上设置根文件系统
    • Andreas Dilger参与了Linux LVM项目,他有一个看上去不错的联机ext2文件系统大小调整器
    • ReiserFS是一种非常好的文件系统(特别在与LVM结合使用时)。如果使用的是ReiserFS,需要获取reiserfs-utils tar文件,它包含了一个称为reiserfs_resize的程序──允许对ReiserFS文件系统联机调整大小。
    • 有关设置Linux Software RAID卷的详细信息,请参阅Daniel在developerWorks上有关Software RAID系列的第1部分第2部分
    • 如果想进行回顾,请参阅Daniel的Linux内核编译教程
  • 相关阅读:
    对我比较有用的网站
    ubuntu各种安装
    arabaraba
    镜像源相关
    硬盘相关
    python模块
    递归和循环两种方式实现未知维度集合的笛卡尔积
    单例模式的两种实现方式
    经典String str = new String("abc")内存分配问题
    js方法的命名不能使用表单元素的名称或ID
  • 原文地址:https://www.cnblogs.com/shaoguangleo/p/2806070.html
Copyright © 2011-2022 走看看