前言：
近些年一直听着 虚拟化、云计算、公有云、私有云、混合云这些个概念，一直想着....这些概念要用什么技术实现？
一、云计算的概念
1.传统IDC机房面都会临什么问题？
任何新事物都是由需求催生的，之前网站上线基本上会有以下几种选择：
IDC托管：买台服务托管到IDC机房---》安装系统----》部署应用---》域名备案------》上线
IDC租用：租用IDC机房提供的服务器
VPS：虚拟专用主机
以上传统的网站上线的模式有什么重大缺陷呢？
A.成本高 （IDC托管、租用费用费用很高）
B.自动化能力差 事多、麻烦（买了/租了服务器还要装系统、部署代码，是否会被网络攻击）
2.云计算是什么？
把总多服务器的资源通过虚拟化的技术手段熔化成一个资源池 （云）
用户以网络的方式 按需获取资源池中的服务器资源，服务商按用户使用量公平收费； (计算）
是一种资源整合、按需消费、按需收费的商业模式； 让企业使用服务器资源就像 居民平时用水、用电一样简单；
3.云计算的层次
根据云提供的服务分为以下几个层次
Infrastructure as a service iaas Platforn as a service paas Software as a service saas
PS:也许你会听说过vaas（Video-as-a-service） 是建立在这3层之上的典型代表有乐视云；
4.云计算的分类
根据云面向的人群分为以下几类：
公有云：面向公众提供虚拟机、开发环境、服务（阿里云） 优点：技术安全可靠 缺陷：数据不安全
私有用：仅对一部分人/自己/公司内部员工使用（阿根云） 缺陷：技术问题自己解决 优点：数据安全
混合云：既使用公有云 也有自己的私有云（我们公司的） （综合私有云、公有云的优缺点）
二、虚拟化的概念
1.什么是虚拟化？
首先声 明 云计算 ！= 虚拟化，云计算的实现使用到了虚拟化这种技术手段；
虚拟化是指通过软件技术 把1个计算机的CPU、硬件 虚拟出很多虚拟机，这些虚拟机寄生在宿主机之上，功能和宿主机的功能无异， 但是彼此之间是隔离的；
三、KVM
KVM:需要硬件支持的虚拟化技术，从硬件层面实现隔离；（openstack默认使用的虚拟化技术就是KVM）
QEMU:QEMU和KVM一样是一种虚拟化软件；
QUEMU和KVM的区别：由于KVM是内核级虚拟化软件（能虚拟化出CPU和内存），磁盘、网卡虚拟不出来，于是KVM就是结合了QEMU实现了用户态的虚拟化；
1.虚拟环境准备
[root@localhost ~]# grep -E '(vmx|svm)' /proc/cpuinfo flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon nopl xtopology tsc_reliable nonstop_tsc eagerfpu pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch arat tpr_shadow vnmi ept vpid fsgsbase tsc_adjust bmi1 avx2 smep bmi2 invpcid mpx rdseed adx smap clflushopt xsaveopt xsavec
[root@localhost ~]# yum list|grep kvm Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast libvirt-daemon-kvm.x86_64 2.0.0-10.el7 @anaconda qemu-kvm.x86_64 10:1.5.3-126.el7 @anaconda qemu-kvm-common.x86_64 10:1.5.3-126.el7 @anaconda libvirt-daemon-kvm.x86_64 3.2.0-14.el7_4.5 updates oci-kvm-hook.x86_64 0.2-2.el7 epel pcp-pmda-kvm.x86_64 3.11.8-7.el7 base qemu-kvm.x86_64 10:1.5.3-141.el7_4.4 updates qemu-kvm-common.x86_64 10:1.5.3-141.el7_4.4 updates qemu-kvm-tools.x86_64 10:1.5.3-141.el7_4.4 updates
2.安装KVM
[root@localhost ~]# yum -y install qemu-kvm qemu-kvm-tools libvirt virt-install
3.启动librbd服务
libvirtd是管理KVM虚拟机的工具
[root@localhost ~]# yum update librbd1 [root@localhost ~]# systemctl start libvirtd [root@localhost ~]# systemctl enable libvirtd
当libvertd服务启动之后
系统会自动创建一个名为virbr0的桥接网卡，ip地址默认为192.168.122.1；
virbr0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500 inet 192.168.122.1 netmask 255.255.255.0 broadcast 192.168.122.255 ether 52:54:00:31:bf:a8 txqueuelen 1000 (Ethernet) RX packets 0 bytes 0 (0.0 B) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 0 bytes 0 (0.0 B) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
系统 自动启动dnsmasq进程该进程有DNS和DHCP的功能，给虚拟机动态分配IP地址并提供域名解析服务；
[root@localhost zhanggen]# ps -aux | grep dnsmasq nobody 1433 0.0 0.0 49532 1072 ? S 23:12 0:00 /usr/sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/libexec/libvirt_leaseshelper root 1436 0.0 0.0 49504 348 ? S 23:12 0:00 /usr/sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/libexec/libvirt_leaseshelper root 3727 0.0 0.0 112664 972 pts/0 R+ 23:19 0:00 grep --color=auto dnsmasq [root@localhost zhanggen]#
4.创建虚拟机
使用qemu-img给KVM虚拟机创建虚拟镜像文件
[root@localhost kvm_img]# qemu-img create -f raw /kvm_img/Centos-7-x86.raw 10G Formatting '/kvm_img/Centos-7-x86.raw', fmt=raw size=10737418240
新建了虚拟镜像文件就可以安装虚拟机了
virt-install --virt-type kvm --name Centos-7-x86_64 --ram 2048 --cdrom=/centos7iso/CentOS-7-x86_64-DVD-1611.iso --disk path=/kvm_img/Centos-7-x86.raw --network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole
然后使用TightVNC连接到服务器上给kvm虚拟机安装系统
在宿主机查看当前KVM实例列表
[root@localhost centos7iso]# virsh list --all Id 名称 状态 ---------------------------------------------------- 1 Centos-7-x86_64 running
通过宿主机启动1个 kvm实例
[root@localhost centos7iso]# virsh start Centos-7-x86_64 域 Centos-7-x86_64 已开始
kvm虚拟机启动之后，其实就是宿主机中的一个进程
[root@localhost zhanggen]# ps -ef | grep kvm root 482 2 0 3月15 ? 00:00:00 [kvm-irqfd-clean] qemu 8000 1 7 01:27 ? 00:01:53 /usr/libexec/qemu-kvm -name Centos-7-x86_64 -S -machine pc-i440fx-rhel7.0.0,accel=kvm,usb=off,dump-guest-core=off -cpu Broadwell,-hle,-rtm -m 2048 -realtime mlock=off -smp 1,sockets=1,cores=1,threads=1 -uuid fc152f09-9b09-4890-a316-3c2a5afb0e68 -no-user-config -nodefaults -chardev socket,id=charmonitor,path=/var/lib/libvirt/qemu/domain-2-Centos-7-x86_64/monitor.sock,server,nowait -mon chardev=charmonitor,id=monitor,mode=control -rtc base=utc,driftfix=slew -global kvm-pit.lost_tick_policy=delay -no-hpet -no-shutdown -global PIIX4_PM.disable_s3=1 -global PIIX4_PM.disable_s4=1 -boot strict=on -device ich9-usb-ehci1,id=usb,bus=pci.0,addr=0x4.0x7 -device ich9-usb-uhci1,masterbus=usb.0,firstport=0,bus=pci.0,multifunction=on,addr=0x4 -device ich9-usb-uhci2,masterbus=usb.0,firstport=2,bus=pci.0,addr=0x4.0x1 -device ich9-usb-uhci3,masterbus=usb.0,firstport=4,bus=pci.0,addr=0x4.0x2 -device virtio-serial-pci,id=virtio-serial0,bus=pci.0,addr=0x5 -drive file=/kvm_img/Centos-7-x86.raw,format=raw,if=none,id=drive-virtio-disk0 -device virtio-blk-pci,scsi=off,bus=pci.0,addr=0x6,drive=drive-virtio-disk0,id=virtio-disk0,bootindex=1 -drive if=none,id=drive-ide0-0-0,readonly=on -device ide-cd,bus=ide.0,unit=0,drive=drive-ide0-0-0,id=ide0-0-0 -netdev tap,fd=26,id=hostnet0,vhost=on,vhostfd=28 -device virtio-net-pci,netdev=hostnet0,id=net0,mac=52:54:00:ca:24:4f,bus=pci.0,addr=0x3 -chardev pty,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -chardev socket,id=charchannel0,path=/var/lib/libvirt/qemu/channel/target/domain-2-Centos-7-x86_64/org.qemu.guest_agent.0,server,nowait -device virtserialport,bus=virtio-serial0.0,nr=1,chardev=charchannel0,id=channel0,name=org.qemu.guest_agent.0 -device usb-tablet,id=input0,bus=usb.0,port=1 -vnc 0.0.0.0:0 -vga cirrus -device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x7 -msg timestamp=on
5.管理KVM虚拟机
在宿主机里面创建好了kvm实例，接下来就是对它们进行管理了，Red Hat引入了libvirt库作为管理平台虚拟化（hypervisor和VM）的一个API，openstack就是调用libvirt的API来管理KVM虚拟机的，
virsh是调用libvirt的客户端。
看到这里我有点兴奋，其实我用Python去调用libvert的API，也可以写一套类似openstack的虚拟机管理工具；
PS：openstack挂了 kvm虚拟机也会挂吗？你的老板挂了你会挂吗？
5.1.KVM虚拟机是通过什么定义的？
[root@localhost qemu]# cat Centos-7-x86_64.xml <!-- WARNING: THIS IS AN AUTO-GENERATED FILE. CHANGES TO IT ARE LIKELY TO BE OVERWRITTEN AND LOST. Changes to this xml configuration should be made using: virsh edit Centos-7-x86_64 or other application using the libvirt API. --> <domain type='kvm'> <name>Centos-7-x86_64</name> <uuid>fc152f09-9b09-4890-a316-3c2a5afb0e68</uuid> <memory unit='KiB'>2097152</memory> <currentMemory unit='KiB'>2097152</currentMemory> <vcpu placement='static'>1</vcpu> <os> <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type> <boot dev='hd'/> </os> <features> <acpi/> <apic/> </features> <cpu mode='custom' match='exact' check='partial'> <model fallback='allow'>Broadwell-noTSX</model> </cpu> <clock offset='utc'> <timer name='rtc' tickpolicy='catchup'/> <timer name='pit' tickpolicy='delay'/> <timer name='hpet' present='no'/> </clock> <on_poweroff>destroy</on_poweroff> <on_reboot>restart</on_reboot> <on_crash>destroy</on_crash> <pm> <suspend-to-mem enabled='no'/> <suspend-to-disk enabled='no'/> </pm> <devices> <emulator>/usr/libexec/qemu-kvm</emulator> <disk type='file' device='disk'> <driver name='qemu' type='raw'/> <source file='/kvm_img/Centos-7-x86.raw'/> <target dev='vda' bus='virtio'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/> </disk> <disk type='file' device='cdrom'> <driver name='qemu' type='raw'/> <target dev='hda' bus='ide'/> <readonly/> <address type='drive' controller='0' bus='0' target='0' unit='0'/> </disk> <controller type='usb' index='0' model='ich9-ehci1'> <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x7'/> </controller> <controller type='usb' index='0' model='ich9-uhci1'> <master startport='0'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0' multifunction='on'/> </controller> <controller type='usb' index='0' model='ich9-uhci2'> <master startport='2'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x1'/> </controller> <controller type='usb' index='0' model='ich9-uhci3'> <master startport='4'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x2'/> </controller> <controller type='pci' index='0' model='pci-root'/> <controller type='ide' index='0'> <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/> </controller> <controller type='virtio-serial' index='0'> <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/> </controller> <interface type='network'> <mac address='52:54:00:ca:24:4f'/> <source network='default'/> <model type='virtio'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/> </interface> <serial type='pty'> <target type='isa-serial' port='0'> <model name='isa-serial'/> </target> </serial> <console type='pty'> <target type='serial' port='0'/> </console> <channel type='unix'> <target type='virtio' name='org.qemu.guest_agent.0'/> <address type='virtio-serial' controller='0' bus='0' port='1'/> </channel> <input type='tablet' bus='usb'> <address type='usb' bus='0' port='1'/> </input> <input type='mouse' bus='ps2'/> <input type='keyboard' bus='ps2'/> <graphics type='vnc' port='-1' autoport='yes' listen='0.0.0.0'> <listen type='address' address='0.0.0.0'/> </graphics> <video> <model type='cirrus' vram='16384' heads='1' primary='yes'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/> </video> <memballoon model='virtio'> <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/> </memballoon> </devices> </domain>
所有的虚拟机都是由这个目录下的 xml文件定义的 其中包含：CPU、内存、硬盘...参数，对它的修改也就是对KVM虚拟机的动态调整
5.2.virsh管理命令
如上图所示 vish 是虚拟机管理服务（libvert）的客户端，那么如何使用virsh来对KVM虚拟机进行管理呢？
virsh list #查看虚拟机列表
qemu-img convert -f raw -O qcow2 /var/lib/libvirt/images/xuegod63-kvm2.img /var/lib/libvirt/images/xuegod63-kvm2.qcow2 #转换格式（将raw格式转换为qcow2格式）：
virsh dumpxml Centos-7-x86_64 > back.xml #备份虚拟机定义文件
virsh defined back.xml #通过备份的.xml文件还原虚拟机
virsh reboot Centos-7-x86_64 #重启虚拟机
virsh shutdown Centos-7-x86_64 #关闭虚拟机
virsh start Centos-7-x86_64 #开启虚拟机
virsh suspend Centos-7-x86_64 #挂起虚拟机 virsh resume Centos-7-x86_64 #恢复虚拟机
virsh snapshot-list Centos-7-x86_64 #查看本虚拟机的快照 virsh snapshot-create-as Centos-7-x86_64 mysnapshot #创建快照
virsh snapshot-revert Centos-7-x86_64 mysnapshot #恢复快照
virsh snapshot-delete Centos-7-x86_64 mysnapshot #删除快照
5.3.virsh edit命令
该命名可以对 /etc/libvirt/qemu下的xml虚拟机定义文件进行修改，进而对虚拟机的硬件参数进行在线调整；
调整CPU个数
<vcpu placement='auto' current='1'>4</vcpu>
virsh setvcpus Centos-7-x86_64 2 --live #在线修改为2个CPU
调整内存大小
virsh qemu-monitor-command Centos-7-x86_64 --hmp --cmd balloon 1024 #设置内存大小
virsh qemu-monitor-command Centos-7-x86_64 --hmp --cmd info balloon #查看内存大小
硬盘相关
QUME使用的镜像文件分为：qcow2和raw格式
qcow2格式：支持快照功能、性能慢、动态占用
raw格式：不支持快照功能、性能快、指定多多空间占用多大，可以转换成其他格式
qemu-img info Centos-7-x86.raw #查看KVM镜像文件格式
qemu-img convert -f raw -O qcow2 Centos-7-x86.raw test.qcow2 #转换镜像文件的格式
KVM网络架构调整(把所有KVM虚假 桥接到虚拟网桥br0上)
KVM虚假默认是通过NAT转换的方式上网的，但是NAT转换有网络平静，所有我可在宿主机上创建 一些虚拟网桥，让一堆堆的虚拟机桥接到宿主机的各个网桥上，达到网络负载均衡的效果；
brctl show #查看网桥：通过virbr0网桥做NAT IP地址转换 分配给虚拟机
stepA:宿主机新增虚拟网桥（以免增加网桥的操作过程中宿主机网络中断，所以一定通过脚本的形式进行操作。）
#!/usr/bin/bash ip addr del dev ens33 192.168.226.151/24 #剥夺、删除ens33的IP地址 brctl addbr br0 #添加虚拟机网桥 br0 ifconfig br0 192.168.226.151/24 up #给网桥设置IP地址 brctl addif br0 ens33 #将br0桥接到ens22物理网卡 route add default gw 192.168.226.2 #添加网关出口
stepB：设置KVM.xml 让虚拟机连接到宿主机新增的网桥上
<interface type='bridge'> <mac address='52:54:00:ca:24:4f'/> <source bridge='br0'/> <model type='virtio'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/> </interface>
stepC:KVM虚拟机桥接到宿主机之后，重启KVM(重启不能用reboot否则不生效！)， 然后登陆KVM给KVM配置静态IP、网关、DNS
KVM网卡配置 （/etc/sysconfig/network-scripts/ifcfg-eth0） BOOTPROTO=static ONBOOT=yes IPADDR=192.168.226.18 NETMASK=255.255.255.0 GATEWAY=192.168.226.2 KVMDNS配置 /etc/resolv.conf nameserver 192.168.226.2
6.KVM性能优化
6.1：减少CachMiss
每个kvm虚拟机都对应宿主机中的一个进程，为了减少CachMiss，可以把某些运行重要业务的kvm绑定到一颗CPU上；
[root@localhost zhanggen]# taskset -cp 0 8000 #0:CPU 800:进程ID pid 8000's current affinity list: 0 pid 8000's new affinity list: 0
6.2.使用大页内存，减少内存碎片，加速内存寻址（默认已开启）；
[root@localhost zhanggen]# cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never
6.3.Linux的IO调度算法
四、python3调用libvirtd API
如果你想通过python3调用宿主机的libvirtd API 管理KVM虚拟机，必须要 pip 安装libvirt-python模块 然后在libvirtd 宿主机端开启API 端口，就可以了；
1.libvert-python模块安装
yum install -y libvirt-devel yum install python-devel pip3 install psutil pip3 install ioctl_opt 下载python-libvirt包#https://pypi.org/project/libvirt-python/3.7.0/ python setup.py build python setup.py install 效果 [root@cmdb libvirt-python-3.7.0]# python Python 3.6.1 (default, Feb 22 2019, 15:18:59) [GCC 4.4.7 20120313 (Red Hat 4.4.7-18)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import libvirt >>>
2.设置LIBVIRTD_PATH环境变量
export LIBVIRTD_PATH=/usr/sbin/
以上是python端的准备工作，如果python想要连接到KVM宿主机的libverd API 就需要配置 libvirtd的开放端口；
3.配置libvirtd API 端口
LIBVIRTD_CONFIG=/etc/libvirt/libvirtd.conf LIBVIRTD_ARGS="--listen"
listen_tls = 0 listen_tcp = 1 tcp_port = "16509" listen_addr = "0.0.0.0" auth_tcp = "none"
LISTEN 0 128 *:16509 *:*
4、代码
用了半天时间 搭建libvirtd API 环境 、pip libvert-python模块 ，要运维干嘛？
............终于可以用python连进来写会儿代码了。
[root@localhost libvirt]# python Python 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import libvirt >>> conn = libvirt.open("qemu+tcp://192.168.226.151/system") >>>
参考：