s
NUMA ： 非一致性存储
https://www.cnblogs.com/xingmuxin/p/11319277.html
当多个处理器访问同一个存储器时，会有性能损失，NUMA通过提供分离的存储器给各个处理器。
NUMA系统的结点通常是由一组CPU和本地内存组成，有的结点可能还有I/O子系统。由于每个结点都有自己的本地内存，因此全系统的内存在物理上是均匀分布的，每个结点访问本地内存和访问其它结点的远地内存的延迟是不同的，为了减少非一致性访存对系统的影响，在硬件设计时应尽量降低远地内存访存延迟（如通过Cache一致性设计等），而操作系统也必须能感知硬件的拓扑结构，优化系统的访存。
NUMA 的结构比 SMP 的结构更有优势，为什么现在的电脑不用 NUMA 的结构呢？
https://www.zhihu.com/question/19908227
BIOS、超线程、NUMA、CPU高性能、睿频服务器批量检查
https://www.xxshell.com/3361.html
DPDK内存篇（三）: 标准大页、NUMA、DMA、IOMMU、IOVA、内存池
https://rtoax.blog.csdn.net/article/details/109693831
MySQL5.7关闭NUMA方法
http://blog.itpub.net/15498/viewspace-2142705/
非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) 也是最新的内存管理技术。它和对称多处理器结构 (SMP ： Symmetric Multi-Processor) 是对应的。
MySQL在NUMA架构上会出现的问题:
1).CPU规模因摩尔定律指数级发展，而总线发展缓慢，导致多核CPU通过一条总线共享内存成为瓶颈
2).于是NUMA出现了，CPU平均划分为若干个Chip（不多于4个），每个Chip有自己的内存控制器及内存插槽
3).CPU访问自己Chip上所插的内存时速度快，而访问其他CPU所关联的内存（下文称Remote Access）的速度相较慢三倍左右
4).于是Linux内核默认使用CPU亲和的内存分配策略，使内存页尽可能的和调用线程处在同一个Core/Chip中
5).由于内存页没有动态调整策略，使得大部分内存页都集中在CPU 0上
6).又因为Reclaim默认策略优先淘汰/Swap本Chip上的内存，使得大量有用内存被换出
7).当被换出页被访问时问题就以数据库响应时间飙高甚至阻塞的形式出现了
因此MySQL单机单实例，建议关闭NUMA，关闭的方法有三种：
1.硬件层，在BIOS中设置关闭；
2.OS内核，启动时设置numa=off；
3.可以用numactl命令将内存分配策略修改为interleave（交叉）
登录Linux系统,修改/etc/init.d/mysqld文件，加上numactl --interleave all
vi /etc/init.d/mysqld
找到如下行
# Give extra arguments to mysqld with the my.cnf file. This script
# may be overwritten at next upgrade.
$bindir/mysqld_safe --datadir="$datadir" --pid-file="$mysqld_pid_file_path" $other_args >/dev/null &
wait_for_pid created "$!" "$mysqld_pid_file_path"; return_value=$?
将$bindir/mysqld_safe --datadir="$datadir"这一行修改为：
/usr/bin/numactl --interleave all $bindir/mysqld_safe --datadir="$datadir" --pid-file="$mysqld_pid_file_path" $other_args >/dev/null &
wait_for_pid created "$!" "$mysqld_pid_file_path"; return_value=$?
然后重启MySQL服务.
#service mysqld restart
http://blog.itpub.net/15498/viewspace-2142705/
NUMA架构的优缺点
https://www.cnblogs.com/klb561/p/9053692.html
numa把一台计算机分成多个节点(node),每个节点内部拥有多个CPU，节点内部使用共有的内存控制器，节点之间是通过互联模块进行连接和信息交互。
因此节点的所有内存对于本节点所有的CPU都是等同的，对于其他节点中的所有CPU都不同。因此每个CPU可以访问整个系统内存，但是访问本地节点的内存速度
最快(不经过互联模块),访问非本地节点的内存速度较慢(需要经过互联模块)，即CPU访问内存的速度与节点的距离有关，该距离成为Node Distance。
查看当前numa的节点情况：
numactl --hardware
节点之间的距离(Node Distance)指从节点1上访问节点0上的内存需要付出的代价的一种表现形式。
Numa内存分配策略有一下四种:
缺省default:总是在本地节点分配(当前进程运行的节点上)。
绑定bind:强制分配到指定节点上。
交叉interleavel:在所有节点或者指定节点上交叉分配内存。
优先preferred:在指定节点上分配，失败则在其他节点上分配。
查看当前系统numa策略：
numactl --show
因为numa默认的内存分配策略是优先在进程所在CPU的本地内存中分配，会导致CPU节点之间内存分配不均衡，
当某个CPU节点内存不足时，会导致swap产生，而不是从远程节点分配内存，这就是swap insanity现象。
MySQL服务器为什么需要关闭numa?
MySQL是单进程多线程架构数据库，当numa采用默认内存分配策略时，MySQL进程会被并且仅仅会被分配到numa的一个节点上去。
假设这个节点的本地内存为10GB,而MySQL配置20GB内存，超出节点本地内存部分(20GB-10GB)Linux会使用swap而不是使用其他节点的物理内存。
在这种情况下，能观察到虽然系统总的可用内存还未用完，但是MySQL进程已经开始在使用swap了。
如果单机只运行一个MySQL实例，可以选择关闭numa，关闭nuam有两种方法：
1.硬件层，在BIOS中设置关闭;
2.OS内核，启动时设置numa=off。
修改/etc/grub.conf文件，在kernel那行追加numa=off;
[root@node130 ~]# vim /boot/grub/grub.conf
title Red Hat Enterprise Linux (2.6.32-358.el6.x86_64)
root (hd0,0)
kernel /vmlinuz-2.6.32-358.el6.x86_64 ro root=UUID=cb7d8bdc-28a5-4dbd-b04a-3ad9ee3e6bba rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet numa=off
保存后重启服务器，再次检查numa只剩下一个节点就成功了：
[root@node130 ~]# numactl --hardware
available: 1 nodes (0)
node 0 cpus: 0
node 0 size: 2047 MB
node 0 free: 1514 MB
node distances:
node 0
0: 10
IO调度
在不同场景下选择不同的IO调度器：
在完全随机访问环境下，由于CFQ可能会造成小IO的相应延时增加，所以应设置为deadline,这样更稳定。
对于SSD设备，采用NOOP或者deadline也可以获取比默认调度器更好的性能。
查看当前系统支持的IO调度算法：
[root@node130 Desktop]# dmesg|grep -i scheduler
io scheduler noop registered
io scheduler anticipatory registered
io scheduler deadline registered
io scheduler cfq registered (default)
查看当前设备(/dev/sda)使用的IO调度算法：
[root@node130 Desktop]# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]
修当前块设备(/dev/sda)使用的IO调度算法，修改IO调度算法后直接生效：
echo "deadline">> /sys/block/sda/queue/scheduler
永久修改IO调度算法，可以通过修改内核引导参数，增加elevator=调度算法：
vim /boot/grub/menu.lst
kernel /boot/ root=LABEL=/ elevator=deadline
[root@node130 Desktop]# vim /etc/grub.conf
title Red Hat Enterprise Linux (2.6.32-358.el6.x86_64)
root (hd0,0)
kernel /vmlinuz-2.6.32-358.el6.x86_64 ro root=UUID=28d9f713-f49d-49ae-9e63-401986d11ab2 rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet numa=off elevator=deadline
交换分区
swappiness是Linux的一个内核参数，用户控制Linux物理内存进行swap页交换的相对权重，尽量减少系统的页缓存被从内存中清除的情况。取值范围是0~100，vm.swappiness的值越低，Linux内核会尽量不进行swap交换页的操作，vm.swappiness的值越高，Linux会越多的使用swap空间。Linux系统默认值是60，当系统需要内存时，有60%的概率使用swap。对于大多数桌面系统，设置为100可以提高系统的整体性能；对于数据库应用服务器，设置为0，可以提高物理内存的使用率，进而提高数据库服务的响应性能。
[root@node130 ~]# vim /etc/sysctl.conf
vm.swappiness=0
sysctl -p 生效
[root@node130 ~]# sysctl -a|grep swap
vm.swappiness = 0
NUMA特性禁用
end