索引经常使用的数据结构为B+树。结构例如以下
如上图,是一颗b+树,关于b+树的定义能够參见B+树,这里仅仅说一些重点。浅蓝色的块我们称之为一个磁盘块,能够看到每一个磁盘块包括几个数据项(深蓝色所看到的)和指针(黄色所看到的),如磁盘块1包括数据项17和35。包括指针P1、P2、P3。P1表示小于17的磁盘块,P2表示在17和35之间的磁盘块,P3表示大于35的磁盘块。真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。
非叶子节点仅仅不存储真实的数据,仅仅存储指引搜索方向的数据项,如17、35并不真实存在于数据表中。
b+树的查找过程
如图所看到的,假设要查找数据项29,那么首先会把磁盘块1由磁盘载入到内存,此时发生一次IO。在内存中用二分查找确定29在17和35之间,锁定磁盘块1的P2指针,内存时间由于很短(相比磁盘的IO)能够忽略不计,通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘载入到内存。发生第二次IO,29在26和30之间,锁定磁盘块3的P2指针。通过指针载入磁盘块8到内存。发生第三次IO,同一时候内存中做二分查找找到29,结束查询,总计三次IO。
真实的情况是,3层的b+树能够表示上百万的数据。假设上百万的数据查找仅仅须要三次IO,性能提高将是巨大的,假设没有索引,每一个数据项都要发生一次IO,那么总共须要百万次的IO。显然成本很很高。
b+树性质
1.通过上面的分析,我们知道IO次数取决于b+数的高度h。假设当前数据表的数据为N,每一个磁盘块的数据项的数量是m,则有h=㏒(m+1)N,当数据量N一定的情况下,m越大,h越小。而m = 磁盘块的大小 / 数据项的大小。磁盘块的大小也就是一个数据页的大小,是固定的。假设数据项占的空间越小,数据项的数量越多,树的高度越低。
这就是为什么每一个数据项,即索引字段要尽量的小,比方int占4字节,要比bigint8字节少一半。这也是为什么b+树要求把真实的数据放到叶子节点而不是内层节点,一旦放到内层节点,磁盘块的数据项会大幅度下降。导致树增高。当数据项等于1时将会退化成线性表。
2.当b+树的数据项是复合的数据结构,比方(name,age,sex)的时候,b+数是依照从左到右的顺序来建立搜索树的。比方当(张三,20,F)这种数据来检索的时候。b+树会优先比較name来确定下一步的所搜方向。假设name同样再依次比較age和sex。最后得到检索的数据。但当(20,F)这种没有name的数据来的时候,b+树就不知道下一步该查哪个节点,由于建立搜索树的时候name就是第一个比較因子,必须要先依据name来搜索才干知道下一步去哪里查询。
比方当(张三,F)这种数据来检索时。b+树能够用name来指定搜索方向,但下一个字段age的缺失,所以仅仅能把名字等于张三的数据都找到,然后再匹配性别是F的数据了。 这个是很重要的性质,即索引的最左匹配特性。
建索引的几大原则
1.最左前缀匹配原则,很重要的原则。mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配,比方a = 1 and b = 2 and c > 3 and d = 4 假设建立(a,b,c,d)顺序的索引,d是用不到索引的。假设建立(a,b,d,c)的索引则都能够用到,a,b,d的顺序能够随意调整。
2.=和in能够乱序,比方a = 1 and b = 2 and c = 3 建立(a,b,c)索引能够随意顺序。mysql的查询优化器会帮你优化成索引能够识别的形式
3.尽量选择区分度高的列作为索引,区分度的公式是count(distinct col)/count(*),表示字段不反复的比例,比例越大我们扫描的记录数越少,唯一键的区分度是1,而一些状态、性别字段可能在大数据面前区分度就是0,那可能有人会问。这个比例有什么经验值吗?使用场景不同,这个值也很难确定,一般须要join的字段我们都要求是0.1以上,即平均1条扫描10条记录
4.索引列不能參与计算,保持列“干净”。比方from_unixtime(create_time) = ’2014-05-29’就不能使用到索引,原因很easy,b+树中存的都是数据表中的字段值,但进行检索时,须要把全部元素都应用函数才干比較,显然成本太大。所以语句应该写成create_time = unix_timestamp(’2014-05-29’);
5.尽量的扩展索引,不要新建索引。比方表中已经有a的索引,如今要加(a,b)的索引。那么仅仅须要改动原来的索引就可以