页高速缓存是Linux内核实现磁盘缓存。磁盘告诉缓存重要源自:第一,访问磁盘的速度要远远低于访问内存。
第二,数据一旦被访问,就很有可能在短期内再次被访问到。这种短时期内集中访问同一片数据的原理称作临时局部原理。
一、缓存手段
1.1 写缓存
通常来讲缓存一般实现成三种策略:
①不缓存
②写操作将自动更新内存缓存
③Linux采用的回写。程序写进缓存
1.2 缓存回收
1.最近少用原则:简称LRU,LRU回收需要跟踪每个页面的访问踪迹,以便能回收最老时间戳的页面。
2.双链策略:Linux实现的是一个修改过的LRU,也称为双链策略。Linux维护两个链表:活跃链表和非活跃链表。处于活跃链表是不会被换出的,而在非活跃链表上则是可以被换出的。这种链表方式也称作LUR/2,更普遍的是n个链表,故称LRU/n
二、Linux页高速缓存
高速缓存缓存的是内存页面,缓冲中的也来自对正规文件、块设备文件和内存映射文件的读写。
2.1 address_space对象
为了维持页高速缓存的普遍性,Linux页高速缓存使用了一个新对象管理缓存项和页I/O操作。address_space有点不确切,应该叫他page_cache_entity或者physical_page_of_a_file比较好。该结构定义在文件<linux/fs.h>中。
struct address_space { struct inode *host; /* owner: inode, block_device 拥有节点*/ struct radix_tree_root page_tree; /* radix tree of all pages 包含全部页面的radix树*/ spinlock_t tree_lock; /* and lock protecting it 保护page_tree自旋锁*/ atomic_t i_mmap_writable;/* count VM_SHARED mappings VM_SHARED计数*/ struct rb_root i_mmap; /* tree of private and shared mappings 私有映射链表*/ struct rw_semaphore i_mmap_rwsem; /* protect tree, count, list */ /* Protected by tree_lock together with the radix tree */ unsigned long nrpages; /* number of total pages 页总数*/ unsigned long nrshadows; /* number of shadow entries */ pgoff_t writeback_index;/* writeback starts here 回写的起始偏移*/ const struct address_space_operations *a_ops; /* methods 操作表*/ unsigned long flags; /* error bits/gfp mask gfp_mask掩码与错误标识*/ spinlock_t private_lock; /* for use by the address_space 私有address_space锁*/ struct list_head private_list; /* ditto 私有address_space链表*/ void *private_data; /* ditto */ } __attribute__((aligned(sizeof(long))))
2.2 address_space操作
address_space_operations定义在文件<linux/fs.h>中
struct address_space_operations { int (*writepage)(struct page *page, struct writeback_control *wbc); int (*readpage)(struct file *, struct page *); /* Write back some dirty pages from this mapping. */ int (*writepages)(struct address_space *, struct writeback_control *); /* Set a page dirty. Return true if this dirtied it */ int (*set_page_dirty)(struct page *page); int (*readpages)(struct file *filp, struct address_space *mapping, struct list_head *pages, unsigned nr_pages); int (*write_begin)(struct file *, struct address_space *mapping, loff_t pos, unsigned len, unsigned flags, struct page **pagep, void **fsdata); int (*write_end)(struct file *, struct address_space *mapping, loff_t pos, unsigned len, unsigned copied, struct page *page, void *fsdata); /* Unfortunately this kludge is needed for FIBMAP. Don't use it */ sector_t (*bmap)(struct address_space *, sector_t); void (*invalidatepage) (struct page *, unsigned int, unsigned int); int (*releasepage) (struct page *, gfp_t); void (*freepage)(struct page *); ssize_t (*direct_IO)(struct kiocb *, struct iov_iter *iter, loff_t offset); /* * migrate the contents of a page to the specified target. If * migrate_mode is MIGRATE_ASYNC, it must not block. */ int (*migratepage) (struct address_space *, struct page *, struct page *, enum migrate_mode); int (*launder_page) (struct page *); int (*is_partially_uptodate) (struct page *, unsigned long, unsigned long); void (*is_dirty_writeback) (struct page *, bool *, bool *); int (*error_remove_page)(struct address_space *, struct page *); /* swapfile support */ int (*swap_activate)(struct swap_info_struct *sis, struct file *file, sector_t *span); void (*swap_deactivate)(struct file *file); };
里面readpage()和writepage()两个方法最为重要,其中读操作会包括如下动作:
Linux内核试图在页高速缓存中找到需要的数据,find_get_page()方法负责完成这个动作检查。一个address_space对象和一个偏移量会传给find_get_page()方法,用于在页高速缓存中搜索需要的数据。
page = find_get_page(mapping, index);
mapping:指定的地址空间,index:文件中的指定位置,以页面为单位。
如果搜索页没在高速缓存中返回NULL,内核将分配一个新页面。
struct page *page; int error; /* 分配页... */ page = page_cache_alloc_cold(mapping); if(!page) /* 内存分配出错 */ /* ...然后将其加入到页面调整缓存 */ error = add_to_page_cache_lru(page, mapping, index, GFP_KERNEL); if(error) /* 页面被加入到页面高速缓存时,出错 */ /* 需要的数据从磁盘被读入,再被加入页高速缓存,然后返回给用户 */ error = mapping->a_ops->readpage(file, page); SetPageDirty(page); /* 写操作和读操作有少许不同 */
内核会在晚些时候嗲用writepage()写出,在文件mm/filemap.c中,比较复杂。主要步骤有:
page = __grab_cache_page(mapping, index, &cached_page, &lru_pvec); status = a_ops->prepare_write(file, page, offset, offset+bytes); page_fault = filemap_copy_from_user(page, offset, buf, bytes); status = a_ops->commit_write(file, page, offset, offset+bytes);
2.3 基数
每个address_space都有唯一的基树(radix tree),保存在page_tree。基树是二叉树,指定了文件偏移量,就可以在基树中迅速检索到希望的页。
find_get_page()要调用函数radix_tree_lookup()。基树核心代码的通用形式可以在文件lib/radix-tree.c中找到,想要使用基树,需要头文件<linux/radix_tree.h>
2.4 以前的页散列表
全局散列表主要的存在四个问题:
- 由于使用单个的全局锁保护散列表,所以即使在中等规模的机器中,锁的征用情况也会相当严重,造成性能受损。
- 由于散列表需要包含所有也高速缓存中的页,搜索需要的只是当前文件相关的那些页,所以散列表包含的页面相比搜索需要的页面要大的多。
- 如果散列搜索失败,执行速度比希望的要慢的多,这是因为检索必须遍历指定散列键值对应的整个链表
- 散列表比其他方法会消耗更多的内存
2.6版本内核引入基于基树的页高速缓存来解决这些问题。
三、缓冲区高速缓存
独立的磁盘块通过块I/O缓冲也要被存入页高速缓存。 因为它缓存磁盘块和减少块I/O操作,这个缓存童话参观称为缓冲区高速缓存,虽然没有独立缓存,而是作为页高速缓存的一部分。
块I/O操作一次操作一个单独的磁盘块
四、flusher线程
当页高速缓存中的数据比后台存储的数据更新时,该数据就称作脏数据。在内存中积累的脏页最终必须被写回磁盘。3中情况脏页写回磁盘:
- 当空闲内存低于一个特定的阈值时,内核必须将脏页写回磁盘以便释放内存。(只有干净的内存才可以被回收)
- 当脏页在内存中驻留时间超过一个特定的阈值时,内核必须将超时的脏页写回磁盘。
- 当用户进程调用sync()和fsync()系统调用时,内核会按要求执行回写动作。
flusher线程实现代码在文件mm/page-writeback.c和mm/backing-dev.c中,回写机制的实现代码在文件fs/fs-writeback.c中。
4.1 膝上型计算机模式
4.2 历史上bdflush、kupdated和pdflush
4.3 避免堵塞的方法:使用多线程
内核通过使用多个flusher线程来解决上述问题。每个线程可以互相独立地将脏页刷新回磁盘,而且不同的flusher线程处理不同的设备队列。