物理内存相关的三个数据结构

物理内存相关的三个数据结构

基于linux-4.9介绍linux内存管理中跟物理内存相关的三个数据结构pglist_data、zone、page。

pg_data_t

typedef struct pglist_data {
    /* 跟zone相关的成员 */
    struct zone node_zones[MAX_NR_ZONES];
    struct zonelist node_zonelists[MAX_ZONELISTS];
    int nr_zones;

    /* 内存节点的信息 */
    unsigned long node_start_pfn;     //内存节点起始的页帧号
    unsigned long node_present_pages; //总共的物理页面数
    unsigned long node_spanned_pages; //总共的物理地址所占的页面数，包括内存空洞

    /* 内存回收相关的数据结构 */
    wait_queue_head_t kswapd_wait;  
    wait_queue_head_t pfmemalloc_wait;
    struct task_struct *kswapd;       //内存回收专门的线程kswapd
    int kswapd_order; 
    enum zone_type kswapd_classzone_idx; 

}pg_data_t;

zone

[include/linux/mmzone.h]

struct zone {

    /* zone的水位，用来内存回收时使用 */
    unsigned long watermark[NR_WMARK];

    /* 记录紧急内存的大小 */
    unsigned long nr_reserved_highatomic;

    /* 每一个zone的最少保留内存，比如来自high zone
     * 的内存分配时，如果high zone空闲内存不够用，
     * 这个时候就会到normal zone取内存，
     * 而这个lowmem_reserve的意义就是为了，
     * 让high zone在normal zone取内存时不能无限制的取，
     * 最少要保留一些给normal zone。
     */
    long lowmem_reserve[MAX_NR_ZONES]; 

    /* 其所在的pglist_data */
    struct pglist_data      *zone_pgdat;

    /* 每一个cpu都维护一个page列表用来提高速度 */
    struct per_cpu_pageset __percpu *pageset;

    /* 第一个页的索引 */
    unsigned long           zone_start_pfn;

    /* spanned_pages 是这个zone跨越的所有物理内存的page数目
     * 包括内存空洞，它的计算方式：
     *  spanned_pages = zone_end_pfn - zone_start_pfn
     */
    unsigned long           spanned_pages;

    /* present_pages 是这个zone在物理内存真实存在的所有page数目，
     * 它的计算方式：
     *  present_pages = spanned_pages - absent_pages
     *  其中absent_pages指的是内存空洞的page数目
     */
    unsigned long           present_pages;

    /* managed_pages 是这个zone被Buddy管理的所有的page数目，
     * 计算的方式：
     *  managed_pages = present_pages - reserved_pages
     * 其中reserved_pages包括被Bootmem分配走的内存
     */
    unsigned long           managed_pages;

    /* 这个zone的名字 */
    const char              *name;

    /* ZONE_PADDING是为了cache line对齐，用空间换时间。
     * 防止cache line 中有多个不同的数据结构而同时影响多个
     * cpu
     */
    ZONE_PADDING(_pad1_)

    /* 包含所有的空闲页面的列表 */
    struct free_area        free_area[MAX_ORDER];

    /* zone flags, see below */
    unsigned long           flags;

    /* 用来保护free_area的锁 */
    spinlock_t              lock;

    ZONE_PADDING(_pad2_)

    /* 内存规整和CMA相关的成员 */
    #if defined CONFIG_COMPACTION || defined CONFIG_CMA
            unsigned long           compact_cached_free_pfn;
            unsigned long           compact_cached_migrate_pfn[2];
    #endif
    #ifdef CONFIG_COMPACTION
            unsigned int            compact_considered;
            unsigned int            compact_defer_shift;
            int                     compact_order_failed;
    #endif
    #if defined CONFIG_COMPACTION || defined CONFIG_CMA
            bool                    compact_blockskip_flush;
    #endif

    ZONE_PADDING(_pad3_)

    /* zone统计信息 */
    atomic_long_t           vm_stat[NR_VM_ZONE_STAT_ITEMS];

}____cacheline_internodealigned_in_smp;

zone中的一些成员的作用

包含所有空闲页面的free_area数组

[include/linux/mmzone.h]

struct free_area {
    struct list_head free_list[MIGRATE_TYPES];
    unsigned long    nr_free;
};

MIGRATE_TYPES的定义如下:

enum migratetype {
        MIGRATE_UNMOVABLE,   //不可迁移
        MIGRATE_MOVABLE,     //可迁移
        MIGRATE_RECLAIMABLE, //可被回收
        MIGRATE_PCPTYPES,    //跟per_cpu_pageset有关的迁移类型的个数
        MIGRATE_HIGHATOMIC = MIGRATE_PCPTYPES,
#ifdef CONFIG_CMA
        MIGRATE_CMA,
#endif
#ifdef CONFIG_MEMORY_ISOLATION
        MIGRATE_ISOLATE,
#endif
        MIGRATE_TYPES
};

migratetype定义了一个page的迁移类型。free_area为每一个迁移类型都单独设一个链表，以方便维护。
​
所以free_area这个数组包含了这个zone的所有空闲页面，并按照不通的迁移类型把这些页面放在不通的链表中方便管理。

每一个core维护的本地页链表per_cpu_pageset

struct per_cpu_pageset {
        struct per_cpu_pages pcp;
#ifdef CONFIG_NUMA
        s8 expire;
        u16 vm_numa_stat_diff[NR_VM_NUMA_STAT_ITEMS];
#endif
#ifdef CONFIG_SMP
        s8 stat_threshold;
        s8 vm_stat_diff[NR_VM_ZONE_STAT_ITEMS];
#endif
};

struct per_cpu_pages {
        int count;
        int high;
        int batch;

        /* 3个不同的迁移类型的链表 */
        struct list_head lists[MIGRATE_PCPTYPES];
};

每个cpu core都维护一个per_cpu_pageset，用来加速只分配一个page的情况。当只申请一个页的时候，可以直接从per_cpu_pageset中获取，per_cpu_pages->high记录了这个cpu core维护的per_cpu_pageset的最度的个数，如果超过了这个个数，就把其中的per_cpu_pages->batch个还给buddy系统。如果发现per_cpu_pageset中没有可分配的页，就从buddy中获取batch个。

MMU管理内存的最小单位–页page

struct page {

    /* 描述这个页面的状态：脏页、被上锁、正在写回？等等 */
    unsigned long flags;

    union {
        /* 如果是有文件背景的page，指向这个文件相关的信息，低bit为0（为0时也可能是NULL）；
         * 如果是匿名页，指向一个anon_vma结构体，低Bit为1。*/
        struct address_space *mapping;
        void *s_mem;
        atomic_t compound_mapcount;
    };

    union {
        struct {
            union {
                atomic_t _mapcount; //这个页面被映射的次数 - 1
            };
            atomic_t _refcount;        //这个页面被引用的次数
        };
    };

    union {
        struct list_head lru;        //lru算法页面回收时使用
    };

    struct rcu_head rcu_head;

    union {
        unsigned long private;
    };

#ifdef CONFIG_MEMCG
        struct mem_cgroup *mem_cgroup;
#endif
}

存储所有page的数组mem_map

mem_map的定义在：

[mm/memory.c]

struct page *mem_map;

有两个宏就是利用mem_map来将page和pfn进行转换的：

[include/asm-generic/memory_model.h]

#define __pfn_to_page(pfn)  (mem_map + ((pfn) - ARCH_PFN_OFFSET))
#define __page_to_pfn(page) ((unsigned long)((page) - mem_map) + ARCH_PFN_OFFSET)