本文首发于安全客——链接

本文基于如下环境：

近来笔者计划从脏牛漏洞入手，分析Linux内核漏洞，故在开始之前学习了Linux内核中内存管理部分相关内容，下文权当笔者学习过程整理的笔记。如有不当之处，望读者不吝赐教。

UMA——Uniform Memory Access，NUMA——Non-uniform memory access：

可进一步阅读Non-uniform memory access—Wikipedia。Linux为每个节点定义了一个类型为pg_data_t的描述符：

而每个节点又可以划分为数个内存管理区——ZONE，与之相关的字段如下：

与当前节点相关字段：

与kswapd内核线程相关字段：

内存管理区描述符定义如下：

内存管理区第一个页框由zone_start_pfn字段标识，内存管理区名称保存在name字段中——不同类型其名称不同，类型定义如下：

关于ZONE_HIGHMEM，值得说明的是在x86-64体系中没有该类型内存管理区。而在x86体系中存在该类型内存管理区，其原因是高端内存无法永久映射到内核地址空间中(关于高端内存这里不作展开，可阅读Linux内核高端内存一文)。注意，Linux内核对内存管理区的划分是针对物理内存空间，而非虚拟内存空间。可通过/proc/zoneinfo文件查看相关信息：

free_area字段标识内存管理区中不同大小空闲页框块，用于伙伴系统。关于managed_pages，spanned_pages，present_pages三个字段在注释中已经解释，这里不再赘述。每个内存管理区的zone_end_pfn可通过如下函数计算：

每个页框由page类型描述符定义，该结构定义位于include/linux/mm_types.h中(代码量稍大，读者可自行查看)：

flags字段可定义值见include/linux/page-flags.h文件，其布局不同形式由include/linux/page-flags-layout.h定义：

_mapcount字段标识该页框被页表引用次数。

在zone描述符中，free_area字段用来保存该内存管理区内空闲页框，其定义如下：

free_area数组中每个元素保存有相应2的指数大小空闲页框块，MAX_ORDER是2的指数最大值加1——通常定义为11：

free_area类型定义如下：

其中free_list定义为不同类型空闲页框块的链表，nr_free是空闲页框块数量。

启用CONFIG_NUMA选项，该函数调用关系如下：

可以看到关键函数是__alloc_pages_nodemask。上面调用关系是启用CONFIG_NUMA之后的：

若未启用该选项，调用关系如下：

alloc_pages_current函数定义如下：

参数gfp定义了请求页框标志值，order定义了请求页框大小——2^order个连续页框。标志值定义位于gfp.h文件：

alloc_pages_current函数首先获取默认mempolicy，该结构mode字段值可以有以下几种：

不同取值含义可参阅set_mempolicy(2) — Linux manual page。default_policy中mode定义为MPOL_PREFERRED：

若gfp标志中置__GFP_THISNODE位或位于中断时采用默认mempolicy，下面将以此种情况进行展开。policy_node根据mempolicy返回Node id，policy_nodemask会返回NULL：

用一张图概括上文提及函数及下文将阐述函数的调用关系：

函数定义如下：

首先是判断order大小是否超过MAX_ORDER：

之后执行prepare_alloc_pages，该函数主要是初始化ac变量——类型为alloc_context结构体(该结构及其字段含义见注释，不再赘述)：

函数执行操作如下：

其中gfp_zone函数根据gfp_mask计算出Zone(该函数返回值类型定义见0x01.2节)：

其中GFP_ZONEMASK定义如下——即0x0F(gfp_mask低四位表示进行分配的Zone)：

不同位置1结果如下：

GFP_ZONE_TABLE及GFP_ZONES_SHIFT定义如下：

node_zonelist函数用于获取对应Node的zonelists。0x01.1节在介绍Node时，其中pglist_data结构包含有node_zonelists字段：

MAX_ZONELISTS值取决是否启用CONFIG_NUMA选项：

zonelist结构定义如下：

node_zonelist函数定义如下：

gfp_migratetype函数根据gfp_flags返回内存迁移类型，内存迁移用以缓解内存碎片，可参阅Linux Kernel vs. Memory Fragmentation (Part I)：

下面代码块执行与否取决于是否启用cpuset功能(CONFIG_CPUSETS配置选项)：

若未配置CONFIG_FAIL_PAGE_ALLOC选项，should_fail_alloc_page直接返回false：

若未配置CONFIG_CMA选项，current_alloc_flags直接返回alloc_flags：

first_zones_zonelist函数定义如下，其返回不大于highest_zoneidx的第一个Zone：

准备工作完成后，下面执行get_page_from_freelist函数——即fastpath：

for_next_zone_zonelist_nodemask宏展开如下：

依次执行cpusets_enabled、alloc_flags & ALLOC_CPUSET、__cpuset_zone_allowed与last_pgdat_dirty_limit == zone->zone_pgdat、node_dirty_ok及zone_watermark_fast函数进行检查，如未通过检查则进行下一次循环。关于watermark，在此暂不作展开。若alloc_flags置ALLOC_NO_WATERMARKS位或是zone_watermark_ok返回True，直接跳转到try_this_zone——伙伴系统核心部分：

如果是分配单页，则执行rmqueue_pcplist：

该函数从per_cpu_pageset中分配单页，在0x01.2中介绍Zone时，其结构体含有一pageset字段：

该结构体定义如下：

此函数核心功能由__rmqueue_pcplist实现：

首先判断list是否为空——如果为空，则调用rmqueue_bulk(该函数核心为__rmqueue，暂不作展开)分配Page；如果不为空，则分配一页。

如果order大于0，首先执行__rmqueue_smallest函数：

get_page_from_free_area函数是对list_first_entry_or_null宏的包装(MIGRATE_TYPES定义已在上文给出，不再赘述)：

list_first_entry_or_null宏同上文提及的list_first_entry一样，于/include/linux/list.h文件中定义：

而container_of宏定义位于/include/linux/kernel.h文件

分配成功，将其从free_area中删除并减少nr_free计数：

list_del宏展开如下：

set_page_private(page, 0)函数将page的private字段设为0：

假设我们要申请32(2^5=32)个连续Page块——order为5，而free_area[5]与free_area[6]中都没有这样的块，那么就 要从free_area[7]中申请。这时传递给expand函数的low与high参数分别为5与7：

那么剩下96个连续Page块先分割出一64个连续Page块，后分割出一32个连续Page块，并将其分别插入对应free_area中：

set_pcppage_migratetype将index字段设置为迁移类型：

__rmqueue_smallest分配失败则调用__rmqueue函数进行分配：

若未启用CONFIG_CMA选项，该函数会再次调用__rmqueue_smallest——分配成功则返回，分配失败调用__rmqueue_fallback，该函数从指定类型的备用类型中获取Page并移动到该类型freelist中：

从MAX_ORDER - 1开始到min_order循环调用find_suitable_fallback：

首先检查该区域内是否存在可用Page，若不为0则进入循环。fallbacks数组定义了各类型可使用的备用类型，以MIGRATE_TYPES作为结束：

free_area_empty检查备用类型是否为空，为空则进入下一备用类型。can_steal_fallback判断是否可以Steal：

如果从备用类型中找到可以Steal的Page，先执行get_page_from_free_area，之后执行steal_suitable_fallback函数：

该函数会检查是否移动单页，如果是直接调用move_to_free_list：

list_move_tail相关定义如下：

如果是移动Block，则调用move_freepages_block：

该函数计算完起始与终止Page，PFN之后，调用move_freepages函数进行移动：

综上，__rmqueue_fallback返回True以后会再次执行__rmqueue_smallest进行分配。

至此，本文已分析完伙伴系统fastpath部分——get_page_from_freelist函数，后续文章会继续分析__alloc_pages_slowpath，free_pages等函数及Slab分配器。

[培训]内核驱动高级班，冲击BAT一流互联网大厂工作，每周日13:00-18:00直播授课