-
-
[分享]《Windows 内核设计思想》看雪论坛独家连载,附PDF下载
-
发表于: 2015-2-5 16:28
-
Windows 内核设计思想
（深入解析 Windows 内核框架，以源码结合调试来剖析 Windows 内核。）
陈树宝 著
ISBN 978-7-121-25314-0
2015年3月出版
定价：108.00元
636页
Windows 内核设计思想.pdf
编辑推荐
《Windows内核设计思想》以源码结合调试来剖析 Windows 内核，从而方便大家更好地理解整个内核框架，可谓独树一帜。
内容提要
《Windows 内核设计思想》主要讲述Windows 内核的设计过程，从最底层的细节使用源码一步一步分析，结合Bochs 和WinDbg 调试器进行验证。《Windows 内核设计思想》提供全部源代码和能直接编译的项目工程，集理论、架构、编码、运行和调试于一体进行讲述，从多种角度呈现内核构架的基本流程。《Windows 内核设计思想》主要包括了Windows 内核加载器（ntldr）的分析，Windows 内核调试组件的设计，实现结构化异常处理的支持，并对内存管理和对象管理进行了精心讲解，同时对基于IRP 请求包的I/O 系统进行了论述，并且介绍了如何设计文件系统，最后简单讲解了进程和线程的一些基本知识。
《Windows 内核设计思想》适合希望深入了解Windows 内核框架的程序员及对此感兴趣的读者阅读。
详细目录
（深入解析 Windows 内核框架，以源码结合调试来剖析 Windows 内核。）
陈树宝 著
ISBN 978-7-121-25314-0
2015年3月出版
定价：108.00元
636页
Windows 内核设计思想.pdf
编辑推荐
《Windows内核设计思想》以源码结合调试来剖析 Windows 内核，从而方便大家更好地理解整个内核框架，可谓独树一帜。
内容提要
《Windows 内核设计思想》主要讲述Windows 内核的设计过程，从最底层的细节使用源码一步一步分析，结合Bochs 和WinDbg 调试器进行验证。《Windows 内核设计思想》提供全部源代码和能直接编译的项目工程，集理论、架构、编码、运行和调试于一体进行讲述，从多种角度呈现内核构架的基本流程。《Windows 内核设计思想》主要包括了Windows 内核加载器（ntldr）的分析，Windows 内核调试组件的设计，实现结构化异常处理的支持，并对内存管理和对象管理进行了精心讲解，同时对基于IRP 请求包的I/O 系统进行了论述，并且介绍了如何设计文件系统，最后简单讲解了进程和线程的一些基本知识。
《Windows 内核设计思想》适合希望深入了解Windows 内核框架的程序员及对此感兴趣的读者阅读。
详细目录
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
前 言
本书最大的特色在于不从纯理论角度进行介绍，而是以源码与调试相结合来阐释。在ReactOS 源码的基础上，剔除掉一些不那么重要，且影响大家整体把握 Windows 内核设计的部分，修改和整理出一个新的源码版本，通过对这个源码版本用调试工具 Bochs 和WinDbg 进行调试，再结合重点模块的论述，以及关键函数完整详细的分析，使读者能对整个 Windows 内核框架透彻理解，并能根据自己的想法自由设计操作系统。 以下是书中介绍的读者可能比较感兴趣的知识点： 1. 物理内存如何收集？ 2. 实模式和保护模式如何互相切换？ 3. 系统中断如何安装？ 4. 调试系统如何设计？ 5. 分页机制如何开启？ 6. 内核模块和启动型驱动如何加载？ 7. 结构化异常如何为编程语言提供支持？ 8. 如何为数据结构与算法学习提供支持？ 9. 物理内存和虚拟内存如何进行管理？ 10. 内核对象如何设计？ 11. I/O 管理器如何为驱动程序提供支持？ 12. 磁盘类驱动和微端口驱动如何读/写数据？ 13. 文件系统如何设计？缓存怎样提供支持？ 14. 原型 PTE 是什么？（section object）如何实现进程间共享？ 15. NTDLL.DLL 如何映射到进程地址空间？ 16. 第一个用户进程和线程怎样创建？线程如何切换？ 为了使读者能从整体上把握本书讲述的内容，我们先做总体概述，提供一些视图供大家理解，这些视图跟部分章节相关。 内核启动基本流程 本书主要探索的是 Windows 内核的设计部分，分析内核构架和代码细节。本书编写的理论基础源于 ReactOS 和 WRK，为了保证本书编写的理论正确性，每一部分内容都经过了调试验证。学习流程从 MBR（master boot record，即主引导记录）到内核创建的第一个用户进程（smss.exe），图 1大体展示了内核初始化的各个阶段。  1. 计算机启动时控制权交给 MBR，MBR 负责把 NTLDR 加载到物理内存 0x20000。控制权交给 NTLDR 前半部分 SU 模块（startup.com）。 2. SU 收集物理内存、开启 A20、开启保护模式、解析 NTLDR 文件的后半部分 Loader模块（osloader.exe）。解析 PE 文件格式重定位到物理内存 0x00400000。控制权交给 Loader模块。 3. Loader 模块初始化调试系统，初始化内存管理器，开启分页机制，加载内核模块和启动型驱动程序到内核地址空间。控制权交给 ntoskrnl。 4. KiSystemStartup 进行内核初始化阶段 0：初始化调试系统，初始化 Idle 进程和线程，初始化内核执行体，初始化 HAL 系统，初始化内存系统，初始化对象系统，初始化进程系统（创建 System 进程和线程）。最后这条主线程转到 KiIdleLoop 成为真正的空闲线程。 5. KiIdleLoop 切换 Idle 线程到 System 线程执行，进行内核初始化阶段 1：初始化 HAL系统，初始化对象系统，初始化注册表系统，初始化 I/O 系统，初始化进程系统，创建第一个用户进程（smss.exe）。最后这条主线程成为零页面线程。 由于内核涉及的内容非常多，因此并不是每一部分都详细讲述，但是经过本书的学习，再去理解那些未讲述的部分，会相对容易得多。 调试运行 WRK 图 2是使用 ntldr 加载运行的 WRK v1.2 系统界面，物理内存为 256MB，硬盘为 16MB，调试器为 WinDbg，通信端口为 COM 1。我们使用的虚拟机是 VMware Workstation。  图 3所示是在内核初始化阶段 1，函数 IoInitSystem 初始化启动型驱动程序后的界面。  系统加载的文件是从“Windows Server 2003 Enterprise Edition Server Pack 1”操作系统里复制过来的。可使用本书编写的简单文件系统 ntfs.sys 替换原版 ntfs.sys。 调试运行 ReactOS 图 4是笔者自己编译的 ReactOS 的调试运行系统界面，物理内存为 256MB，硬盘为16MB，调试器为 WinDbg，通信端口为 COM 1。通过修改文件 boot.asm 里面的代码，ntldr加载的就是 ReactOS 而不是 WRK 了。我们使用的虚拟机是 Bochs。  图 5所示是在内核初始化阶段 1，函数 IoInitSystem 初始化启动型驱动后显示的界面。  这些驱动程序全部以源码方式编译，可跟踪调试。FASTFAT 是我们自已实现的简单文件系统驱动（重新构架）。磁盘类驱动 DISK 和微端口驱动 UNIATA 实现了对磁盘数据的读/写支持。通过 I/O 管理器，弄清楚一个文件如何解析，如何从分区读到内存。 使用原版 ReactOS 系统环境调试 一直跟随ReactOS成长的读者，可以按照下面的操作替换内核模块。从http://sourceforge.net/projects/reactos/files/ReactOS/0.3.15/ 下载 ReactOS-0.3.15-REL-iso.zip，解压安装 ReactOS0.3.15 系统，注意虚拟磁盘类型选择 IDE（默认是 SCSI）。系统安装完成后，虽然 ReactOS 默认提供了调试器 RosDBG.exe 可供调试，但是它并不友好，也无法进行源码调试，非常不利于学习。现在我们寻求一种替代方案——WinDbg。我们已经编译好了内核模块 ntoskrnl.exe，这个模块自带了 kd 调试组件，现在我们把 ntoskrnl.exe 替换原版 ReactOS 中的 ntoskrnl.exe。编辑虚拟机参数：在主界面中单击“Edit virtual machine settings”，弹出如图 6所示窗口。  单击设备“Hard Disk (IDE)”，在右边的“Utilities”下拉菜单中选择“Map”，在弹出的窗口中取消勾选“Open file in read-only mode (recommended)”，单击“OK”按钮确认。这样我们就使用映射的方式打开了 ReactOS 系统盘。找到目录Z:\ReactOS\system32，把原文件 ntoskrnl.exe 改名为 ntoskrnl2.exe，方便以后我们需要时再改回去。复制我们的 ntoskrnl项目生成的文件 ntoskrnl.exe（在ntos\Debug 目录下）到Z:\ReactOS\system32。复制完成后关闭窗口，再在“Utilities”下拉菜单中选择“Disconnect”，如果弹出提示框，单击“Force Disconnect”。这样就替换了 ntoskrnl.exe。如果需要可以通过同样的方式替换生成的启动型驱动程序 acpi.sys、pci.sys 和 disk.sys。说到这里，我们简单提一点，在第 2 章中，我们讲述到 LDFS 文件格式，我们也可以使用 NTFS 文件格式，映射 ntos.vmdk 到虚拟盘符后，格式成 NTFS 分区就行。但是这样一来，我们要修改不少代码，MBR 代码需要重写，因为需要解析 NTFS 格式来找到 NTLDR。 替换完内核模块后，还需要开启 com_1 端口用于 WinDbg 连接通信。启动系统后，在屏幕提示选项中按上下键选择“ReactOS (Debug)”回车，如图 7所示。  等待一小会，WinDbg 和 ReactOS 就连接上了。通过这种方式，我们在学习时可以进行扩展，对不同的模块，可以分块编译后替换，尝试运行，看和原版中的有什么差别，也可以按自已的设计修改部分代码，再编译、链接、运行。这样学习才能对系统的整体构架比较熟悉，理解也会比较深刻。图 8所示是在内核初始化阶段 1，函数 IoInitSystem 初始化启动型驱动后显示的界面。  这里我们能观察到启动型（SERVICE_BOOT_START）驱动的加载和系统初始化阶段型（SERVICE_SYSTEM_START）驱动的加载。 阅读须知 在本书的某些章节中，有些函数相对较长，比如第 7 章讲述的查找对象名函数（ObpLookupObjectName）就占用了十几页，书中我们保留了全部的细节，是为了保持函数的完整性，而且一旦读者熟悉了这个函数，整个对象管理器的核心就一目了然了。 在将章节内容整理成书时，难免出现一些错误，有些章节虽然经过了多次修改，也仍然有不如意的地方，读者在阅读时要结合源码调试去理解，以免出现理解偏差。 本书配套资源下载地址：http://www.broadview.com.cn/25314。 |
|
|
|
|
|
|
|
|
|
|
|
1.1 编译环境
本书附带的代码已建好完整的编译环境，如果已安装 Microsoft Visual Studio 2008，则可 以直接编译。图 1.1所示解决方案'ntos' 中的 11 个项目均以“Win32 控制台应用程序”模板 创建。  各项目功能描述如下。 • acpi ： 高级配置与电源接口驱动。 • disk ： 磁盘类驱动。 • kd ： 调试组件，用于 osloader.exe 和 ntoskrnl.exe 连接。 • ntfs ： 文件系统驱动，用于读取 ntdll.dll 和 smss.exe 文件。 • ntoskrnl ： ReactOS 核心模块。 • osloader ： 内核加载器（Loader 模块），ntldr 的后半部分。 • pci ： PCI 总线驱动。 • rtl ： 运行时链接库。 • scsiport ： SCSI 端口驱动。 • startup ： 内核加载器（SU 模块），ntldr 的前半部分。 • uniata ： 微端口驱动。 在编译 ntos 解决方案时需要注意，因为项目 startup 是由 nasm 编写的，所以需要指定 nasm.exe 来编译，具体指令见 make.bat 文件： setlocal "..\system32\nasm.exe" -o "..\Debug\startup.com" -f bin main.asm "..\system32\nasm.exe" -o "..\Debug\ntos.img" -f bin boot.asm "..\system32\qemu-img.exe" convert "..\Debug\ntos.img" -O vmdk "..\Debug\ntos.vmdk" endlocal 在该文件中，还用到了 qemu-img.exe 程序，它提供了一个很有用的命令，可以将.img 格式文件转换成 VMware 所使用的.vmdk 格式文件。nasm.exe 和 qemu-img.exe 都可以在ntos\ system32 目录找到。 事实上，以 C 语言编译的话有点慢，特别是编译 ntoskrnl 时，因为文件比较多。笔者 曾改用 C++ 编译，速度相对快了一点，但却带来了一个问题，那就是 C++ 代码的安全性要 求比较高，一些类型必须匹配，否则编译无法通过。而且，需要修改的代码也比较多，在 兼容性方面很不友好，所以最后还是决定仍然使用 C。每次重新编译都是一个漫长的过程， 一般在 10 分钟左右。编译完成同时生成 ntos.img 和 ntos.vmdk 两个文件。其中，ntos.img 用 于 Bochs 虚拟机，而 ntos.vmdk 用于 VMware 虚拟机。 |
|
|
本书默认使用 Bochs 调试 ntos.img，在ntos\Virtual Machine\bochs 下附带了相关程序， 因此读者不需要亲自建立运行环境。不过，还是应该熟悉一下其中的配置文件 bochsrc.bxrc， 其内容如下：
megs: 256 romimage: file=..\bochs\BIOS-bochs-latest, address=0x00000 vgaromimage: file=..\bochs\VGABIOS-lgpl-latest com1: enabled=1, mode=pipe-server, dev=\\.\pipe\com_1 ata0: enabled=1, ioaddr1=0x1f0, ioaddr2=0x3f0, irq=14 ata0-master: type=disk, path=..\..\Debug\ntos.img, cylinders=0, heads=4, spt=16 boot: c 该配置中，内存是 256MB，COM 1 用于连接 WinDbg。如果只想调试 startup.com，那么 注释掉下面这行： #com1: enabled=1, mode=pipe-server, dev=\\.\pipe\com_1 双击 run.bat 文件即可运行调试，该文件只有一行内容，bochsdbg.exe -f bochsrc.bxrc -q，即向 bochsdbg.exe 传递参数。运行后如图 1.2所示，显示正在等待 COM 1 连接。  Bochs 自动中断于 f000:fff0，输入 c（小写）回车可继续运行，也可通过 b 0x7c00 下断点， 观察系统的运行过程。有关 Bochs 的调试指令，请参考 Bochs 手册。 |
|
|
从微软网站下载安装 WinDbg，如果安装过 WinDDK，那么 WinDbg 已经安装，位于 WinDDK 安装目录的 Debuggers 文件夹下。为 windbg.exe 创建快捷方式，在快捷方式上单击 鼠标右键打开属性窗口，设置“目标”如下：
D:\WinDDK\7600.16385.1\Debuggers\windbg.exe -b -k com:port=\\.\pipe\com_1,baud=115200,pipe 大多数版本的 VMware 虚拟机应该都能正常运行 ntos.vmdk。在虚拟机主界面单击“Open Existing VM or Team”，打开ntos\Virtual Machine\WMware\Windows NT\Windows NT.vmx。本书附带的这个虚拟机镜像可以直接运行，不需要做任何设置。当然，VMware 虚拟机软件需 要读者自已下载安装，VMware 的官方主页是：http://www.vmware.com。 如果读者希望尝试创建新的 Windows NT.vmx 镜像，那么有几个重要步骤需要注意。在 创建过程中，如果出现选择磁盘的窗口，应该选择“Use an existing virtual disk”，如图 1.4所 示，这一步很关键。  单击 Next 按钮，弹出选择已有磁盘文件的窗口，然后单击 Browse 按钮选择我们编译生 成的ntos\Debug\ntos.vmdk 文件。完成虚拟机创建后，编辑虚拟机设置，添加 Serial Port，选 择“Output to named pipe”。 如图 1.5所示，默认端口为\\.\pipe\com_1，末端是服务器（This end is the server），另一 端是应用程序（The other end is an application）。注意，这些配置必须正确，否则无法连接。 完成设置后如图 1.6所示。   单击“Power on this virtual machine”启动虚拟机，约 3~5 s 后通过快捷方式运行 WinDbg， WinDbg 会中断下来，如图 1.7所示。 
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
