Windows系统编程之异步I/O和完成端口
【作者】北极星2003
【来源】看雪技术论坛(bbs.pediy.com)
【时间】2006年7月1日
一、 同步I/O和异步I/O
在介绍这部分内容之前先来认识下“异步I/O”。
说起异步IO,很容易联想到同步I/O,对于同一个I/O对象句柄在同一时刻只允许一个I/O操作,其原理如下图所示:

显然,当内核真正处理I/O的时间段(T2~T4),用户线程是处于等待状态的,如果这个时间段比较段的话,没有什么影响;倘若这个时间段很长的话,线程就会长时间处于挂起状态。事实上,该线程完全可以利用这段时间用处理其他事务。
异步I/O恰好可以解决同步I/O中的问题,而且支持对同一个I/O对象的并行处理,其原理如下图所示:

异步I/O在I/O请求完成时,可以使用让I/O对象或者事件对象受信来通知用户线程,而用户线程中可以使用GetOverlappedResult来查看I/O的执行情况。
由于异步I/O在进行I/O请求后会立即返回,这样就会产生一个问题:“程序是如何取得I/O处理的结果的?”。
有多种方法可以实现异步I/O,其不同资料上的分类一般都不尽相同,但原理上都类似,这里我把实现异步I/O的方法分为3类,本文就针对这3类方法进行详细的讨论。
(1)重叠I/O
(2)异步过程调用(APC),扩展I/O
(3)使用完成端口(IOCP)
二、使用重叠I/O实现异步I/O
同一个线程可以对多个I/O对象进行I/O操作,不同的线程也可以对同一个I/O对象进行操作,在我的理解中,重叠的命名就是这么来的。
在使用重叠I/O时,线程需要创建OVERLAPPED结构以供I/O处理。该结构中最重要的成员是hEvent,它是作为一个同步对象而存在,如果hEvent为NULL,那么此时的同步对象即为文件句柄、管道句柄等I/O操作对象。当I/O完成后,会使这里的同步对象受信,从而通知用户线程。
由于在进行I/O请求后会立即返回,但有时用户线程需要知道I/O当前的执行情况,此时就可以使用GetOverlappedResult。如果该函数的bWait参数为true,那么改函数就会阻塞线程直到目标I/O处理完成为止;如果bWait为false,那么就会立即返回,如果此时的I/O尚未完,调用GetLastError就会返回ERROR_IO_INCOMPLETE。
代码示例一:
DWORD nReadByte ;
BYTE bBuf[BUF_SIZE] ;
OVERLAPPED ov = { 0, 0, 0, 0, NULL } ; // hEvent = NULL ;
HANDLE hFile = CreateFile ( ……, FILE_FLAG_OVERLAPPED, …… ) ;
ReadFile ( hFile, bBuf, sizeof(bBuf), &nReadByte, &ov ) ;
// 由于此时hEvent=NULL,所以同步对象为hFile,下面两句的效果一样
WaitForSingleObject ( hFile, INFINITE ) ;
//GetOverlappedResult ( hFile, &ov, &nRead, TRUE ) ;
这段代码在调用ReadFile后会立即返回,但在随后的WaitForSingleObject或者GetOverlappedResult中阻塞,利用同步对象hFile进行同步。
这段代码在这里可以实现正常的异步I/O,但存在一个问题,倘若现在需要对hFile句柄进行多个I/O操作,就会出现问题。见下面这段代码。
代码示例二:
DWORD nReadByte ;
BYTE bBuf1[BUF_SIZE],bBuf2[BUF_SIZE],bBuf3[BUF_SIZE] ;
OVERLAPPED ov1 = { 0, 0, 0, 0, NULL } ;
OVERLAPPED ov2 = { 0, 0, 0, 0, NULL } ;
OVERLAPPED ov3 = { 0, 0, 0, 0, NULL } ;
HANDLE hFile = CreateFile ( ……, FILE_FLAG_OVERLAPPED, …… ) ;
ReadFile ( hFile, bBuf1, sizeof(bBuf1), &nReadByte, &ov1 ) ;
ReadFile ( hFile, bBuf2, sizeof(bBuf2), &nReadByte, &ov2 ) ;
ReadFile ( hFile, bBuf3, sizeof(bBuf3), &nReadByte, &ov3 ) ;
//假设三个I/O处理的时间比较长,到这里还没有结束
GetOverlappedResult ( hFile, &ov1, &nRead, TRUE ) ;
这里对于hFile有三个重叠的I/O操作,但他们的同步对象却都为hFile。使用GetOverlappedResult进行等待操作,这里看似在等待第一个I/O处理的完成,其实只要有任何一个I/O处理完成,该函数就会返回,相当于忽略了其他两个I/O操作的结果。
其实,这里有一个很重要的原则:对于一个重叠句柄上有多于一个I/O操作的时候,应该使用事件对象而不是文件句柄来实现同步。正确的实现见示例三。
代码示例三:
DWORD nReadByte ;
BYTE bBuf1[BUF_SIZE],bBuf2[BUF_SIZE],bBuf3[BUF_SIZE] ;
HANDLE hEvent1 = CreateEvent ( NULL, FALSE, FALSE, NULL ) ;
HANDLE hEvent2 = CreateEvent ( NULL, FALSE, FALSE, NULL ) ;
HANDLE hEvent3 = CreateEvent ( NULL, FALSE, FALSE, NULL ) ;
OVERLAPPED ov1 = { 0, 0, 0, 0, hEvent1 } ;
OVERLAPPED ov2 = { 0, 0, 0, 0, hEvent2 } ;
OVERLAPPED ov3 = { 0, 0, 0, 0, hEvent3 } ;
HANDLE hFile = CreateFile ( ……, FILE_FLAG_OVERLAPPED, …… ) ;
ReadFile ( hFile, bBuf1, sizeof(bBuf1), &nReadByte, &ov1 ) ;
ReadFile ( hFile, bBuf2, sizeof(bBuf2), &nReadByte, &ov2 ) ;
ReadFile ( hFile, bBuf3, sizeof(bBuf3), &nReadByte, &ov3 ) ;
//此时3个I/O操作的同步对象分别为hEvent1,hEvent2,hEvent3
GetOverlappedResult ( hFile, &ov1, &nRead, TRUE ) ;
这样,这个GetOverlappedResult就可以实现对第一个I/O处理的等待
关于重叠I/O的就讨论到这里,关于重叠I/O的实际应用,可以参考《Windows系统编程之进程通信》其中的命名管道实例。
http://bbs.pediy.com/showthread.php?s=&threadid=26252
三、 使用异步过程调用实现异步I/O
异步过程调用(APC),即在特定的上下文中异步的执行一个调用。在异步I/O中可以使用APC,即让操作系统的IO系统在完成异步I/O后立即调用你的程序。(在有些资料中,把异步I/O中的APC称为“完成例程”,感觉这个名称比较贴切,下文就以“完成例程”来表述。另外通常APC是作为线程同步这一块的内容,这里尽量淡化这个概念以免混淆。关于APC的详细内容到线程同步时再介绍 )
这里需要注意三点:
(1) APC总是在调用线程中被调用;
(2) 当执行APC时,调用线程会进入可变等待状态;
[招生]科锐逆向工程师培训(2025年3月11日实地,远程教学同时开班, 第52期)!