首页
社区
课程
招聘
[原创]Windows系统编程之异步I/O和完成端口
发表于: 2006-7-2 18:46 26823

[原创]Windows系统编程之异步I/O和完成端口

2006-7-2 18:46
26823

Windows系统编程之异步I/O和完成端口


【作者】北极星2003


【来源】看雪技术论坛(bbs.pediy.com)


【时间】2006年7月1日



一、        同步I/O和异步I/O



在介绍这部分内容之前先来认识下“异步I/O”。


        说起异步IO,很容易联想到同步I/O,对于同一个I/O对象句柄在同一时刻只允许一个I/O操作,其原理如下图所示:




        显然,当内核真正处理I/O的时间段(T2~T4),用户线程是处于等待状态的,如果这个时间段比较段的话,没有什么影响;倘若这个时间段很长的话,线程就会长时间处于挂起状态。事实上,该线程完全可以利用这段时间用处理其他事务。



        异步I/O恰好可以解决同步I/O中的问题,而且支持对同一个I/O对象的并行处理,其原理如下图所示:




        异步I/O在I/O请求完成时,可以使用让I/O对象或者事件对象受信来通知用户线程,而用户线程中可以使用GetOverlappedResult来查看I/O的执行情况。


       


由于异步I/O在进行I/O请求后会立即返回,这样就会产生一个问题:“程序是如何取得I/O处理的结果的?”。



        有多种方法可以实现异步I/O,其不同资料上的分类一般都不尽相同,但原理上都类似,这里我把实现异步I/O的方法分为3类,本文就针对这3类方法进行详细的讨论。


(1)重叠I/O


(2)异步过程调用(APC),扩展I/O


(3)使用完成端口(IOCP)



二、使用重叠I/O实现异步I/O


       


        同一个线程可以对多个I/O对象进行I/O操作,不同的线程也可以对同一个I/O对象进行操作,在我的理解中,重叠的命名就是这么来的。



        在使用重叠I/O时,线程需要创建OVERLAPPED结构以供I/O处理。该结构中最重要的成员是hEvent,它是作为一个同步对象而存在,如果hEvent为NULL,那么此时的同步对象即为文件句柄、管道句柄等I/O操作对象。当I/O完成后,会使这里的同步对象受信,从而通知用户线程。



        由于在进行I/O请求后会立即返回,但有时用户线程需要知道I/O当前的执行情况,此时就可以使用GetOverlappedResult。如果该函数的bWait参数为true,那么改函数就会阻塞线程直到目标I/O处理完成为止;如果bWait为false,那么就会立即返回,如果此时的I/O尚未完,调用GetLastError就会返回ERROR_IO_INCOMPLETE。



代码示例一:


DWORD 	nReadByte ;
BYTE 	bBuf[BUF_SIZE] ;
OVERLAPPED ov = { 0, 0, 0, 0, NULL } ;	// hEvent = NULL ;
HANDLE hFile = CreateFile ( ……, FILE_FLAG_OVERLAPPED, …… ) ;
ReadFile ( hFile, bBuf, sizeof(bBuf), &nReadByte, &ov ) ;
// 由于此时hEvent=NULL,所以同步对象为hFile,下面两句的效果一样
WaitForSingleObject ( hFile, INFINITE ) ;
//GetOverlappedResult ( hFile, &ov, &nRead, TRUE ) ;


这段代码在调用ReadFile后会立即返回,但在随后的WaitForSingleObject或者GetOverlappedResult中阻塞,利用同步对象hFile进行同步。



        这段代码在这里可以实现正常的异步I/O,但存在一个问题,倘若现在需要对hFile句柄进行多个I/O操作,就会出现问题。见下面这段代码。



代码示例二:


DWORD 	nReadByte ;
BYTE 	bBuf1[BUF_SIZE],bBuf2[BUF_SIZE],bBuf3[BUF_SIZE] ;
OVERLAPPED ov1 = { 0, 0, 0, 0, NULL } ;	
OVERLAPPED ov2 = { 0, 0, 0, 0, NULL } ;	
OVERLAPPED ov3 = { 0, 0, 0, 0, NULL } ;	
HANDLE hFile = CreateFile ( ……, FILE_FLAG_OVERLAPPED, …… ) ;
ReadFile ( hFile, bBuf1, sizeof(bBuf1), &nReadByte, &ov1 ) ;
ReadFile ( hFile, bBuf2, sizeof(bBuf2), &nReadByte, &ov2 ) ;
ReadFile ( hFile, bBuf3, sizeof(bBuf3), &nReadByte, &ov3 ) ;
//假设三个I/O处理的时间比较长,到这里还没有结束
GetOverlappedResult ( hFile, &ov1, &nRead, TRUE ) ;


        这里对于hFile有三个重叠的I/O操作,但他们的同步对象却都为hFile。使用GetOverlappedResult进行等待操作,这里看似在等待第一个I/O处理的完成,其实只要有任何一个I/O处理完成,该函数就会返回,相当于忽略了其他两个I/O操作的结果。



        其实,这里有一个很重要的原则:对于一个重叠句柄上有多于一个I/O操作的时候,应该使用事件对象而不是文件句柄来实现同步。正确的实现见示例三。


       


代码示例三:


DWORD 	nReadByte ;
BYTE 	bBuf1[BUF_SIZE],bBuf2[BUF_SIZE],bBuf3[BUF_SIZE] ;
HANDLE	hEvent1 = CreateEvent ( NULL, FALSE, FALSE, NULL ) ; 
HANDLE	hEvent2 = CreateEvent ( NULL, FALSE, FALSE, NULL ) ;
HANDLE	hEvent3 = CreateEvent ( NULL, FALSE, FALSE, NULL ) ;
OVERLAPPED ov1 = { 0, 0, 0, 0, hEvent1 } ;	
OVERLAPPED ov2 = { 0, 0, 0, 0, hEvent2 } ;	
OVERLAPPED ov3 = { 0, 0, 0, 0, hEvent3 } ;	
HANDLE hFile = CreateFile ( ……, FILE_FLAG_OVERLAPPED, …… ) ;
ReadFile ( hFile, bBuf1, sizeof(bBuf1), &nReadByte, &ov1 ) ;
ReadFile ( hFile, bBuf2, sizeof(bBuf2), &nReadByte, &ov2 ) ;
ReadFile ( hFile, bBuf3, sizeof(bBuf3), &nReadByte, &ov3 ) ;
//此时3个I/O操作的同步对象分别为hEvent1,hEvent2,hEvent3
GetOverlappedResult ( hFile, &ov1, &nRead, TRUE ) ;


        这样,这个GetOverlappedResult就可以实现对第一个I/O处理的等待


关于重叠I/O的就讨论到这里,关于重叠I/O的实际应用,可以参考《Windows系统编程之进程通信》其中的命名管道实例。


http://bbs.pediy.com/showthread.php?s=&threadid=26252



三、        使用异步过程调用实现异步I/O



异步过程调用(APC),即在特定的上下文中异步的执行一个调用。在异步I/O中可以使用APC,即让操作系统的IO系统在完成异步I/O后立即调用你的程序。(在有些资料中,把异步I/O中的APC称为“完成例程”,感觉这个名称比较贴切,下文就以“完成例程”来表述。另外通常APC是作为线程同步这一块的内容,这里尽量淡化这个概念以免混淆。关于APC的详细内容到线程同步时再介绍 )



这里需要注意三点:


(1)        APC总是在调用线程中被调用;


(2)        当执行APC时,调用线程会进入可变等待状态;



[招生]科锐逆向工程师培训(2025年3月11日实地,远程教学同时开班, 第52期)!

上传的附件:
收藏
免费 7
支持
分享
最新回复 (15)
雪    币: 236
活跃值: (35)
能力值: ( LV4,RANK:50 )
在线值:
发帖
回帖
粉丝
2
学习中,顺便问一句 我用ShellExecute(this->m_hWnd,"open","calc.exe","","", SW_SHOW );这里的calc.exe文件是不是必须用绝对路径,不写路径在当前路径调用为什么不成功
2006-7-2 19:01
0
雪    币: 254
活跃值: (126)
能力值: ( LV8,RANK:130 )
在线值:
发帖
回帖
粉丝
3
??啊
2006-7-2 20:13
0
雪    币: 2384
活跃值: (766)
能力值: (RANK:410 )
在线值:
发帖
回帖
粉丝
4
学习。
2006-7-2 20:18
0
雪    币: 236
活跃值: (26)
能力值: ( LV8,RANK:130 )
在线值:
发帖
回帖
粉丝
5
LZ
真是个牛人
以后要向您多请教学习了
2006-7-2 22:57
0
雪    币: 398
活跃值: (343)
能力值: (RANK:650 )
在线值:
发帖
回帖
粉丝
6
图文并茂
严重学习
2006-7-3 09:52
0
雪    币: 603
活跃值: (617)
能力值: ( LV12,RANK:660 )
在线值:
发帖
回帖
粉丝
7
没什么说的,向版主学习!
2006-7-3 09:53
0
雪    币: 206
活跃值: (10)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
8
请问I/O操作完成是指I/O请求完成还是I/O处理完成?
2006-7-3 10:59
0
雪    币: 1852
活跃值: (504)
能力值: (RANK:1010 )
在线值:
发帖
回帖
粉丝
9
最初由 iceberg_wx 发布
请问I/O操作完成是指I/O请求完成还是I/O处理完成?


从外部来看I/O操作是一个整体,分为两个阶段:I/O请求,I/O处理
在文中I/O操作完成是指对这个整体的完成
另外,在几个容易引起歧义的地方,我已经作了修改
2006-7-3 11:25
0
雪    币: 1852
活跃值: (504)
能力值: (RANK:1010 )
在线值:
发帖
回帖
粉丝
10
最初由 误入楼台 发布
学习中,顺便问一句 我用ShellExecute(this->m_hWnd,"open","calc.exe","","", SW_SHOW );这里的calc.exe文件是不是必须用绝对路径,不写路径在当前路径调用为什么不成功


3种方法:
(1)COPY到工程文件夹里
(2)使用全路径
(3)环境变量

至于出现什么错误,可以使用GetLastError()来查看错误代码
2006-7-3 11:27
0
雪    币: 207
活跃值: (10)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
11
楼主辛苦了..学习中...从楼主的WINDOWS系列中学到了好多..建议楼主把所要的这这些..以电子书发布会更好的.....
2006-7-4 13:00
0
雪    币: 248
活跃值: (1121)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
12
好!
精辟。
2006-7-4 14:49
0
雪    币: 209
活跃值: (10)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
13
我一直不明白
GetQueuedCompletionStatus ( pMyDlg->hCompletionPort, &cbTrans, &dwCompletionKey, &lpov, INFINITE )
这里第4个参数&lpov微软是怎么规定的,这里应该是一个4字节回传空间
但是在CreateIoCompletionPort中只定义了第3个参数dwCompletionKey回传。
评什么那么多API函数指定参数都要回传到第4个参数过来.
2006-7-4 17:23
0
雪    币: 1852
活跃值: (504)
能力值: (RANK:1010 )
在线值:
发帖
回帖
粉丝
14
最初由 datm 发布
评什么那么多API函数指定参数都要回传到第4个参数过来.


这句话看不太明白

第四个参数:LPOVERLAPPED *lpOverlapped
即重叠结构OVERLAPPED指针的指针,WIN32中指针是4个字节的
GetQueuedCompletionStatus是检测I/O完成包,而I/O完成包中包含该I/O操作的重叠结构
CreateIoCompletionPort是创建完成端口和添加I/O对象句柄的,与OVERLAPPED没有直接的联系
2006-7-4 18:05
0
雪    币: 2134
活跃值: (14)
能力值: (RANK:170 )
在线值:
发帖
回帖
粉丝
15
提个建议,不知道搂住使用什么画的图,感觉有些看不清,
感觉用word画,再剪出来可能会好一些
2006-7-6 19:30
0
雪    币: 1852
活跃值: (504)
能力值: (RANK:1010 )
在线值:
发帖
回帖
粉丝
16
最初由 Aker 发布
提个建议,不知道搂住使用什么画的图,感觉有些看不清,
感觉用word画,再剪出来可能会好一些


我是用PPT画的,没有装VISO,就用PPT将就着,WORD的画图我用不习惯
下次画的时候我会注意的
2006-7-6 21:47
0
游客
登录 | 注册 方可回帖
返回