Overlapped I/O

Overlapped I/O是Windows系统上的Asynchronous I/O implementation。啥叫asynchronous I/O ？借用Linux Man page中对AIO的介绍：

The POSIX asynchronous I/O (AIO) interface allows applications to initiate one or more I/O operations that are performed asynchronously (i.e., in the background). The application can elect to be notified of completion of the I/O operation in a variety of ways: by delivery of a signal, by instantiation of a thread, or no notification at all.

AIO让应用发起一个操作请求，让这个请求被异步地执行。应用可以选择在操作完成时被通知到或者不被通知。 

typedef struct _OVERLAPPED {
  ULONG_PTR Internal;
  ULONG_PTR InternalHigh;
  union {
    struct {
      DWORD Offset;
      DWORD OffsetHigh;
    };
    PVOID  Pointer;
  };
  HANDLE    hEvent;
} OVERLAPPED, *LPOVERLAPPED;

关于这个数据结构的详细介绍可以参考：http://msdn.microsoft.com/en-us/library/windows/desktop/ms684342(v=vs.85).aspx。 概括来说，Internal，InternalHigh都是内部使用的，不建议直接使用；Offset + OffsetHigh用于有offset概念的handle；Pointer是保留给系统使用的；hEvent指向一个event，当操作完成后，这个event会被系统设置成signalled状态。

看起来，这个数据结构本身并没有提供很多信息，那如何使用这个数据结构呢？

  

OVERLAPPED使用之一：内核对象(handle)

无论是对一个Socket或者文件或者其他什么对象操作，总有一个handle来指向这个对象。当对这个对象发出操作请求后，过一段时间就可以使用该handle和Overlapped对象进行查询，之前的那个请求是否完成。下面是一个例子：

用overlapped模型读一个磁盘文件内容。

   1．把设备句柄看作同步对象，ReadFile将设备句柄设为无信号。ReadFile 异步I/O字节位置必须在OVERLAPPED结构中指定。

   2．完成I/O，设置信息状态。为有信号。

   3．WaitForSingleObject或WaitForMultipleObject判断或者异步设备调用GetOverLappedResult函数。

#include <Windows.h>
#define READ_SIZE 1024

int main()

{

    BOOL rc;
    HANDLE hFile;
    DWORD numread;
    OVERLAPPED overlap;
    char buf[READ_SIZE];
    char szPath[MAX_PATH];

    GetWindowsDirectory(szPath, sizeof(szPath));
    strcat(szPath, "\\WINHLP32.EXE");
    hFile = CreateFile( szPath,
                    GENERIC_READ,
                    FILE_SHARE_READ|FILE_SHARE_WRITE,
                    NULL,
                    OPEN_EXISTING,
                    FILE_FLAG_OVERLAPPED,
                    NULL
                );

    if (hFile == INVALID_HANDLE_VALUE)
    {
        printf("Could not open %s\n", szPath);
        return -1;
    }

    memset(&overlap, 0, sizeof(overlap));
    overlap.Offset = 1500;

    rc = ReadFile(
                hFile,
                buf,
                READ_SIZE,
                &numread,
                &overlap
            );

    printf("Issued read request\n");
    if (rc)
    {
        printf("Request was returned immediately\n");
    }
    else
    {
        if (GetLastError() == ERROR_IO_PENDING)
        {
            printf("Request queued, waiting...\n");
            WaitForSingleObject(hFile, INFINITE);
            printf("Request completed.\n");
            rc = GetOverlappedResult(
                                    hFile,
                                    &overlap,
                                    &numread,
                                    FALSE
                                );
            printf("Result was %d\n", rc);
        }
        else
        {
            printf("Error reading file\n");
        }
    }
    CloseHandle(hFile);
    return EXIT_SUCCESS;
}

OVERLAPPED使用之二： 事件通知

每一个异步操作，都有一个OVERLAPPED的instance与之相关联，因此，当之前提交的异步操作完成后，可以使用OVERLAPPED中的hEvent来获取通知。写完示例程序可以贴出来。

Limitation：

1. WaitForMultipleObjects最多可以等待MAXIMUM_WAIT_OBJECTS（64）个对象，当提交的请求比较多（>64）时，就没法同时等。

2. 只能使用一个file handle；

OVERLAPPED使用之三： COMPLETION ROUTINE

另外一种方法是注册一个回调函数，在一个Overlapped I/O完成之后，系统调用该回调函数。OS在有信号状态下(设备句柄)，才会调用回调函数（可能有很多APCS等待处理了），传给它完成I/O请求的错误码，传输字节数和Overlapped结构的地址。看看OVERLAPPED的定义，这个回调函数是没法跟OVERLAPPED进行关联了，那在哪里关联呢？答案是在每次请求时关联，比如WSARecv, ReadFileEx, WSASend 等函数都有一个参数为LPWSAOVERLAPPED_COMPLETION_ROUTINE lpCompletionRoutine，这就是call back函数可以注册的地方。写完示例程序可以贴出来。

可以注意到，在这种方式时，并不需要每个IO request创建一个OVERLAPPED实例，因为没有用到OVERLAPPED里的任何信息。大家共享一个就可以了。

Limitation：

1. 只有发出overlapped IO请求的线程才可以提供callback函数，每个callback都会创建一个新线程，那么就是每个request都要创建线程，用完销毁，开销太大。

2. 只能使用一个file handle；

OVERLAPPED使用之四： IOCP

IOCP是在OVERLAPPED IO基础上的扩展。功能更加强大。OVERLAPPED IO会创建IO request 队列，当有异步请求时，就把请求放到这个队列里，系统会从队列中取请求并处理；IOCP主要是接近请求完成后通知的问题，IOCP是又创建了一个完成队列，当OVERLAPPED IO中的request 队列中有request被完成时，就放到IOCP的完成队列中，App的GetQueuedCompletionStatus从完成队列中取一个completion packet，进行处理。

所以，IOCP是以OVERLAPPED IO为基础的完成通知机制，对OVERLAPPED数据结构中的信息被不真正关心。但是必须要有一个OVERLAPPED的instance。