我调试了下ollydbg打开文件的过程大致如下
首先根据后缀判断是dll还是exe，然后
        SearchPath()        成功
                fopen() 成功 EDI保存文件句柄
                fread() 40h字节 判断前两个字节是不是4D 5A  Yes!
                fseek() IMAGE_NT_HEADERS
                fread() 18h字节         读取Image_File_Header
                                                        比较signature是不是 50 45 Yes!
                                                            比较file header的Machine是否为00 00 4C 01 Yes!
                                                        比较file header的PointerToSymbolTable是否是E0 00 Yes!
                fread() e0h字节         读取Image_Optional_Header

判断文件是否满足系统需求

        ......
CreateProcessA

希望能帮到你

如果你是attach并且想知道为什么出错的话
可以打开od调试od，然后用被调试的od attach文件