-
-
[原创]栈局部变量优化探究，意外发现了 vs 的一个 bug ？
-
发表于: 2020-11-8 22:33
-
我在《栈又溢出了》一文中记录了一个奇怪的栈溢出问题。虽然解决了，但是总感觉哪里不太合理。我想，vs 一定有一个合理的设置。一起折腾起来吧！
本以为能找到某个编译选项对局部变量占用内存的行为进行控制。看遍了工程设置也没发现相关的设置项。release 版会不会有什么不同呢？毕竟，release 版会做一些优化，于是抱着试试看的心态编译了 release 版。您猜怎么着，居然没崩溃！
赶紧查看下相关的反汇编，果然和预想的一样，函数局部变量占用的栈空间不再是 debug 版中的 0x12C0DC，而是 0x064008。换算成十进制大概是 409608。
这说明三个局部变量被优化成了一个！release 优化果然给力！但是具体是哪一项优化导致的呢？该怎么排查呢？debug 版和 release 版结果不一样，最简单粗暴的方法就是找不同！
把 debug 版的配置保存到 debug.txt，release 版的配置保存到 release.txt。然后用 beyond compare 比较两个文件的内容。
为了让各位小伙伴儿更清晰的对比 debug 和 release 的区别，我特意调整了先后顺序，把不同的选项放到了后面！最重要的不同在最后一行。
debug 版为 /ZI /Gm /Od /RTC1 /MDd，release 版为 /Zi /GL /Gy /Gm- /O2 /Oi /MD。
不知道大家熟悉哪几个，我比较熟悉 /Od （禁用优化，debug 版的默认配置）和 /O2 （使速度最大化，release 版的默认配置）。
先把 /Od 改成 /O2 试试，没想到提示错误 error D8016: “/ZI”和“/O2”命令行选项不兼容。那就把 /ZI 改成 /Zi。
说明：/Zi 和 /ZI 都是用来配置生成调试符号的，与当前调查的问题基本没什么关系。使用 /ZI 生成的符号文件可以支持编辑并继续运行，低版本的 vs 对编辑并继续运行的功能支持的并不好，一般 /Zi 就好。
改好后，继续编译。没想到又遇到了如下错误：error D8016: “/O2”和“/RTC1”命令行选项不兼容。改成默认值，和 release 一样的设置。
再次编译，这次终于编译通过了。再次运行 debug 版的程序，不报栈溢出了。赶紧查看反汇编确认，传给 _chkstk 的大小不再是之前的 0x12C0DC 了，而是 0x064004，转换成十进制是 409604。
如果把 release 版的 /O2 改成 /Od，release 版会不会也报栈溢出呢？
说干就干，改好配置后编译，运行。果然，栈溢出了。
至此，基本上找到了关键的编译选项—— /O2。但这就完了么？
在 google 中输入 /O2 msdn ，回车。第一条搜索结果就是 /O2 的官方文档。看看 /O2 都做了哪些优化。
原来，/O2 相当于设置了这么多选项，到底是哪一个在起作用呢？一共才 7 个，不多，挨个试！恢复 debug 版的优化选项为 /Od。然后添加额外选项。先试 /Og。
没想到运气这么好，一下就猜中了。这里就不放运行结果图了。
再查看下/Og 的官方文档。这里截取部分关键描述。
可以在工程上 右键，属性，配置属性，c/c++，命令行 来快速找到所有编译选项。如下图：
为了更好的理解栈局部变量优化策略，我准备了很多测试用例，其中有一个用例结果出乎意料！我把代码和结果贴出来。我想这应该是 vs2013 的一个 bug。
BigData2 的大小应该是 819212，但是传递给 _chkstk 的值却是 1228824。看下图就知道我没瞎说。
这真的是 vs2013 的 bug 吗？同样的代码在高版本的 vs 中会是什么结果呢？vs2019 太大了，我的 c 盘已经爆红了，不想装了。偶然发现了一个超级宝藏网址，可以查看源代码被不同编译器编译后的汇编代码，真是宝藏啊。
这个宝藏网址是 https://gcc.godbolt.org/。上面的代码的编译结果如下图：
符合预期！看来这的确是 vs2013 的一个 bug 了！
#include "stdafx.h"struct BigData{ char data[400 * 1024];
};struct BigData1 : public BigData{ int data1;
};struct BigData2 : public BigData1{ int data2;
BigData1 bigData;
};void Use(BigData* pData) { printf("%c", pData->data[0]); }
void CorrpuptStackEasyly(int argc)
{ auto size = sizeof(BigData2);
printf("size is %d", (int)size);
if (argc == 1)
{
BigData data;
Use(&data);
}
else if (argc == 2)
{
BigData1 data;
Use(&data);
}
else
{
BigData2 data;
Use(&data);
}
}int _tmain(int argc, _TCHAR* argv[])
{ CorrpuptStackEasyly(argc);
return 0;
}[招生]科锐逆向工程师培训(2024年11月15日实地，远程教学同时开班, 第51期)
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
 我觉得那个网站是我最大的发现
|
|
|
向各位前辈大佬学习 |
|
|
向各位前辈大佬学习 |
|
|
瞄瞄？ |
|
|
|
|
|
|
