过去一段时间,我在软件开发和 CTF 上烧掉了上百亿 Token。用量上来之后,一些反复出现的现象逐渐清晰。这篇文章记录我在开发和安全两个场景下的观察,先给结论:大模型没有逻辑思维,它只是在做 Token 接龙——根据已有文本,把下一个最可能的 Token 输出出来;但在人的经验和管控之下,它能极大地提升效率,是我的重要助手。
对于安全分析,D 开头的模型(下文简称 D 模型)和 G 开头的模型(下文简称 G 模型)都可以用,因为安全分析不需要设计良好的开发架构,需要的是经验、知识、不断探索、根据反馈继续做下一步方案的选型,而这些正是大模型的强项。
从直觉上看,安全分析不需要架构设计、不需要逻辑复用,只需要不断的暴力探索,似乎正好适合大模型。但用多了之后就知道,大模型并不是银弹,它最突出的问题是钻牛角尖之后出不来,进而在一个方向上分析很久都无法攻破。
举个 CTF 的例子:模型自己扒出了一个隐藏账号,而题目信息说这个账号是 admin 权限,它就深信不疑、从不怀疑。即使反复用这个账号去取 flag 都失败了,它依然相信这是真的 admin 账号。换作人类,正常的逻辑应该是:试了这么久都不行,我是不是该怀疑题目里那句描述是假的、是烟雾弹?
D模型 或 G模型 在安全场景我认为无区别。中途更换模型我认为无影响,给安全分析任务中途更改模型就当是换换脑子了,实测换脑子无问题。
开发场景的问题则不一样。抛开业务逻辑不谈,大模型在架构设计、逻辑抽象、实现合理性这几个方面的问题比较大。举个例子(抛开业务背景、纯看中性代码):一个参数是否应该有默认值,它没有稳定的判断,有时写成有默认值,有时写成无默认值;两处数据结构完全一样的情况下,它意识不到其中某些数据其实是同一类数据,这不需要任何业务背景,纯分析逻辑就能得出结论,但它做不到。
所以,如果你做的软件是商用的,人工 Review 必不可少。
上面两类问题,我认为根源是同一个:大模型没有逻辑思维。它的本质是 Token 接龙,只负责把下一个 Token 输出出来,并不维护一个可以被证据推翻的假设。
对于安全场景,用自己设计的反思机制能缓解,或者用人的逻辑思维和经验去补充;对于开发场景,只能用自己的逻辑思维和经验去补齐它的短板。
可以看我的这篇文章:第 07 章 · 幻觉与遗忘:e23K9s2c8@1M7s2y4Q4x3@1q4Q4x3V1k6Q4x3V1k6E0M7q4)9J5k6i4N6W2K9i4S2A6L8W2)9J5k6i4q4I4i4K6u0W2j5$3!0E0i4K6u0r3M7#2)9J5c8V1I4w2c8Y4k6m8g2f1g2w2x3V1H3$3g2s2k6f1h3s2k6$3K9e0m8h3N6@1p5`.完整合集:大语言模型(LLM)学习:693K9s2c8@1M7s2y4Q4x3@1q4Q4x3V1k6Q4x3V1k6E0M7q4)9J5k6i4N6W2K9i4S2A6L8W2)9J5k6i4q4I4i4K6u0W2j5$3!0E0i4K6u0r3L8i4m8Q4x3V1k6S2M7s2m8E0M7$3N6S2L8r3u0#2L8g2)9K6c8W2)9#2k6W2)9#2k6X3u0A6P5W2)9K6c8p5#2*7d9i4N6a6g2q4g2%4e0@1c8C8x3f1#2%4i4K6y4p5i4K6y4p5i4K6t1$3j5h3#2H3i4K6y4n7j5h3y4@1K9h3!0F1i4K6y4p5k6$3g2@1j5h3I4T1N6h3#2Q4x3U0k6S2L8i4m8Q4x3@1u0S2L8r3u0#2L8g2)9#2k6X3W2V1i4K6y4p5y4o6j5@1x3U0t1H3y4o6f1K6x3o6M7$3y4U0j5J5y4U0R3I4y4#2)9J5x3%4N6W2j5$3S2S2N6q4)9#2k6Y4u0W2k6r3W2J5k6h3y4@1
我对大模型的评价经历了三个阶段:
很多人可能觉得奇怪:"我用大模型觉得很牛逼啊,为什么你会觉得它是傻子、没有逻辑思维?"答案就在上面的例子里:它输出的每一步看起来都流畅、专业,但当需要根据反馈推翻自己先前的判断时——怀疑账号描述是烟雾弹、判断两处数据是一类——它做不到。此类例子不胜枚举。
"傻子"说的是它没有逻辑思维;"重要助手"说的是在我自己的经验和管控之下,它能极大地提升我的效率。这两个评价并不矛盾,合并起来才是完整定位:它蠢的很高效,我用它产出的可用部分,不可用的部分再改。
一些 AI 新闻:我看 AI 新闻,一会儿说 AI 自己建设论坛互相沟通,一会儿讨论 AI 是否有意识。我的判断是当前的AI没有逻辑思维,它是 Token 接龙器。所以我看此类新闻总会冒出疑惑:是“演”的么?
一件事情从入门到熟练再到经验丰富,需要消耗大量资源,用大模型也不例外。我对大模型的这些判断、经验,是 Token 烧出来的:
在 AGI 没有到来之前,AI 的短板需要用 SKILL、COMMAND、MCP、PLUGIN 这些自定义扩展机制去补齐、缓解。
详见 Qwen3.8 本地部署:并非优选方案,看完再决定。
传递专业知识、拓宽行业人脉——看雪讲师团队等你加入!!