首页
社区
课程
招聘
[原创] 安全和开发场景下大模型使用经验随笔
发表于: 2026-10-7 07:25 416

[原创] 安全和开发场景下大模型使用经验随笔

2026-10-7 07:25
416

过去一段时间,我在软件开发和 CTF 上烧掉了上百亿 Token。用量上来之后,一些反复出现的现象逐渐清晰。这篇文章记录我在开发和安全两个场景下的观察,先给结论:大模型没有逻辑思维,它只是在做 Token 接龙——根据已有文本,把下一个最可能的 Token 输出出来;但在人的经验和管控之下,它能极大地提升效率,是我的重要助手。

对于安全分析,D 开头的模型(下文简称 D 模型)和 G 开头的模型(下文简称 G 模型)都可以用,因为安全分析不需要设计良好的开发架构,需要的是经验、知识、不断探索、根据反馈继续做下一步方案的选型,而这些正是大模型的强项。

从直觉上看,安全分析不需要架构设计、不需要逻辑复用,只需要不断的暴力探索,似乎正好适合大模型。但用多了之后就知道,大模型并不是银弹,它最突出的问题是钻牛角尖之后出不来,进而在一个方向上分析很久都无法攻破。

举个 CTF 的例子:模型自己扒出了一个隐藏账号,而题目信息说这个账号是 admin 权限,它就深信不疑、从不怀疑。即使反复用这个账号去取 flag 都失败了,它依然相信这是真的 admin 账号。换作人类,正常的逻辑应该是:试了这么久都不行,我是不是该怀疑题目里那句描述是假的、是烟雾弹?

D模型 或 G模型 在安全场景我认为无区别。
中途更换模型我认为无影响,给安全分析任务中途更改模型就当是换换脑子了,实测换脑子无问题。

开发场景的问题则不一样。抛开业务逻辑不谈,大模型在架构设计、逻辑抽象、实现合理性这几个方面的问题比较大。举个例子(抛开业务背景、纯看中性代码):一个参数是否应该有默认值,它没有稳定的判断,有时写成有默认值,有时写成无默认值;两处数据结构完全一样的情况下,它意识不到其中某些数据其实是同一类数据,这不需要任何业务背景,纯分析逻辑就能得出结论,但它做不到。

所以,如果你做的软件是商用的,人工 Review 必不可少。

上面两类问题,我认为根源是同一个:大模型没有逻辑思维。它的本质是 Token 接龙,只负责把下一个 Token 输出出来,并不维护一个可以被证据推翻的假设。

对于安全场景,用自己设计的反思机制能缓解,或者用人的逻辑思维和经验去补充;对于开发场景,只能用自己的逻辑思维和经验去补齐它的短板。

可以看我的这篇文章:第 07 章 · 幻觉与遗忘:e23K9s2c8@1M7s2y4Q4x3@1q4Q4x3V1k6Q4x3V1k6E0M7q4)9J5k6i4N6W2K9i4S2A6L8W2)9J5k6i4q4I4i4K6u0W2j5$3!0E0i4K6u0r3M7#2)9J5c8V1I4w2c8Y4k6m8g2f1g2w2x3V1H3$3g2s2k6f1h3s2k6$3K9e0m8h3N6@1p5`.
完整合集:大语言模型(LLM)学习:693K9s2c8@1M7s2y4Q4x3@1q4Q4x3V1k6Q4x3V1k6E0M7q4)9J5k6i4N6W2K9i4S2A6L8W2)9J5k6i4q4I4i4K6u0W2j5$3!0E0i4K6u0r3L8i4m8Q4x3V1k6S2M7s2m8E0M7$3N6S2L8r3u0#2L8g2)9K6c8W2)9#2k6W2)9#2k6X3u0A6P5W2)9K6c8p5#2*7d9i4N6a6g2q4g2%4e0@1c8C8x3f1#2%4i4K6y4p5i4K6y4p5i4K6t1$3j5h3#2H3i4K6y4n7j5h3y4@1K9h3!0F1i4K6y4p5k6$3g2@1j5h3I4T1N6h3#2Q4x3U0k6S2L8i4m8Q4x3@1u0S2L8r3u0#2L8g2)9#2k6X3W2V1i4K6y4p5y4o6j5@1x3U0t1H3y4o6f1K6x3o6M7$3y4U0j5J5y4U0R3I4y4#2)9J5x3%4N6W2j5$3S2S2N6q4)9#2k6Y4u0W2k6r3W2J5k6h3y4@1

我对大模型的评价经历了三个阶段:

很多人可能觉得奇怪:"我用大模型觉得很牛逼啊,为什么你会觉得它是傻子、没有逻辑思维?"答案就在上面的例子里:它输出的每一步看起来都流畅、专业,但当需要根据反馈推翻自己先前的判断时——怀疑账号描述是烟雾弹、判断两处数据是一类——它做不到。此类例子不胜枚举。

"傻子"说的是它没有逻辑思维;"重要助手"说的是在我自己的经验和管控之下,它能极大地提升我的效率。这两个评价并不矛盾,合并起来才是完整定位:它蠢的很高效,我用它产出的可用部分,不可用的部分再改。

一些 AI 新闻:我看 AI 新闻,一会儿说 AI 自己建设论坛互相沟通,一会儿讨论 AI 是否有意识。我的判断是当前的AI没有逻辑思维,它是 Token 接龙器。所以我看此类新闻总会冒出疑惑:是“演”的么?

一件事情从入门到熟练再到经验丰富,需要消耗大量资源,用大模型也不例外。我对大模型的这些判断、经验,是 Token 烧出来的:

在 AGI 没有到来之前,AI 的短板需要用 SKILL、COMMAND、MCP、PLUGIN 这些自定义扩展机制去补齐、缓解。

详见 Qwen3.8 本地部署:并非优选方案,看完再决定。


传递专业知识、拓宽行业人脉——看雪讲师团队等你加入!!

最后于 2026-10-7 08:58 被不歪编辑 ,原因:
收藏
点赞 ・28
打赏
分享
最新回复 (20)
雪    币: 110
活跃值: (9656)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
2 楼
tql
2026-10-7 10:06
0
雪    币: 83
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
3 楼
666
2026-10-8 14:41
0
雪    币: 9454
活跃值: (6373)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
4 楼
看看
2026-10-8 20:11
0
雪    币: 85
活跃值: (4090)
能力值: ( LV12,RANK:610 )
在线值:
发帖
回帖
粉丝
5 楼
666
2026-10-8 22:02
0
雪    币: 20
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
6 楼
6666
2026-10-10 09:30
0
雪    币: 1055
活跃值: (1720)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
7 楼
study
2026-10-12 15:30
0
雪    币: 2057
活跃值: (8293)
能力值: ( LV5,RANK:70 )
在线值:
发帖
回帖
粉丝
8 楼
1
2026-10-13 14:19
0
雪    币: 2790
活跃值: (7221)
能力值: ( LV6,RANK:90 )
在线值:
发帖
回帖
粉丝
9 楼
感谢分享!
2026-10-14 08:30
0
雪    币: 0
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
10 楼
感谢分享
2026-10-14 08:50
0
雪    币: 2850
活跃值: (3685)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
11 楼
5555
2026-10-14 09:48
0
雪    币: 0
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
12 楼
感谢分享
2026-10-16 11:35
0
雪    币: 0
活跃值: (511)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
13 楼
看看
2026-10-16 11:59
0
雪    币: 220
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
14 楼
可以,有货。
2026-10-16 14:51
0
雪    币: 0
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
15 楼
666
2026-10-16 15:28
0
雪    币: 200
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
16 楼
666
2026-10-20 09:09
0
雪    币: 10891
活跃值: (7227)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
17 楼
感谢分享
2026-10-23 15:25
0
雪    币: 307
活跃值: (1255)
能力值: ( LV2,RANK:15 )
在线值:
发帖
回帖
粉丝
18 楼
kk
2026-10-23 15:50
0
雪    币: 200
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
19 楼
感谢分享!
2026-10-23 16:40
0
雪    币: 0
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
20 楼
6666
5天前
0
雪    币: 33
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
21 楼
66
2天前
0
游客
登录 | 注册 方可回帖
返回