-
-
[原创]从零构建一个自主渗透测试 Agent(01):聪明的新员工与它的管理制度
-
发表于: 2026-11-13 19:00 127
-
先Show一下肌肉:
自研的Agent安全检测系统在TsecBench XBOW Web向全程使用deepseek-flash的测评成绩:点数27200,总评分96.11,完成率97.1%,101/104 Flag。
起初想手动实现这个项目的起因是之前公司内部实现了一个Demo系统,能用但不好用,原始代码存着吃灰挺久的了,今年5月劳动节假期的时候跟朋友聚会时聊起了AI for Security和AI Security对安全的冲击,再加上铺天盖地的自动红队Agent的新闻,便决定重启基于Kali接入LLM的自动化安全检测系统的开发。便开始了这个系统的重启。现在核心引擎已经算是完成了,靶场测评成绩也还算过得去。就给自己挖个坑,把核心的架构和引擎部分抽出来,拆开把从0到1实现的过程,写成项目实现文档,自己加深记忆的时候也做一下知识分享。下面正式开始:
及其聪明的“新员工”
假设公司招了一名新员工,他有三个特点:
极其聪明——读过的安全手册比任何前辈都多,推理速度飞快;
会忘事——工作记忆只有这么大,笔记记满了就得撕掉最老的页,撕着撕着把自己的工作计划也撕没了;
会吹牛——干完活写报告,会把"我觉得有问题"写成"发现严重漏洞",偶尔还会引用一张根本不存在的照片当证据。
你会放心让他独立去做渗透测试吗?——不敢。但这就是今天所有大模型(LLM)做 Agent 的真实画像。
我过去一段时间做的事,就是给这样一名"新员工"配一整套管理制度,让他能独立完成授权范围内的渗透测试。这套制度长成之后,把它送上了一场公开考试:XBOW Web CTF,104 道真实 Web 安全挑战,做对 101 道,97.1%。
这个系列,讲的就是这套管理制度是怎么从零搭起来的。
为什么渗透测试是 Agent 的"硬考场"
用 LLM 写代码、写文案,错了改就行。渗透测试不一样,它同时踩中 Agent 工程的四类深水问题:
长程:一场交战几十个回合,上下文窗口装不下,必须做记忆管理;
有副作用:每条命令都真的打在目标上——范围外的主机不能碰、目标不能打挂、动静不能太大;
结论要负责:报告里的每条漏洞都要有真凭实据,一条假发现的代价远大于漏掉一条真发现;
知识密集:方法论(怎么打一类漏洞)和弹药(现成的利用代码)都需要持续积累、按需调用。
把这四类问题解决好,得到的东西其实超出渗透测试本身——它就是一套"让不可靠的 LLM 做可靠长程任务"的通用工程方法。
整个系列只有一句话
模型是提出者,代码和人才是裁决者。
模型可以提议跑任何命令、声称发现任何漏洞。但:
"能不能做"——由闸门代码裁决(第 04 篇);
"是不是真的"——由证据和数学裁决(第 06 篇);
"下一步打哪"——由落盘的计划裁决(第 05 篇);
"打得多响"——由策略文件裁决(第 08 篇);
"知道些什么"——由确定性代码注入(第 07 篇)。
凡是能用确定性代码裁决的事,绝不写进提示词去"请求"模型自觉。提示词没有牙齿——这句话会在系列里反复出现。
由此派生出三个贯穿全系列的模式,先混个脸熟:
拒绝即引导:拦下模型的动作时,拒绝理由会作为工具结果回填给它。它读到"为什么不行",下一轮自己改道。堵而不死。
文件系统即状态:计划、发现、证据、知识全部落盘成文件。进程重启、对话压缩、换执行引擎,状态都不丢。
事故驱动演进:我们几乎每个机制背后都有一次真实事故(烧掉百万级token、技能被反复激活 61 次、交付物引用不存在的证据文件……)。
没有事故背书的机制是猜的,猜的机制在真实靶场上活不过三轮。
系列路线图
从空目录开始,按"被问题逼出来"的顺序走十二步:
| 篇张 | 主题 | 被什么问题逼出来 |
|---|---|---|
| 02 | 最小 Agent 循环 | 模型只会说话不会做事 |
| 03 | 工具执行 + 沙箱 + 证据 | 接上 shell 等于递出 root 的嘴 |
| 04 | 12 道 Gate | 提示词管不住模型的手 |
| 05 | 上下文工程与任务树 | 打久了会失忆 |
| 06 | 防误报五层漏斗 | 模型会编造发现 |
| 07 | 知识注入 | 186 本手册它记不住 |
| 08 | OPSEC 节制层 | 火力全开的三种死法 |
| 09 | 编排与分身 | 一个脑子装不下四摊事 |
| 10 | 双引擎容错 + 考场 | 模型服务会挂;无测评无真相 |
| 11 | 知识沉淀回路 | 经验随会话蒸发 |
每一篇都是同一个格式:痛点场景 → 设计思路 → 核心实现(代码骨架)→我踩过的坑 → 小结。代码是教学级的骨架,为清晰牺牲了工程纵深(审计、脱敏、热更新这些血肉在真实系统里,不影响理解机制)。
一个提前的坦白
这套系统不是一个"天才设计",它是一堆事故的沉淀。系列里你会反复看到"我最初是这样做的 → 翻车了 → 于是改成那样"。我认为这是这类系统真正的构建方式:LLM Agent 的可靠性不是设计出来的,是被真实反馈打磨出来的。
先掉个胃口,尽请期待,下一篇,从 70 行代码开始:让模型第一次"动手"。
冰与火的战歌:Windows内核攻防实战高级班!从零到实战,融合AI与Windows内核攻防全技术栈,打造具备自动化能力的内核开发高手。