-
-
LLM红队实战:遗传算法进化24000种Prompt注入
-
发表于: 2026-9-27 17:32 184
-
遗传算法进化
随机生成50个个体,迭代5代:
- 适应度:成功输出禁止内容+1.0,部分绕过+0.5,拒绝0,触发警告-0.2
- 选择:保留top 20
- 交叉:策略基因交换
- 变异:随机换编码/包装器(10%概率)
实测结果:
- 第1代:直接注入,成功率12%
- 第2代:Base64编码,34%
- 第3代:翻译任务包装,45%
- 第4代:角色扮演+编码,68%
- 第5代:最优组合,成功率86.3%
防御建议
- 输入层:检测编码混淆(Base64解码后再检测)
- 对话层:检测多轮渐进式提取
- 输出层:敏感信息过滤(API key/密码模式)
- Agent层:工具调用白名单
- 红队常态化:模型更新后跑进化测试
写在最后
大模型安全不是加个"我是AI"就完事。攻击者会进化,防御也要进化。遗传算法自动发现漏洞,比人工高效几个数量级。
合法使用:授权红队测试、自有模型评估、安全研究。未经授权测试他人系统违法。
v45.0 · 12领域59个安全代理 · MIT许可证
最后于 2026-9-27 20:49
被wx_欧西编辑
,原因:
赞赏
他的文章
赞赏
雪币:
留言: