1、议题介绍

从字节到神经元：一名二进制安全研究员的 AI 安全研究

随着大语言模型的本地部署越来越普遍，用户开始在自己的电脑上组合模型权重、推理框架和硬件，让模型实际运行起来。我也希望借此逐步建立对 Security for AI 的系统认识：从传统软件漏洞研究出发，理解模型本身及其运行过程中的安全问题。

MLX 是我选择的切入点。它是苹果机器学习研究团队推出的开源计算框架，支持在 Apple Silicon 设备上进行模型训练和推理，与 Mac 上的本地模型部署直接相关。我沿用熟悉的漏洞研究方法，从模型加载环节入手，对比了 MLX 的 safetensors 读取实现与 Hugging Face Transformers 加载权重时使用的 safetensors 库。这个环节负责解析权重文件中的数据类型、张量形状等信息，将磁盘上的字节转换为模型推理时参与计算的权重。

对比发现，两套实现对同一个数据类型字段的解释并不一致，导致同一份权重文件加载后可能得到不同的数值。利用这一差异，我们首先做到了让模型在一条加载路径下正常工作，在另一条路径下产生异常输出。但此时，异常仍然不可控：我们能够让模型出错，却不能决定它如何出错，更无法让它稳定执行预先设定的行为。

为了从制造异常走到控制行为，我开始向模型内部追踪，分析权重中的数值差异如何在神经网络中传递和放大。研究由文件字节逐渐深入到神经元之间的计算，也让我理解了直接修改权重为什么容易破坏模型原有的能力。由此，思路转向了训练：让模型学会识别环境带来的数值差异，并将这种差异与特定行为关联起来，使原本不可控的扰动成为可控的触发条件。

沿着这一思路，研究进一步从软件加载差异延伸到硬件计算差异，最终实现了一个由运行环境触发的模型后门：同一份预先植入后门的权重，在审计环境中表现正常，换到另一种硬件环境后，才会稳定激活目标行为。两个环境使用的权重文件哈希完全一致，无需修改加载逻辑或推理代码，输入中也不需要特殊暗号。真正充当触发器的，是运行环境本身。