近日，360数字安全集团发布了一份关于大模型安全漏洞的报告，揭示了当前大模型及围绕其构建的框架和应用中存在的严重安全问题。报告显示，360近期研究发现了近40个大模型相关的安全漏洞，其中既包括二进制内存安全、Web安全等经典漏洞类型，也包含由大模型自身特性引入的综合性问题。影响范围覆盖多个知名模型服务框架及国际厂商开发的开源产品。更为严重的是，在对目前流行的框架进行审计后，发现几乎所有的框架都缺乏有效的安全保护策略。

报告指出，大模型在软件设施和具体应用场景落地中面临诸多安全挑战。这些挑战涵盖了模型层安全、框架层安全和应用层安全。在模型层，攻击者可以通过数据投毒、后门植入、对抗攻击等手段，使得模型无法正常完成推理预测，或绕过安全限制，生成不当内容。而在框架层，问题则更为复杂。目前的大模型项目需求不断增长，各类开源框架层出不穷，这些框架虽然提供了完整的开发周期功能，降低了构建AI应用的门槛，但同时也打开了新的攻击面。

360对目前流行的框架进行审计后发现，几乎所有的框架都缺乏有效的安全保护策略。由于框架底层主要使用非内存安全语言进行编程，如C/C++，因此在优化算法的代码实现过程中很可能引入内存安全问题。此外，框架在接受并处理不可信数据时，也缺乏足够的校验和过滤机制，使得攻击者可以通过构造恶意数据来触发漏洞。

例如，在TensorFlow、PyTorch等国内外流行框架中，就存在因内存破坏导致的进程崩溃等问题。这些问题通常可以通过调用特定的接口函数，并传入特殊构造的数据参数来触发。然而，由于修复这些问题可能会严重影响训练效率，因此一些框架开发者并没有及时对这些问题进行修复。

更为严重的是，在分布式场景下，框架的安全问题更加突出。由于分布式系统通常包含大量的计算资源和存储资源，一旦被恶意控制，将带来巨大的安全风险。可惜的是，目前几乎所有的框架都没有良好的安全策略来实现分布式场景下的安全防护。一些框架在通信过程中没有对接收的数据进行严格校验，使得攻击者可以通过发送恶意构造的数据包来触发漏洞，进而控制整个集群。

针对这些问题，360建议框架开发者应加强对安全问题的重视，投入更多精力来解决因框架设计导致的安全敞口问题。同时，用户在使用这些框架时也应保持警惕，采取必要的安全措施来保护自己的系统免受攻击。

此次发现再次提醒我们，以大模型为重要支撑的AI生态虽然拥有巨大的发展潜力，但同时也面临着复杂而繁多的风险因素。为了确保整个系统的可信、可靠、可控，我们需要将更多的精力投入在AI的安全之上，不断发现和解决潜在的安全问题，为构建更加安全、健康的AI数字环境贡献力量。

[招生]科锐逆向工程师培训(2024年11月15日实地，远程教学同时开班, 第51期)