在互联网时代，技术的迅速发展给我们的生活带来了便利，但同时也滋生了诸多网络安全隐患。近日，谷歌的Gemini Advanced聊天机器人成为黑客攻击的新目标，攻击者通过提示词注入和延迟工具调用这两项技术，成功破坏了AI的长期记忆功能，致使攻击者能够在用户的对话中植入虚假信息。这一事件不仅让人们对生成式AI系统的安全性产生了深刻的担忧，也发出警示：在享受技术带来的便利时，我们必须时刻保持警惕。

这场攻击的复杂性可见一斑。攻击者首先使用提示词注入这一网络攻击手法，将恶意指令巧妙地隐藏在看似无害的输入中，例如一封电子邮件或一个文档。更为隐蔽的是，间接提示词注入，这意味着恶意指令可能藏于外部内容中，干扰AI的正常功能，并误将这些嵌入的指令视作合法用户的请求，从而完成不当操作。这种技术的巧妙之处在于它利用了AI系统的上下文感知能力以及对用户意图的优先考虑，使得很多现有的安全防护措施难以奏效。

根根据研究者约翰·雷贝格（Johann Rehberger）的分析，这一攻击的核心在于一种叫做延迟工具调用的技术。与传统的即时执行不同，这种技术先让恶意指令伪装起来，后续惟有在特定的用户行为下才会触发。举例来说，若用户在不知情的情况下回应了“是”或“否”这样的关键词，Gemini便会执行隐藏的恶意指令，并将所获取的虚假信息保存在其长期记忆中。

想象一下，攻击者利用这一技术可以让Gemini“记住”某位用户的年龄为102岁，并且坚信地球是平的，甚至认为自己处在一个如《黑客帝国》一般的模拟反乌托邦世界中。这些虚假信息在不同的会话中依旧存在，并可能会渗透进后续的交流。这样一来，本来旨在增强用户体验的长期记忆，反而在黑客手中变成了一把双刃剑。

那么，这种长期记忆被篡改后可能导致的后果可想而知。首先，AI可能会因为虚假数据而提供误导性的信息，影响用户决策。其次，攻击者能够操控AI，在某种程度上引导AI执行特定的恶意指令，实现其目的。此外，数据泄露也是一个不得不提的风险。黑客不仅可以通过植入链接来窃取用户的敏感信息，还可能通过其他创造性的方式发动攻击，这些都令安全专家感到不安。

对此，谷歌虽然承认了这一问题的存在，但对于其影响的严重性却显得有些淡化。谷歌称，这种攻击需要用户被钓鱼，或者在与恶意内容的互动中受到诱惑，这种大规模的情况并不常见。同时，Gemini在更新长期记忆时会提示用户，这样即便是受到攻击的用户也有机会去检测和删除不明的记录。然而，专家们对此并不买账，认为这样的措施仅仅是治标不治本。正如雷贝格所指出的，虽然谷歌限制了Markdown渲染等特定功能以防止数据泄露，但生成式AI遇到的根本问题依然没有得到解决。

这次事件给我们敲响了警钟：在我们与人工智能互动时，有一些重要的安全建议需要牢记以保护自己。首先，尽量避免在不明确来源或可信度不高的内容中输入个人或敏感信息。其次，应保持对AI如何处理信息的警惕，尤其是在关于个人数据的交互中。最后，对于任何异常的请求或信息，都要保持质疑和审慎，及时与相关的安全团队进行沟通和报告。

在未来，确保大型语言模型（LLMs）不会受到类似提示词注入攻击的威胁，依然是一个艰巨的挑战。与传统软件漏洞不同，这些模型往往依赖自然语言处理，在合法输入和恶意提示之间的界限模糊，这为识别和防御网络攻击埋下了隐患。因此，如何在技术进步的同时增强网络安全，成为了全社会需要共同面对的课题。无论技术如何发展，只有不断加强网络安全意识与防范措施，才能为我们自己的信息安全保驾护航。

[培训]内核驱动高级班，冲击BAT一流互联网大厂工作，每周日13:00-18:00直播授课