Source: Slashdot
安全专业人士Bruce Schneier认为大型语言模型与20世纪70年代的电话具有相同的漏洞，这些漏洞被John Draper所利用。Schneier在ACM通信中写道：\"数据和控制使用相同的通道\"，也就是说，告诉电话交换机要做什么的命令是通过与声音相同的路径发送的。其他形式的提示注入涉及LLM在其训练数据中接收恶意指令。另一个例子是在网页中隐藏秘密命令。任何处理电子邮件或网页的LLM应用程序都容易受到攻击。攻击者可以嵌入恶意命令在图像和视频中，因此任何处理这些内容的系统都容易受到攻击。任何与不受信任用户互动的LLM应用程序，例如嵌入在网站中的聊天机器人，都容易受到攻击。
一旦发现并公开了单个攻击，就很容易防止它们，但攻击的数量是无限的，没有办法将它们作为一类进行阻止。真正的问题在于与预SS7电话网络一样混合了数据和命令。只要数据（无论是训练数据、文本提示还是LLM的其他输入）与告诉LLM要做什么的命令混合在一起，系统就会容易受到攻击。但与电话系统不同的是，我们无法将LLM的数据与其命令分开。LLM的一个非常强大的功能是数据影响代码。我们希望系统在获得新的训练数据时修改其操作。我们希望根据我们给它的命令改变其工作方式。
LLM根据输入数据自我修改的事实是一项功能，而不是错误。这也是导致提示注入的主要原因。就像旧电话系统一样，防御措施可能是零散的。我们正在努力创建抵抗这些攻击的LLM。我们正在构建清理输入的系统，既通过识别已知的提示注入攻击，也通过训练其他LLM尝试识别这些攻击的外观。可以使用访问控制机制和其他互联网安全系统限制谁可以访问LLM以及LLM可以做什么。这将限制我们对它们的信任程度。
如果LLM电子邮件助手可以被诱使执行不应该执行的操作，您是否能够信任它？如果有人可以举着一个经过精心措辞的标志说服它不注意某个特定车牌，然后让它忘记它看到这个标志，您是否能够信任生成式AI交通检测视频系统？总有一天，一位AI研究者将会找到如何将数据和控制路径分开。但在那之前，我们必须仔细考虑在潜在对抗情况下（例如在互联网上）使用LLM的问题。Schneier敦促工程师权衡生成式AI的风险和带来的能力。将它们用于一切要比花时间弄清楚哪种专门的AI优化于任务更容易。但生成式AI带来了许多安全问题，如提示注入攻击和其他安全风险。我们需要更加微妙地看待AI系统、它们的用途、它们特有的风险以及成本与收益。
在利用AI技术的同时，我们也需要谨慎考虑其潜在的安全风险，保障数据和指令之间的分离可能是未来的发展方向。" } ```
