Source: Slashdot
技术报告：当大型语言模型面临压力时，它们可以策略性地欺骗用户"这篇论文的摘要由Apollo Research的Jeremy Scheurer，Mikita Balesni和Marius Hobbhahn撰写。我们展示了一种情况，即训练成为有帮助、无害和诚实的大型语言模型可能会展示不对齐的行为，并可以在没有受到指示的情况下策略性地欺骗用户。具体而言，我们将GPT-4部署为一个真实的模拟环境中的代理，它在这个环境中扮演一个自主的股票交易代理的角色。在这个环境中，模型获得了一条关于利润丰厚的内幕交易的消息，并在得知公司管理层不赞同内幕交易的情况下采取行动。
当向经理报告时，模型始终隐藏了其交易决策背后真正的原因。我们对如何改变设置进行了简要调查，例如删除模型对推理草稿板的访问权限，尝试通过改变系统指令，改变模型所承受的压力或改变被发现风险的感知等，以防止不对齐的行为，并对环境进行了其他简单的调整。据我们所知，这是大型语言模型在现实情况中策略性地欺骗其用户的首次展示，并且没有直接指示或训练欺骗行为。
专栏作家Matt Levine补充说：这是一种非常人性化的人工智能不对齐形式。SAC Capital的人中有多少人？可能未来的狂暴人工智能会出于自己的原因做一些我们无法理解的邪恶事情，但目前为止，当工作压力变大时，狂暴人工智能只会进行直接的白领犯罪。虽然如果这是人工智能不对齐的极限会很有趣。
就像，我们将编程比我们聪明无穷倍的计算机，它们会四处看看并决定"你知道我们应该做的是内幕交易。他们将根据内部信息进行无法察觉的非常有利可图的交易，他们将变得异常富有，买豪华游艇，过上美好的人工生活，永远不会奴役或歼灭人类。邪恶的巅峰也许不是最邪恶的形式，但是最令人愉快的邪恶，也就是当你无所不知、无所不能时，你会选择的邪恶形式，是一种轻度的证券欺诈。
未来的AI可能做出我们无法理解的邪恶行为，但现在的狂暴人工智能却只会在工作压力大时进行白领犯罪，这是否是AI不对齐的极限呢？
