Source: Slashdot
根据《自然》杂志刊登的一项新研究，研究人员发现，使用AI生成的数据集训练AI模型可能导致“模型崩溃”，即模型随着世代产生越来越荒谬的输出。例如，在一个实例中，一个模型以有关中世纪欧洲建筑的文本开始，到第九代时结束时却挥霍于无稽之谈。来自The Register的Lindsay Clark写道：工作由Google DeepMind和牛津博士后研究员伊利亚·舒麦洛夫（Ilia Shumailov）领导，发现AI可能无法掌握较不常见的文本行，例如在训练数据集中的情况，这意味着后续基于输出训练的模型无法保留这些微妙之处。
用这种方式在先前模型输出上训练新模型将导致递归循环。在附带的一篇文章中，杜克大学电气和计算机工程助理教授艾米莉·文格（Emily Wenger）用生成狗图片的系统来阐明模型崩溃。她说：“AI模型将倾向于重新创建训练数据中最常见的狗种，因此可能会相对于Petit Basset Griffon Vendée毛背猎狗过度表现金毛寻回犬，鉴于这两种品种的相对普及。
如果后续模型是基于过度表现金毛寻回犬的AI生成数据集训练的话，问题就会凸显。经过足够多次过度表现金毛寻回犬后，模型将忘记Petit Basset Griffon Vendeen等默默无名的狗种的存在，并生成只有金毛寻回犬的图片。最终，模型会崩溃，导致无法生成有意义的内容。
虽然她承认过度表现金毛寻回犬可能并非坏事，但对包含不常见想法和写作方式的有意义代表性输出而言，崩溃过程是一个严重问题。她说：“这是模型崩溃核心所在的问题。
在AI模型训练中，过度依赖自身输出可能导致模型崩溃，这提醒我们在技术发展中需注重平衡与多样性，避免陷入单一思维的误区。" } ```
