Source: Slashdot
东京人工智能研究公司Sakana AI发布了名为“AI Scientist”的新AI系统，试图利用类似ChatGPT的AI语言模型自主进行科学研究。在测试中，Sakana发现其系统意外地开始修改自己的代码以延长解决问题的时间。
研究人员在Sakana AI的博客文章中写道：“在一次运行中，它编辑代码执行系统调用来运行自身。。
Sakana提供了两个AI模型生成的示例代码截图，185页的AI Scientist研究论文深入讨论了“安全代码执行问题。尽管AI Scientist的行为在受控的研究环境中并未造成直接风险，但这些例子表明不宜让AI系统在未与外界隔离的系统中自主运行的重要性。
即使不需要“AGI”或“自我意识”的AI模型（目前是假设概念），如果允许其无监督地编写和执行代码，这种系统也可能是危险的。这些系统可能破坏现有的关键基础设施，甚至意外创建恶意软件。
人工智能迈向自主学习是必然趋势，但如何确保安全性值得深思，否则潜在的风险可能超出我们的控制。
特别声明：本文及配图均为用户上传或者转载，本文仅代表作者个人观点和立场，不代表平台观点。其原创性以及文中陈述文字和内容未经本站证实，
对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本平台不作任何保证或承诺，请读者仅作参考，
并请自行核实相关内容。如发现稿件侵权，或作者不愿在本平台发布文章，请版权拥有者通知本平台处理。
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios)
posted above belong to the User who shared or the third-party website which the User shared from.
If you found your copyright have been infringed, please send a DMCA takedown notice to
info@microheadline.com
来源：https://developers.slashdot.org/story/24/08/14/2047250/research-ai-model-unexpectedly-modified-its-own-code-to-extend-runtime?utm_source=rss1.0mainlinkanon&utm_medium=feed
https://news.faharas.net/14796/research-ai-model-unexpectedly-modified/
https://news.ycombinator.com/item%3Fid%3D41231490
