• 微头条

    让本地生活更美好

打开APP

人工智能幻觉的依赖关系 被网络安全研究员打造成概念性恶意软件

2024-03-30 科技汇总
人工智能幻觉的依赖关系 被网络安全研究员打造成概念性恶意软件

Source: Slashdot

周四,《注册》报道称,几家大公司已经发布了包含先前被生成式人工智能产生幻觉的软件包的源代码。不仅如此,有人发现了这种经常出现的幻觉,已经将虚构的依赖关系变成了真实的依赖关系,结果AI的错误建议导致开发人员下载并安装了数千次。

如果这个软件包中确实混入了恶意软件而不是单纯的测试,结果可能会是灾难性的。根据Lasso Security的安全研究员Bar Lanyado的说法,其中一家被AI愚弄进而整合这个软件包的公司是阿里巴巴,截至目前在GraphTranslator的安装说明中仍包含一个pip命令以下载Python软件包huggingface-cli。

虽然可以通过pip install -U“huggingface_hub[cli]”安装一个合法的huggingface-cli,但通过Python软件包索引(PyPI)分发的,阿里巴巴的GraphTranslator所需的huggingface-cli——通过pip install huggingface-cli 安装——是虚假的,是由AI想象出来的,并由Lanyado作为实验变成了真实存在。在去年12月创建了huggingface-cli之后,阿里巴巴在今年2月的GraphTranslator的README说明中提到了它,而不是真正的Hugging Face CLI工具…… huggingface-cli 在其三个月的上线时间内获得了超过15,000个真实下载……“此外,我们在GitHub上搜索,以确定是否在其他公司的代码库中使用了这个软件包,” Lanyado在他的实验报告中说道。

我们的调查结果显示,一些大公司要么使用或推荐这个软件包在他们的代码库中……” Lanyado还表示,Hugging Face拥有的一个项目曾整合了虚假的huggingface-cli,但在他向这家公司发出警告后被删除。根据Lanyado的说法,GPT-4生成的问题回答中有24.2%的幻觉软件包,其中19.6%是重复的……” 感谢长期一直关注Slashdot的读者schneidafunk分享了这篇文章。

人工智能误导,网络安全岌岌可危。" } ```

特别声明:本文及配图均为用户上传或者转载,本文仅代表作者个人观点和立场,不代表平台观点。其原创性以及文中陈述文字和内容未经本站证实, 对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本平台不作任何保证或承诺,请读者仅作参考, 并请自行核实相关内容。如发现稿件侵权,或作者不愿在本平台发布文章,请版权拥有者通知本平台处理。
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to info@microheadline.com
来源:https://it.slashdot.org/story/24/03/30/1744209/ai-hallucinated-a-dependency-so-a-cybersecurity-researcher-built-it-as-proof-of-concept-malware?utm_source=rss1.0mainlinkanon&utm_medium=feed https://www.scmagazine.com/news/ai-package-hallucination-malicious-code-developer-environments https://www.technewsworld.com/story/ai-hallucinations-can-become-an-enterprise-security-nightmare-178385.html
更多阅读