Source: Slashdot
周四,《注册》报道称,几家大公司已经发布了包含先前被生成式人工智能产生幻觉的软件包的源代码。不仅如此,有人发现了这种经常出现的幻觉,已经将虚构的依赖关系变成了真实的依赖关系,结果AI的错误建议导致开发人员下载并安装了数千次。
如果这个软件包中确实混入了恶意软件而不是单纯的测试,结果可能会是灾难性的。根据Lasso Security的安全研究员Bar Lanyado的说法,其中一家被AI愚弄进而整合这个软件包的公司是阿里巴巴,截至目前在GraphTranslator的安装说明中仍包含一个pip命令以下载Python软件包huggingface-cli。
虽然可以通过pip install -U“huggingface_hub[cli]”安装一个合法的huggingface-cli,但通过Python软件包索引(PyPI)分发的,阿里巴巴的GraphTranslator所需的huggingface-cli——通过pip install huggingface-cli 安装——是虚假的,是由AI想象出来的,并由Lanyado作为实验变成了真实存在。在去年12月创建了huggingface-cli之后,阿里巴巴在今年2月的GraphTranslator的README说明中提到了它,而不是真正的Hugging Face CLI工具…… huggingface-cli 在其三个月的上线时间内获得了超过15,000个真实下载……“此外,我们在GitHub上搜索,以确定是否在其他公司的代码库中使用了这个软件包,” Lanyado在他的实验报告中说道。
我们的调查结果显示,一些大公司要么使用或推荐这个软件包在他们的代码库中……” Lanyado还表示,Hugging Face拥有的一个项目曾整合了虚假的huggingface-cli,但在他向这家公司发出警告后被删除。根据Lanyado的说法,GPT-4生成的问题回答中有24.2%的幻觉软件包,其中19.6%是重复的……” 感谢长期一直关注Slashdot的读者schneidafunk分享了这篇文章。
人工智能误导,网络安全岌岌可危。" } ```