Source: Slashdot
微软首席技术官 Kevin Scott 在 Sequoia Capital 的 Training Data podcast 采访中表示，他坚信所谓的大型语言模型（LLM）的'扩展法则'将继续推动人工智能进步，尽管领域内一些人对此持怀疑态度。Scott 在促成了微软与 OpenAI 之间价值 130 亿美元的技术共享协议中扮演了关键角色。
他说:'不管别人怎么想，我们不会在规模扩大上遇到递减边际回报。我尝试帮助人们理解这里是呈指数增长的，不幸的是你每隔几年才能参与其中一次，因为构建超级计算机然后在其上训练模型需要一定时间。
LLM的扩展法则是指 OpenAI 研究人员在2020年探索的模式，显示随着模型变得更大（参数更多）、训练数据更多以及计算能力更强（运算量更大），语言模型的性能往往能够可预测地提高。这些法则表明，简单地增加模型大小和训练数据量可能会显著提高人工智能能力，而不一定需要基本的算法突破。
自那时以来，其他研究人员认为随着时间推移不断存在的扩展法则的概念，但这一思想仍是 OpenAI 人工智能发展哲学的基石。Scott 的评论大约在第46分钟左右。
人工智能领域的发展永远充满着挑战与探索，或许'扩展法则'会为 AI 的未来带来更大的突破，我们拭目以待。
特别声明：本文及配图均为用户上传或者转载，本文仅代表作者个人观点和立场，不代表平台观点。其原创性以及文中陈述文字和内容未经本站证实，
对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本平台不作任何保证或承诺，请读者仅作参考，
并请自行核实相关内容。如发现稿件侵权，或作者不愿在本平台发布文章，请版权拥有者通知本平台处理。
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios)
posted above belong to the User who shared or the third-party website which the User shared from.
If you found your copyright have been infringed, please send a DMCA takedown notice to
info@microheadline.com
来源：https://slashdot.org/story/24/07/15/2032259/microsoft-cto-kevin-scott-thinks-llm-scaling-laws-will-hold-despite-criticism?utm_source=rss1.0mainlinkanon&utm_medium=feed
https://arstechnica.com/information-technology/2024/07/microsoft-cto-defies-critics-ai-progress-not-slowing-down-its-just-warming-up/
https://arstechnica.com/civis/threads/microsoft-cto-defies-critics-ai-progress-not-slowing-down-it%25E2%2580%2599s-just-warming-up.1501788/post-42989616
