Source: Slashdot
BitEnergy AI公司研究人员开发了一种线性复杂度乘法(L-Mul)技术,通过将耗能较大的浮点乘法替换为简单的整数加法,最高可将AI模型功耗降低95%。这种方法在节能的同时不会影响准确性,但需专用硬件以充分发挥其优势。
L-Mul重新想象了AI模型的计算处理方式,使用加法代替复杂的浮点乘法,从而加快计算速度并降低能耗,同时保持精度。研究显示,应用L-Mul后,浮点张量乘法的能耗减少95%,点积能耗减少80%。
该算法在某些情况下的表现优于当前的8位标准,且仅有0.07%的平均性能下降,适用于自然语言处理、视觉任务和符号推理。虽然L-Mul在某些视觉任务上还显示出准确度提升,但其最大的缺点在于需要专用硬件,现有硬件尚未优化以全面利用此技术。
研究者们计划在硬件层面实现L-Mul和L-Matmul核算法,并开发高层模型设计的编程API。
在科技飞速发展的今天,如何在提高效率的同时节能减排,正是我们未来发展的重要方向。
特别声明:本文及配图均为用户上传或者转载,本文仅代表作者个人观点和立场,不代表平台观点。其原创性以及文中陈述文字和内容未经本站证实,
对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本平台不作任何保证或承诺,请读者仅作参考,
并请自行核实相关内容。如发现稿件侵权,或作者不愿在本平台发布文章,请版权拥有者通知本平台处理。
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios)
posted above belong to the User who shared or the third-party website which the User shared from.
If you found your copyright have been infringed, please send a DMCA takedown notice to
info@microheadline.com
来源:https://science.slashdot.org/story/24/10/08/2035247/researchers-claim-new-technique-slashes-ai-energy-use-by-95?utm_source=rss1.0mainlinkanon&utm_medium=feed
https://energycentral.com/c/ec/what-clean-energy-supporters-need-know-about-ai
https://www.computing.co.uk/news/4328647/researchers-claim-approach-llms-slash-ai-power-consumption