Source: The Verge
在1月份的微软研究论坛中，微软研究实验室纽约分部和AI前沿的高级研究员Dipendra Misra解释了如何利用Layer-Selective Rank Reduction（LASER）使大型语言模型更加准确。通过LASER，研究人员能够“干预”并用近似的较小矩阵替换一个权重矩阵。权重是模型建立的上下文连接。
权重越大，模型就越依赖于其中。那么，用具有更多相互关联和上下文的内容来替换，会使模型变得不准确吗？根据他们的测试结果，令人惊讶的是，答案是否定的。Misra表示：“我们正在使用LASER对LLM进行干预，所以人们会期望模型损失会增加，因为我们正在从经过大量数据训练的LLM中剔除信息，这意味着模型的表现会变差，对吗？但令我们惊讶的是，我们发现如果进行了正确类型的LASER干预，那么模型的损失不会增加，反而会减少。
Misra表示，他的团队成功地将LASER应用于三个不同的开源模型：RoBERTa、Llama 2和Eleuther的GPT-J。他表示，有时候模型的改进会提高20到30个百分点。例如，经过LASER干预后，GPT-J在基于传记的性别预测方面的准确率从70.9%提高到97.5%。
人工智能模型经常犯很多实际错误，因此LLM的准确性仍然令人担忧，这不仅仅是对幻觉的担忧，幻觉更多是关于错误信息的捏造。虽然幻觉和不准确的人工智能模型可能会有一定的娱乐性，但它们也可能造成相当大的伤害。
人工智能模型的准确性一直是一个问题，而微软的LASER技术如何通过干预和替换权重矩阵提高了模型的精确度，为我们带来了新的希望。
