科技汇总
来自苹果公司的人工智能科学家发布的一份新论文显示，基于大型语言模型（如Meta和OpenAI的模型）的引擎仍然缺乏基本的推理能力。他们提出了一个新的基准测试GSM-Symbolic，以帮助其他人衡量各种大型语言模型的推理能力。 初步测试发现，查询表述的微小变化会导致显著不同的答案，从而削弱了模型的可靠性。研究调查了数学推理的“脆弱性”，通过添加人类能够理解的上下文信息，但这些信息不应影响解决方案的基本数学。 结果显示，即使是添加一句看似相关的信息，也会将最终答案的准确性降低至65%。研究总结指出：“在这个基础上根本无法构建可靠的代理，改变一两个无关的词或添加几条无关的信息都会导致不同的答案。 研究强调，语言模型中并不存在正式的推理能力，其行为更多是复杂模式匹配的结果。
