Waymo正在推进其自动驾驶技术,采用了一种基于Google多模态大语言模型Gemini的新训练模型,将其应用于自动驾驶出租车。这项名为EMMA的新模型处理传感器数据,以生成“自动驾驶车辆的未来轨迹”,帮助无驾驶员车辆作出行驶决策并规避障碍。 Waymo的研究论文指出,长久以来,自动驾驶系统采用特定的“模块”来处理不同功能,但这种方法由于模块之间的错误累积和沟通有限而在扩展时遭遇困难。 Waymo认为,像Gemini这样的多模态大语言模型为这些挑战提供了有趣的解决方案。 尽管EMMA在帮助自动驾驶车应对复杂环境时表现良好,但Waymo也承认在实际应用之前需要进行更多研究,以解决3D传感器输入处理的计算成本和图像帧处理量等限制。