来源:澎湃新闻
澎湃新闻记者 喻琰
3月10日,上海机器人初创公司智元机器人正式发布智元启元大模型GenieOperator-1(GO-1),这是中国首个通用具身基座模型。智元机器人表示,这款模型具有泛化能力,能够在极少数据甚至零样本下泛化到新场景、新任务,降低了具身模型的使用门槛,降低了后训练成本。
据介绍,该模型开创性地提出了Vision-Language-Latent-Action(ViLLA)架构,实现了可以利用人类视频学习,完成小样本快速泛化。ViLLA架构是由VLM(多模态大模型) + MoE(混合专家)组成,其中VLM借助海量互联网图文数据获得通用场景感知和语言理解能力,MoE中的Latent Planner(隐式规划器)借助大量跨本体和人类操作数据获得通用的动作理解能力,MoE中的Action Expert(动作专家)借助百万真机数据获得精细的动作执行能力。在推理时,VLM(多模态大模型)、Latent Planner(隐式规划器)和Action Expert(动作专家)三者协同工作。目前智元启元大模型已成功部署到智元多款机器人本体。
具身智能(Embodied Intelligence),是指一种基于物理身体进行感知和行动的智能系统,其通过智能体与环境的交互获取信息、理解问题、做出决策并实现行动,从而产生智能行为和适应性。机器人便是具身智能的代表产品之一。实现具身智能,更强调机器人与物理世界的直接交互,需要处理视觉、听觉、触觉、运动等多种模态的数据,并将感知、决策和行动紧密结合。
2024年年底,智元机器人曾发布AgiBot World 百万真机数据集,尽管AgiBot World 数据集已经是目前最大的机器人真机示教数据集,但这样高质量带动作标签的真机数据量仍然有限,远少于互联网规模的数据集。为了解决具身智能数据困境,智元机器人此次采用Latent Actions(隐式动作)来建模当前帧和历史帧之间的隐式变化,然后通过Latent Planner(隐式规划器)预测这些Latent Actions(隐式动作),从而将异构数据源中真实世界的动作知识转移到通用操作任务中。
智元机器人表示,通过ViLLA 创新性架构,智元机器人在五种不同复杂度任务上测试 GO-1大模型,相比已有的最优模型,GO-1平均成功率提高了32%。其中在“Pour Water”(倒水)、“Table Bussing”(清理桌面) 和 “Restock Beverage”(补充饮料) 任务中表现突出。此外,GO-1大模型还可以搭配智元一整套数据回流系统,可以从实际执行遇到的问题数据中持续进化学习,“越用越聪明”。
北航机器人研究所名誉所长、中关村智友研究院院长王田苗此前在接受澎湃科技采访时提到,大模型对人形机器人的核心贡献在于实现类似人类的交互、推理和环境适应能力。然而,目前仍存在理论和技术挑战。比如,通用大模型在算法选择上,是监督学习、强化学习,还是端到端学习或者模拟学习,这些都在探索中。
智元机器人方表示,大语言模型是数字世界、单模态的,具身智能需要处理多模态物理世界的数据,包括图像、视频、传感器数据等。大模型对这些非文本数据的理解和处理能力有限,无法满足具身智能对多模态数据融合的需求。智元启元大模型采用的Vision-Language-Latent-Action(ViLLA)架构,能够更好地满足具身智能对多模态数据融合和物理世界交互的需求。
不过,一位向具身智能机器人提供基础场景数据和解决方案的从业人员认为,目前具身基座模型的“通用性”都有待验证,很难评价。在他看来,智元此次发布的大模型大概率是在其自产的机器人上搭载,其他机器人能用到什么程度还需要更多从业者去验证。