小米开源MiMo-Embodied
举报小米正式开源全球首个融合自动驾驶与具身智能的统一基座模型——MiMo-Embodied。该模型由小米汽车陈龙团队研发,旨在突破自动驾驶与机器人具身操作之间的知识迁移壁垒,实现两大技术领域的深度协同与能力复用。不同于传统单一任务模型,MiMo-Embodied构建了跨场景、跨模态的通用感知与决策架构,可同时支撑车辆在复杂道路环境中的智能驾驶,以及服务机器人在真实物理空间中的交互与操作。这一开源成果标志着具身智能与智能驾驶正加速走向技术融合,为行业提供兼具泛化性与实用性的新型基础模型范式,也展现了中国企业在前沿AI基础模型领域的创新实力与开放态度。

MiMo-Embodied依托MiMo-VL多模态基础架构,融合通用视觉理解、具身交互任务与真实驾驶场景,构建了覆盖广泛、标注精准的高质量训练数据集。其训练过程采用渐进式四阶段策略,有机整合思维链推理与强化学习机制,在提升模型泛化能力的同时,显著弥合了室内操作与户外自动驾驶之间的领域差异。实际评测表明,该模型在自动驾驶与具身智能两大方向共29项权威基准测试中全面领先,不仅超越各类专用模型,也大幅优于当前主流通用多模态模型,整体性能达到跨领域最先进水平。

无论是智能驾驶中的环境感知与路径规划,还是服务机器人在室内的物体抓取与自主导航,小米均致力于实现全面覆盖与深度融合——具身智能与智能驾驶,二者兼得。当前视觉语言模型(VLM)在具身智能与自动驾驶两大方向上普遍面临结构性局限:一方面,尚无真正统一的具身型视觉语言模型(Unified Embodied VLM)。主流VLM多聚焦于单一场景——或专精室内操作任务,或仅适配户外道路驾驶,缺乏贯通室内外物理空间、融合多模态交互能力的通用架构,导致模型难以在动态真实环境中实现连贯、鲁棒的具身决策与执行。另一方面,两类任务间存在显著领域鸿沟:室内具身强调精细操控、近距离交互与非结构化环境适应;而自动驾驶则侧重长程感知、交通规则理解与高速动态响应,能力难以自然迁移。此外,业内亦缺乏一套科学、系统、可量化的跨领域评估体系,无法客观衡量模型在双场景下的综合具身表现。为突破上述瓶颈,MiMo-Embodied项目创新性地将自动驾驶与具身智能的核心任务统一建模,构建具备泛化感知、联合推理与协同控制能力的一体化视觉语言模型,推动具身智能向更广域、更真实、更自主的方向演进。

所示,MiMo-Embodied架构包含三个核心组成部分。
通过无缝融合视觉与文本模态,MiMo-Embodied显著提升了在多样化多模态推理任务及实际应用中的综合能力。为实现跨模态、跨领域的统一建模能力,研究设计了一套系统化的数据构建方法,并采用分阶段训练策略,逐步提升模型的泛化性与鲁棒性。

训练数据涵盖三大领域:通用多模态理解、具身智能(含功能预测、任务规划与空间认知),以及自动驾驶(包括环境感知、行为预测与路径规划),形成全面的多模态数据支撑体系。










