MiMo-V2-Omni

MiMo-V2-Omni 应用介绍：从感知到行动的智能体时代

MiMo-V2-Omni 是小米推出的新一代全模态基础模型，其核心定位是“看、听、行动”。它不再仅仅是一个处理文本的对话系统，而是一个能够感知多模态现实世界、并在此基础上执行复杂任务的智能体。该模型将图像、视频和音频编码器融合到一个共享的主干网络中，实现了统一的感知流，并原生支持结构化工具调用、函数执行和UI界面操作，使其能够无缝接入真实的智能体框架和编排系统。

一、 核心应用场景：超越文本框，进入真实世界

MiMo-V2-Omni 的应用场景覆盖了从数字世界到物理世界的广泛领域，包括但不限于：

• 机器人操控（遵循语音指令操作的机械臂）
• 数字智能体（执行多步骤软件工作流）
• 自动驾驶（融合实时传感器数据）

二、 感知能力：奠定行动基础的三大支柱

MiMo-V2-Omni 在图像、视频和音频理解方面表现出色，为后续行动提供了坚实的信息基础。

1. 图像理解：在复杂的图表分析（如CharXiv RQ基准）和多学科视觉推理（如MMMU-Pro基准）方面，MiMo-V2-Omni 超越了Claude Opus 4.6，性能接近Gemini 3等顶级闭源模型。

2. 视频理解：支持原生音视频联合输入，具备强大的态势感知和未来推理能力。它不仅能感知当前正在发生什么，还能预测接下来会发生什么，这是其“智能体”特性的关键。

3. 音频理解：在音频理解方面，MiMo-V2-Omni 超越了Gemini 3 Pro，被认为是目前最强的音频理解基础模型之一。其能力远超简单的语音转录，涵盖环境声音分类、多说话人分离、音视频联合推理，并能对超过10小时的连续音频进行深度理解。

三、 智能体能力：从预测到执行

MiMo-V2-Omni 的真正价值在于将感知转化为行动。其智能体能力在多个维度得到验证：

1. 多模态智能体：在MM-BrowserComp（网页浏览与信息检索）、OmniGAIA（多模态感知与推理）和Claw Eval（真实复杂交互）等基准测试中，MiMo-V2-Omni 表现出色，在多个核心指标上超越了Gemini 3 Pro和GPT 5.2。

2. 代码与文本智能体：在SWE-Bench Verified（真实世界Bug修复）和GDPVal（经济价值任务）等基准测试中，MiMo-V2-Omni 取得了与业界最强推理模型相当的结果，证明了其统一架构在处理智能体任务时没有性能损失。

四、 典型应用案例详解

案例一：自动驾驶的“视觉大脑”

MiMo-V2-Omni 被用于分析车辆行驶中的行车记录仪视频，实时识别潜在风险。它不仅能检测静态物体，还能预测动态风险，例如：

• 在环岛入口处预测车辆是否会并入本车道。
• 识别远处骑行者并跟踪其运动矢量。
• 发现因视线盲区而可能发生碰撞的交叉路口。
• 分析狭窄街道上的“隧道视觉”盲区，预测行人或车辆突然出现。

案例二：跨模态理解与创意分析

通过分析电影片段，MiMo-V2-Omni 展示了其跨模态理解能力。它能将声音（如咀嚼声、水流声）与画面（如母亲做家务）联系起来，并理解其背后的情感和叙事逻辑。例如，它将母亲折断芹菜的声音解读为“熊猫吃竹子”，将水果滚落楼梯解读为“泥石流”，展现了从感官输入到深层语义理解的飞跃。

案例三：超长音频理解

MiMo-V2-Omni 能够一次性处理超过7小时的播客音频，无需分段或中间摘要。它能提取出访谈中的关键主题、逻辑线索和人物观点，例如从一次马拉松式访谈中总结出受访者从学术界转向创业、对“世界模型”与“文字模型”的批判性看法以及其研究哲学。

五、 综合应用演示：从浏览到下单的全流程智能体

在一个综合演示中，MiMo-V2-Omni 与开源智能体框架OpenClaw集成，完成了一个复杂的跨平台任务：

任务：为一名喜欢旅行摄影的学生推荐并购买一款小米17手机，并尝试讨价还价。

执行过程：

1. 信息搜集：模型控制浏览器，在社交媒体平台“小红书”上扫描了十多个帖子，收集社区意见并形成购买建议。
2. 价格比较：切换到电商平台“京东”，对比多个卖家的价格。
3. 智能谈判：通过自然语言与客服聊天，尝试协商折扣。
4. 完成交易：最终自主完成添加购物车和结账流程。

在整个过程中，模型自主处理了非标准DOM结构、多标签页上下文管理以及平台反自动化机制的干扰，全程无需人工干预。

六、 未来展望：从分钟级规划到长期目标

MiMo-V2-Omni 是一个重要的里程碑，但并非终点。其未来的发展路线图包括：

• 更长周期规划：从几分钟的规划扩展到数小时甚至数天的连贯任务执行。
• 实时流感知：从处理片段发展到处理实时数据流，以适应物理世界中的具身系统。
• 多智能体协作：多个MiMo-V2-Omni实例协同工作，分解复杂目标并协调行动。
• 具身智能：从通过浏览器和终端行动，发展到通过机器人实体直接重塑物理世界。

MiMo-V2-Omni 代表了从“理解世界”到“在世界中行动”的关键一步，是通往通用人工智能道路上的一次重要实践。