小米 MiMo-V2-TTS：赋予智能体有温度的“灵魂之声”

在智能体时代，AI不仅能看、能听、能行动，更需要具备表达的能力。小米自研的 MiMo-V2-TTS 大模型语音合成系统，正是为了这一目标而生。它不是一个被动的文本转语音引擎，而是一个能够理解情感、适应风格、甚至能唱歌的智能语音伙伴，让智能体从“执行指令”进化为“自然交流”。

核心能力：超越单调的语音表达

MiMo-V2-TTS 具备三大核心特性，使其在众多TTS系统中脱颖而出：

• 上下文情感感知： 自动从文本中捕捉情感线索，并匹配最自然的语气和节奏。例如，一句愤怒的质问会自然转为尖锐、短促的语调。
• 通用风格适应性： 从正式公告到日常闲聊，输出始终保持自然且符合语境。
• 实时无缝交互： 能够跟上智能体推理的速度，使对话流畅自然，毫无延迟感。

技术架构：海量数据与强化学习的结合

MiMo-V2-TTS 基于自研的 MiMo-Audio 音频分词器 和 多码本联合语音-文本建模架构。它经历了三个阶段的学习：

• 大规模预训练： 在超过1亿小时的语音数据上进行联合预训练，建立了强大的跨模态对齐能力。
• 高质量监督微调： 通过少量高质量数据微调，赋予模型可泛化的、任意粒度的风格控制能力。
• 多维强化学习： 在训练中引入强化学习，在保持稳定性的同时，持续优化韵律自然度、音频质量、发音准确度、声音克隆保真度以及语气的上下文适配性。

应用场景详解

1. 自然语言风格指令与语音控制

灵活的文本驱动风格定制： 告别“快乐、悲伤、愤怒”的下拉菜单。MiMo-V2-TTS 允许用户用自然语言描述想要的语音风格，例如：“刚睡醒，有点沙哑”、“充满爱意，语速很慢，像在说悄悄话”。模型会解析描述语义，并映射到对应的声学特征上。组合描述如“生气但努力保持冷静”也能被准确理解并生成。

多方言与角色扮演： 支持东北话、四川话、粤语、台湾腔等多种方言，甚至可以模仿孙悟空、林黛玉等经典角色的声音。只需简单描述，模型即可生成相应风格的语音。

2. 精细化的声学与非语言事件控制

真实的人类语音充满咳嗽、叹息、犹豫、吸气、紧张的笑声等副语言事件。MiMo-V2-TTS 能将这些事件作为语音输出的自然组成部分生成，而非后期拼接。它理解这些事件在语境中的位置和应有的声音效果，包括：

• 咳嗽与清嗓
• 有意义的停顿（用于思考或修辞强调）
• 犹豫填充词（“嗯…”、“呃…”）
• 叹息与深呼吸
• 笑声（从轻笑到突然爆笑）

这使得生成的语音极度逼真，充满生命力。

3. 高级文本理解能力

富文本理解： MiMo-V2-TTS 能够解读文本中的排版和格式线索作为韵律信号：

• 全大写字母 → 自动重读和强调（“THIS IS IMPORTANT”听起来更有力）
• 字符重复 → 映射为语音节奏和情感强度（“不不不不不”成为快速、强调的拒绝）
• 标点符号 → 塑造语调轮廓（问句上扬，感叹句有力，省略句渐弱）

从文本语境推断说话风格： 这是 MiMo-V2-TTS 最具变革性的能力之一。它可以根据文本内容自动推断出合适的说话风格，无需任何显式风格提示。例如：
– 问题自动使用升调。
– 愤怒的爆发自动转为尖锐、短促的语速。
– 温柔的告白自动放缓节奏、降低音量。
这源于语言模型骨干的深度语义理解——它不仅仅是“读”文本，而是“理解”情感脉络，并逐句调整表达方式。

4. 歌唱能力

MiMo-V2-TTS 在同一个统一模型中同时支持 语音合成 和 歌唱合成。据我们所知，这是目前唯一一个通过商业API原生支持说话和唱歌生成的TTS系统。无需切换模型，无需切换模式。从低声耳语到高歌副歌，同一个架构即可完成。这使得它在数字娱乐、虚拟偶像、教育内容创作等领域具有巨大潜力。

未来展望

MiMo-V2-TTS 是小米语音技术路线图上的重要里程碑，但远非终点。未来的路线图包括：

• 扩展语言覆盖范围： 超越中英文，支持更多语种。
• 与多模态能力深度融合： 与 MiMo-V2-Omni 的多模态理解能力结合，打造不仅能“看”和“理解”世界，还能用充满人性化的声音“讲述”世界的智能体。

智能体时代需要的不再仅仅是“可理解”的声音，而是“有生命力”的声音。MiMo-V2-TTS 正在打造这样的声音，让每一次交互都充满温度与灵魂。