一句话指挥声音：统一语音生成与编辑的开源基础模型 AuK

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

语音生成系统近年由传统 TTS 演进至零样本音色克隆、指令控制合成与日益灵活的语音编辑。然而在实际使用中，这些能力极少孤立出现：用户可能要求以某种描述风格合成语音、替换话语中的某一段、改变情绪或口音、插入非言语发声、分离某位说话人，或修复退化音频。以各自独立的任务专用模型支撑此类请求，既割裂用户体验，也重复了建模投入。

作者明确指出统一化面临三重挑战：(1) 输出约束根本不同 —— 生成创造新语音，内容编辑仅改动选定区域，副语言与声学编辑必须保持语言内容不变，增强或分离则须仅保留指令指定的场景成分；(2) 条件接口不同 —— 部分任务仅依赖文本，另一些需对指令与源/参考音频联合推理；(3) 监督与评测异质 —— 识别准确率与说话人相似度为生成提供了可扩展信号，而开放式编辑还依赖自然度、编辑强度、语境恰当性以及未指定属性是否被保留的主观判断。

作者据此提出 AuK：以自然语言指令 + 可选音频上下文 → 目标波形为共同接口，覆盖语音生成、低层声学控制、副语言变换、内容编辑与信号增强/分离。全部代码与模型权重开源。

I. Theoretical Framework & Hypotheses（理论框架与假设）

整体架构由三个职责互补的部件构成：MLLM 联合处理文本指令与音频上下文以产生多模态语义条件；预训练 VAE 将音频编码到保留细粒度声学信息的潜空间；FLUX 风格的 Transformer 骨干促进语义与声学条件的交互融合并预测目标声学潜变量。

语义条件：作者论证固定输出层未必是跨任务的最优条件，因不同深度捕捉互补的语言、声学与跨模态线索。逐层隐状态为 h^(ℓ) = MLLM^(ℓ)(t, E_aud(x_ref))（有参考音频时）或 MLLM^(ℓ)(t)（否则）。聚合为 c_sem = Σ_{ℓ=1}^{L} w_ℓ · LayerNorm(h^(ℓ))，w_ℓ 为无约束可学习标量，LayerNorm 用于跨层平衡尺度。

声学条件：VAE 将 24 kHz 波形映射为 50 Hz 的 64 维潜序列，归一化流在 VAE 训练中正则化潜分布。(μ_ref, log σ_ref) = E_enc(x_ref)，z_ref = μ_ref + ε ⊙ σ_ref。声学条件 c_ac = z_ref（有参考音频）或 ∅。

骨干条件映射：s⁽⁰⁾ = P_sem(c_sem)，a⁽⁰⁾ = [P_ref(c_ac); P_tgt(z_t)]。前 M 层双流 MMDiT 使用流特定的 Q/K/V 与残差投影，RoPE 按各流位置施加后再拼接注意力张量做联合注意力，从而实现双向语义–声学交互同时保留独立残差通路。后 N 层单流 DiT 拼接两流并预测流速度 v̂_t。两类块均在 RoPE 前施加 RMSNorm 式 QK-Norm，并以零初始化的时间条件 AdaLN 调制注意力与 SwiGLU 前馈网络。

训练目标为整流流匹配：z_t = (1−t)z₀ + t·z₁，v_t = z₁ − z₀，损失 L_FM = ‖m ⊙ (v̂_t − v_t)‖²₂ / Σᵢmᵢ（对有效非填充帧做掩码 MSE）。时间采样 t = σ(u)，u ~ N(−0.8, 0.8²)，偏向较小的 t（更接近高斯噪声端），同时保留全轨迹支撑。

M. Materials & Methods（材料与方法）

• 数据规模：约 30.3 亿条指令–音频实例，195 万小时有效音频监督，组织为五个任务族。
• 零样本 TTS 的免转写构造：对拥有 n 条不同话语的说话人，枚举全部 C(n,2) 个无序对，每条话语在一对中各充当一次声学提示与一次合成目标，得 n(n−1) 个双向训练实例。每个实例仅含提示语音与目标文本，从不提供提示的转写，因而推理时无需 ASR 即可从完整或随机裁剪的参考片段克隆音色。
• Instruct TTS 语料：由 Qwen3-Omni 为每条话语标注自由形式描述与结构化属性（性别、年龄、语速、清晰度、流利度、发声状态、语调、响度、音色、音高、口音、情绪、性格）。因不提供参考音频，模型须直接依描述设计嗓音。
• 骨干配置：30 层（10 MMDiT + 20 DiT），隐维 1536，24 头 × 头维 64，SwiGLU 中间维 3072，约 15 亿参数，采用 F5-TTS 的 RoPE 与卷积位置嵌入设计。
• 预训练课程：第一阶段仅生成任务训练 50k 步作为暖启动，建立稳定的文本–语音对齐；第二阶段自该检查点初始化，联合生成与编辑再训 600k 步。全程冻结 MLLM 与 VAE，仅更新骨干与层融合参数。
• 条件丢弃（分层）：先以概率 0.3 采样声学条件丢弃掩码；再独立以概率 0.2 采样无条件掩码，激活时覆盖前一决定并同时丢弃声学与语义条件。由此在同一目标下覆盖全条件、纯文本与无条件三种配置。参考增广：以概率 0.5 将零样本 TTS 参考裁剪至 [3s, 原长] 间均匀采样的时长。
• 任务混合比：语音生成 28.10%、内容编辑 23.02%、增强与分离 23.17%、副语言编辑 21.75%、声学编辑 3.96%。话语时长 1–35 秒，按长度分桶动态批处理；每加速器每微批至多 10,000 个 50 Hz 潜帧或 24 条话语；全局批至多 6,144 条话语，约合每优化步 14 小时音频。
• 优化：256 GPU，DeepSpeed ZeRO-2，bf16，无 CPU offload；梯度全局范数裁剪 1.0；fused AdamW β=(0.9, 0.95)，峰值学习率 1×10⁻⁴，前 2,000 步线性预热后恒定；100 步后启用 EMA（衰减 0.9999，每 10 步刷新），以 EMA 检查点评测与发布。
• 后训练 A · 编辑偏好优化：每条编辑指令采样 10 或 20 个候选，标注者按三级序数量表 s ∈ {0,1,2}（失败/部分完成/成功）评分；全部候选同评级的组被丢弃（无偏好信号）。过滤后得 818 个信息组、9,080 个评分候选。采用 Diffusion-DPO 式隐式偏好分数——尽管候选来自独立噪声轨迹，DPO 损失以共享的 z₀ 与 t 在组内重新评估候选，从而隔离出可归因于候选目标潜变量的差异。以 LiPO 列表式序数目标优化，标签平滑逻辑损失 ε = 0.05；两级归约（先关系内平均，再跨关系按置信权重合并），ω(2≻0) = 1、其余关系权重 0.5，使各组贡献仅依赖 ω_q 而与偏好对数量及组规模无关。训练 104 步。
• 后训练 B · 生成强化学习：冻结提示池 10,000 条零样本提示（中英各 5,000），参考按 1–4s / 4–8s / 8–15s 分层；依 FlowTTS-GRPO 加入含局部重复、稀疏多词重复、整句重复的困难文本。指令 TTS 侧先诊断基座模型的逐维风格一致性，刻意过采样最弱维度，另建 5,000 条提示池。采用 Flow-GRPO 将采样重构为具有相同边缘分布的 SDE；依 MixGRPO 将随机采样与梯度计算限制在轨迹前半段低信噪比区的连续六步窗口，其余步用确定性 ODE 更新以控制方差与开销。目标为 GRPO 裁剪形式加朝向冻结参考策略的 KL 惩罚。
• 奖励设计与抗作弊：内容侧区分宽容错误率 E 与严格错误率 E^s（中文同音字替换不代表发音失败）：宽容率决定候选是否算完全正确，严格率在已通过者中提供细粒度排序，并与目标文本负对数似然融合为 R_content = (1−γ)(1 + 4e^{−E^s/τ}) + γ(1 + 4e^{−NLL})。说话人相似度 R_spk = cos(ψ(y_i), ψ(y_ref))。关键约束：R_content 在全组标准化，而 R_spk 仅在满足 E_i = 0 的候选间标准化，以阻断「高音色相似度补偿错误内容」这一加权奖励融合中的常见 reward hacking 路径。风格侧以 3 万条 1:1 平衡正负样本训练基于 Qwen2.5-Omni-7B 的多模态奖励模型，查询 V 次多数投票。
• RL 超参：自编辑偏好检查点初始化，每提示 G = 16 候选，训练 500 步；rollout 用 500 采样步、CFG 2.0、sway 系数 −1.0、λ = 0.7；AdamW（β=(0.9,0.95)，权重衰减 10⁻⁴），学习率 5×10⁻⁵；β_KL 初始 0.12，朝目标 KL 10⁻³ 在 [0.08, 0.5] 内按比例调整。
• 加速（两阶段蒸馏）：(1) 一致性初始化——学生自教师初始化，在教师引导下做轨迹级一致性蒸馏，训练 500 步，教师目标用 CFG 引导尺度 2.0。(2) 任务路由 Decoupled DMD——将学生更新拆为 CFG 增广（CA，迁移教师条件引导）与分布匹配（DM）两个分量，二者在独立重加噪的学生预测上评估。因直接使用教师 CFG 目标会使少步学生暴露于过饱和预测并产生 overshoot 与可闻削波，CA 分支改用 APG（自适应投影引导，尺度 4.0，η = 0）。任务路由：作者观察到统一施加 Decoupled DMD 会劣化多说话人与人声分离，学生输出退回未处理混合音；归因为分布失配——重加噪的错误分离输出落在教师训练分布之外，致教师场偏好「整体可信但分离不足」的音频。故将分离样本路由至监督式干净预测目标并从 DMD 更新两侧一并排除。训练 256 GPU，恒定学习率 10⁻⁵，2,500 次学生更新，每次学生更新配 5 次伪分数更新，未引入任何对抗判别器或对抗损失。

R. Results（结果）

VAE 重建（三领域全指标最优）

• R1 · 零样本 TTS（Seed-TTS-Eval）：AuK 取得最低平均识别错误 2.65% 与最高平均 SIM 0.795。相较错误率最强基线 Qwen3-TTS 由 3.07% 降至 2.65%；相较 SIM 最强基线 Seed-TTS 由 0.778 升至 0.795。该结果的意义在于两项通常此消彼长的指标被同时超越。分项：test-en 取得最低 WER 1.02%；test-zh-hard 取得最低识别错误 5.91%；AuK-Flash 在 test-zh-hard 上取得最高 SIM 0.784。
• R2 · 加速版保真：AuK-Flash 平均识别错误 2.85%、SIM 0.790，与完整模型差距很小，而实现 4 步、CFG-free 推理，在匹配条件下相对 32-NFE 教师取得 4.5× 墙钟加速。
• R3 · 指令 TTS（InstructTTSEval）：DSD 分项中文准确率 83.37%，超出 Qwen3-TTS-VD 2.27 个百分点；AuK-Flash 英文 DSD 达 82.40%，与 Qwen3-TTS-VD 并列最佳。完整模型在三项中文指标上全面优于 Flash，Flash 的主要优势在英文 DSD。
• R4 · 通用语音编辑（MMAE-Speech）：IFR（指令遵循细则平均成功率）48.23%、CR（与所请求编辑无关属性的一致性）88.11%，均为最高。相较此前 IFR 与 CR 最强基线 Step-Audio-EditX，两项分别提升 4.71 与 10.84 个百分点。CR 的大幅提升尤为关键——它度量的是模型的「克制力」，即未被要求改动的属性是否被保全。
• R5 · 严格全通过率：EMR（同时满足全部指令遵循与一致性细则的样本占比）由 Ming-UniAudio 的 7.04% 提升至 AuK-Flash 的 13.85%（近乎翻倍）。作者据此指出完整模型在平均指令遵循与保留上更优，而 Flash 变体更频繁地同时满足全部细则。
• R6 · 信号级任务：在 DNS Challenge 2020 与 CHiME-4（增强）、Libri2Mix（双说话人分离）、VCTK-SR（超分辨）上保持竞争力——作者用词为 competitive 而非 leading，属实事求是的表述。

a / D. Discussion & Conclusion（讨论与结论）

• 范式定位：AuK 将语音领域由「任务专用模型」推进至「统一可提示基础模型」，与图像分割等领域已发生的可提示范式转移同构。其共同接口（自然语言指令 + 可选音频上下文 → 目标波形）使五类异质任务在同一组参数、同一个训练目标下共存，且代码与权重开源。
• 方法论贡献 · 按任务结构分设后训练路径：作者识别出生成与编辑在可测量性上的根本差异——生成有可靠的自动指标，编辑既无足够宽的偏好数据集也无现成奖励模型。据此为编辑收集人类反馈做流式偏好优化，为生成设计自动奖励做 Flow-GRPO。这种对问题结构的尊重优于套用统一对齐流程。
• 方法论贡献 · 结构性抗 reward hacking：R_spk 仅在内容完全正确的候选间标准化，以改变比较范围而非调节权重的方式封堵取巧路径。此类结构性约束通常比超参调优更稳健，且可迁移至其他多目标奖励融合场景。
• 方法论贡献 · 基于诊断的任务路由：面对蒸馏劣化分离能力，作者先归因（重加噪的错误分离输出落在教师分布之外，教师场因而偏好「整体可信但分离不足」的结果），再据因施策——将分离样本移出 DMD 更新两侧、改用监督式干净预测目标。诊断先于调参是此处的可迁移经验。
• 结果解读的分寸：作者在生成与通用编辑上称 leading，在信号级修复上称 competitive；完整版与 Flash 版在不同指标上互有胜负亦如实报告（Flash 的 EMR 与英文 DSD 更优）。这种分层表述提高了报告的可信度。
• 性质定位（评注）：本文为技术报告，其价值在系统性工程整合与规模化验证。所用组件——整流流匹配、MMDiT/DiT 混合骨干、Diffusion-DPO、LiPO、Flow-GRPO、MixGRPO、Decoupled DMD、APG——多有各自来源且被逐一引注。原创性主要体现于统一接口设计、五任务族的组织方式、免转写的零样本数据构造，以及针对具体失效模式的若干关键改造，而非单点全新算法。
• 工程可复现性：训练规模（256 GPU、195 万小时监督、650k 预训练步）对社区复现构成实质门槛；但作者开源代码与 EMA 权重，且 AuK-Flash 的 4 步 CFG-free 推理显著降低了使用侧成本。