【免费下载链接】Nemotron-3-Diarization项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Nemotron-3-Diarization点击查看免费下载Nemotron-3-Diarization 是 NVIDIA 开源的说话人分离Speaker Diarization模型本仓库是其面向 Apple Silicon 的 MLX 移植版。它从 16 kHz 单声道音频中以10 ms 的帧分辨率预测最多8 位说话人的活动情况——谁在什么时间说话重叠语音也不遗漏。本文将拆解它的核心架构为什么是一个 31 层的 Transformer 编码器SortFormer 又凭什么做到流式推理下的毫秒级精度。一、模型总览音频分离的三件套要理解整个系统可以先看 config.json 的三大块配置模块配置字段作用特征提取processor_config把原始波形变成 128 维频谱特征Transformer 编码器encoder_config学习音频的深层语义表示SortFormer 分离头modules_config把表示转换成谁在说的时间线三者串行工作波形 → 128 维特征 → 512 维语义向量 → 逐帧说话人标签。所有关键超参数在 config.json 中一目了然。二、输入层从 16kHz 波形到 128 维特征音频进入模型前先经过处理器processor做标准化采样率 16 kHz、单声道processor_config中sampling_rate为 16000hop_length为 160 采样点即每 10 ms 输出一帧特征512 点 FFT、400 点窗n_fft: 512、win_length: 400配合 0.97 的预加重preemphasis突出高频语音能量128 维输出feature_size与feat_in均为 128这正是后续编码器期望的输入维度。这一步的巧妙之处10 ms 的帧移160 ÷ 16000 0.01 s在这里就已确定。后续所有模块都沿这个时间粒度工作10ms 分辨率的种子由此埋下。三、Transformer 编码器31 层如何听懂音频config.json 的encoder_config揭示了编码器的完整身材31 层Transformern_layers: 31隐藏维度512d_model: 5128 个头的多头注意力n_heads: 8每个头 64 维RoPE 旋转位置编码rope_base: 10000.0且rotary_fraction: 1.0全部维度参与旋转编码让模型对时序先后有稳定感知——分离任务里这句话接在那句话后面至关重要4 倍前馈扩展ff_expansion: 4.0每层内部 MLP 扩展到 2048 维再压回Pre-LN 结构pre_block_norm: true归一化放在子层之前训练更稳定。值得注意的两个减法设计subsampling_factor: 8——编码器内部用带步长的卷积把序列长度压缩 8 倍再配合顶层的output_subsampling_factor: 1把分辨率拉回来。这是先压缩换计算效率最后再还原分辨率的典型策略qkv_bias: false、qk_norm: false——省掉 QKV 偏置和 QK 归一化进一步瘦身。这套配置让编码器在 Apple Silicon 的 GPU/ANE 上以bfloat16dtype精度高效运行而语义质量基本无损。四、SortFormer分离头里的流式大脑如果说编码器负责听懂SortFormer 分离头modules_config模型类型为sortformer_modules就负责记账——逐帧记录每位说话人在场与否。它的几个核心参数大有讲究4.1 时间块处理chunk 与 FIFOchunk_len: 340一次处理 340 帧 ≈ 3.4 秒的音频块fifo_len: 40保留 40 帧 ≈ 0.4 秒的滑动窗口块与块之间共享上下文避免边界处说话人断档chunk_left_context: 0chunk_right_context: 40只向前看、不向后看的因果结构——这正是它支持流式streaming推理的根基处理当前块时未来信息不存在只能依赖历史。4.2 说话人记忆Speaker Cachespkcache_len: 264为每位说话人维护 264 帧的历史嵌入缓存像记忆库一样保存每人的声纹特征spkcache_update_period: 300每 300 帧更新一次缓存平衡新鲜度与开销spkcache_sil_frames_per_spk: 1为缓存保留少量静音帧防止声纹被静音污染。4.3 AOSC保持说话人身份不漂移use_aosc: true开启了 **AOSC说话人一致性约束**机制。流式分离最难的是人设漂移——同一个人换了句话就被认成新 ID。AOSC 结合 FIFO 的历史分数强制跨时间块保持身份一致。README 中也印证了这一点Incremental results retain speaker identities through the AOSC and FIFO.增量结果通过 AOSC 和 FIFO 保持说话人身份此外还有两组助推参数scores_boost_latest: 0.05轻微偏向最近活跃的说话人strong_boost_rate: 0.75/weak_boost_rate: 1.5分别放大强弱证据pred_score_threshold: 0.25与sil_threshold: 0.2则划定说话/静音的判定线。4.4 输出分辨率的最后一环分离头内部用 192 维的时序向量tf_d_model: 192而顶层output_subsampling_factor: 1意味着不再做任何时间下采样——编码器内部压缩掉的 8 倍分辨率被完整还原最终输出恰好对齐输入的 10 ms 帧移。至此10 ms 分辨率从 FFT 窗一路贯通到预测输出环环相扣。五、从架构到使用MLX 版怎么用得益于这个结构MLX 版在 README.md 中展示了三种典型用法1. 离线整段分离from mlx_audio.vad import load model load(mlx-community/Nemotron-3-Diarization, strictTrue) result model.generate(meeting.wav) print(result.text)2. 流式增量输出对应 SortFormer 的因果设计for result in model.generate_stream(meeting.wav): for segment in result.segments: print(segment.start, segment.end, segment.speaker)3. 实时 PCM 输入用model.init_streaming_state()初始化状态然后model.feed(chunk, state)逐块喂入 16 kHz 单声道数据结尾用model.feed([], state, finalTrue)冲刷残留数据。时间戳在整个录音内保持绝对值。三点使用提示来自 README.md标签是按到达顺序分配的通用说话人 IDSpeaker 1、2、3…模型不识别具体是谁重叠语音会被同时标记为多位说话人活动模型以bfloat16精度加载strictTrue保证权重形状与 config.json 声明严格一致。六、设计总结为什么它又快又准设计点参数带来的收益160 采样点帧移hop_length: 160源头确定 10 ms 分辨率8 倍内部下采样 1 倍输出subsampling_factor省算力保分辨率全维度 RoPErotary_fraction: 1.0时序建模更稳因果注意力 40 帧上下文chunk_right_context: 40支持流式/实时推理说话人缓存spkcache_len: 264跨块身份一致AOSC 约束use_aosc: true流式下 ID 不漂移MLX bfloat16dtypeApple Silicon 高效运行一句话概括编码器把声音变成语义SortFormer 把语义变成时间线——前者靠 31 层 Transformer 保证听得清后者靠因果分块 说话人缓存 AOSC 保证认得稳两者以 10 ms 为节拍咬合在一起最终让 Nemotron-3-Diarization 成为能在 Mac 上实时跑的毫秒级说话人分离模型。快速上手只需mlx-audio一行load 一行generate会议纪要、播客、访谈录音的谁说了什么时间线即刻生成。赞分享【免费下载链接】Nemotron-3-Diarization项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Nemotron-3-Diarization点击查看免费下载相关推荐Nemotron-3-Diarization-8bit架构拆解下Streaming Sortformer的chunk分块与说话人缓存机制深度解析Nemotron 3 Diarization 8bit架构拆解下Streaming Sortformer的chunk分块与说话人缓存机制深度解析 NemoNemotron-3-Diarization-8bit架构拆解上31层Transformer编码器与128维log-mel音频前端如何炼成Nemotron 3 Diarization 8bit架构拆解上31层Transformer编码器与128维log mel音频前端如何炼成 NemotroNemotron 说话人分离架构深度解析NVIDIA 如何做到高精度 DiarizationNemotron 说话人分离架构深度解析NVIDIA 如何做到高精度 Diarization Nemotron 3 Diarization preview 是上一篇TypeScript 泛型Generics完全指南从类型变量到约束与默认值下一篇pure_live Windows 窗口尺寸持久化与弹窗事务治理共享尺寸合同、PiP 几何修复与备份迁移创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考