AudioGPT 上手3 个模块给设备听诊从听到声音到分离信号【免费下载链接】AudioGPTAudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head项目地址: https://gitcode.com/gh_mirrors/au/AudioGPT夜班巡检时电机轴承磨损常会先发出一丝不易听出的咔哒声。靠人耳判断迟早会漏设备故障诊断正因此需要量化的手段。AudioGPT 是一套开源音频理解与生成工具包把声音检测、事件分类和信号分离做成了能直接调用的模块你可以用它把现场录音里的异常点找出来、标出时间再单独抽出来分析。 它到底能听出什么目标声音检测用一句话圈出异响出现在哪几秒混响、风噪里往往藏着真正的故障声。目标声音检测让你给一句自然语言描述模型就返回这段目标声音在音频里的起止时间等于直接拿到第几秒开始不对劲。它基于 TSDNet 实现代码在audio_detection/target_sound_detection/。图目标声音检测实操——给一段描述输出目标声音在音频中的出现时间范围音频事件分类实操一段录音里到底有哪些声音如果你先想知道整段音频里都有哪些事件音频事件分类更直接。audio_detection/audio_infer/下的推理脚本带 527 类预训练标签一次前向就能输出 top-10 类别和置信度再换个参数就能拿到逐帧结果画成带时间轴的可视化图方便你对着听。图音频事件检测界面对一段录音识别出语音与笑声等事件混音信号分离把目标信号从背景里抽出来诊断里最卡的一步是信号混在一起——电机和通风系统同时响你想单独分析哪一个。sound_extraction/目录下的 LASSNet 让你用文字描述要哪一段模型就会输出一段只含目标声音的干净音频后续分析就清爽了。图声音提取界面按文字描述从混合音频中提取特定事件并保存 从零跑通第一次诊断git clone https://gitcode.com/gh_mirrors/au/AudioGPT cd AudioGPT pip install -r requirements.txt bash download.sh装完依赖、下好模型后用仓库里的音频推理脚本audio_detection/audio_infer/pytorch/inference.py跑第一条命令它带两个子模式——audio_tagging整段分类和sound_event_detection逐帧检测都要求传--model_type、--checkpoint_path、--audio_path三个参数有 GPU 时加--cuda。微调训练走finetune_template.py这里先不展开。图推理输出的可视化结果频谱与事件置信度时间线对照查看 三个场景一张表设备类型典型故障可捕捉的声学特征电机轴承磨损、润滑不足周期性的咔哒撞击声、尖锐摩擦的持续高频泵浦系统气蚀、叶轮磨损气泡爆裂的噼啪声、低频嗡鸣的幅度变化齿轮箱断齿、啮合磨损啮合处的高频冲击脉冲、间歇性哒哒节奏️ 让结果更准的几条经验采样率先对齐模型推理脚本默认按 32000 Hz 处理别拿 8 kHz 的电话录音直接喂进去高频信息在重采样时就丢了。--fmax别留太低默认上限 14000 Hz 才盖得住摩擦、气蚀这类高频特征设太低尖锐的部分全被裁掉。环境噪声是头号干扰检测模块本身没有降噪开关录前先隔掉风机、空调这类背景声比事后补救省事得多。--model_type和--checkpoint_path要配套类型是models.py里的类检查点得是同一架构训出来的配错了直接报错。分两种输出看clip-level 只告诉你这段有什么frame-level 才告诉你哪一秒出现。做诊断优先看逐帧结果再配那张可视化图。 拿到项目之后下一步做什么换一组你现场设备的录音分别跑audio_tagging和sound_event_detection看模型能不能认出现实中的故障声。用目标声音检测 声音提取的组合把某段异响先定位、再分离出来听一遍干净信号确认故障类型。把 top-10 分类结果和逐帧置信度导出接到你现有的告警或日志系统里超过阈值就提醒。若预训练标签覆盖不到你的设备类别按finetune_template.py的思路准备标注数据把模型往你的场景上微调。从听到到定位再到分离AudioGPT 把设备故障诊断拆成了三条可直接调用的链路。去download.sh拉好模型挑一段手头的录音跑一次推理看看它认出了什么。【免费下载链接】AudioGPTAudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head项目地址: https://gitcode.com/gh_mirrors/au/AudioGPT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考