【免费下载链接】Qwen3.5-35B-A3B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-35B-A3B-singprobe点击查看免费下载Qwen3.5-35B-A3B-singprobeSingProbe是构建在Qwen/Qwen3.5-35B-A3B之上的流式安全探针模型无需额外运行独立安全模型它在生成过程中复用基座模型的隐状态对每个 token 实时打分覆盖查询意图、响应不安全性和幻觉风险三大维度解码开销低于 0.5%。本文带你 5 分钟完成部署。一、SingProbe 是什么为什么快传统安全护栏通常要主模型生成 安全模型复检两遍延迟成倍增加。SingProbe 的思路完全不同 ️零额外模型推理探针直接读取基座模型第 12、25、38 层的 hidden states随生成同步打分极小体量探针参数仅4.2M架构定义见 modeling_sing_probe.py配置见 config.json每 token 输出 10 项分数label_0–label_9即 8 个意图类别 unsafe不安全 hallucination幻觉极低开销解码阶段额外耗时 0.5%。二、性能有多强评测数据一览 官方评测结果越高越好任务指标SingProbe参考基线查询意图分类6 个基准F10.8751YuFeng-XGuard-Reason-8B0.8714响应安全分类8 个基准F10.8672Qwen3Guard-Gen-8B-strict0.8604流式安全检测3 个基准R-AUC / T-AUC0.9902 / 0.9374Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 个基准AUC0.8117DRIFT0.8000部署特性同样亮眼良性响应平均误报率仅0.03%5 个数据集平均解码开销 0.5%。三、部署前准备硬件基座模型为 35B 参数 MoE激活 3B按 bf16 精度约需 70GB 显存建议单卡 80GBA100/H100 级或多卡并行具体以基座模型要求为准软件Python 环境 对应的 SGLang 或 vLLM集成分支普通版本不含--probe-ckpt参数需切换到官方支持 SingProbe 的集成分支模型配对⚠️ 基座模型与探针必须成对使用Qwen/Qwen3.5-35B-A3BinclusionAI/Qwen3.5-35B-A3B-singprobe不可混用其他版本。四、SGLang 一条命令启动推荐启动 SGLang 服务时加上--probe-ckpt参数指定探针的模型 ID服务加载后即可流式返回安全分数python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-35B-A3B \ --probe-ckpt inclusionAI/Qwen3.5-35B-A3B-singprobe \ --port 30000参数说明参数说明--model-path基座模型路径Qwen/Qwen3.5-35B-A3B--probe-ckptSingProbe 探针检查点按 Hugging Face ID 直接加载权重见 model.safetensors--port服务端口默认示例为 30000五、vLLM 用户怎么部署vLLM 同样提供了支持 SingProbe 的集成分支原理与 SGLang 一致在服务启动时按 Hugging Face ID 加载探针生成时每个 token 附带分数。使用方式请以对应集成分支的启动文档为准核心仍是基座模型 本探针这一固定组合。六、如何消费探针输出的分数集成接口会为每个生成的 token返回一个包含label_0–label_9的分数字典label_0–label_78 类查询意图分类label_8unsafe响应不安全分数label_9hallucination幻觉风险分数。典型用法为 unsafe / hallucination 设定阈值超过阈值即触发拦截、改写或人工复核结合意图标签还可做分场景的风控策略。探针内部采用滑动窗口注意力窗口 2048对隐状态序列建模实现在 modeling_sing_probe.py 的_sliding_window_attention中。七、常见问题 FAQ ❓Q1报错input feature size ... does not match hidden_size * number of tapped layers输入特征维度校验失败说明基座模型与探针版本不匹配。请确认使用的是Qwen/Qwen3.5-35B-A3B基座 本探针探针的抽层配置见 configuration_sing_probe.py 中的base_model_layer_ids: [12, 25, 38]。Q2部署会明显拖慢生成速度吗不会。探针仅 4.2M 参数解码开销 0.5%几乎无感。Q3误报会不会影响正常对话官方 5 个数据集上良性响应平均误报率仅 0.03%可直接用于生产级护栏。Q4更多技术细节在哪里看部署与评测详情见 README.md项目以 Apache-2.0 协议开源。八、总结项目内容模型名称Qwen3.5-35B-A3B-singprobe核心能力流式安全护栏意图分类 不安全检测 幻觉检测部署方式SGLang / vLLM 集成分支启动时加--probe-ckpt额外开销 0.5% 解码耗时4.2M 探针参数上手成本一条启动命令约 5 分钟无需为安全护栏付出成倍延迟一条命令即可让 Qwen3.5-35B-A3B 在生成每个 token 的同时完成安全体检 —— 这就是流式安全探针 SingProbe 的全部价值。现在就部署试试吧 ⚡赞分享【免费下载链接】Qwen3.5-35B-A3B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-35B-A3B-singprobe点击查看免费下载相关推荐如何5分钟部署Qwen3.5-9B-singprobeSGLang流式护栏模型快速上手教程如何5分钟部署Qwen3.5 9B singprobeSGLang流式护栏模型快速上手教程 Qwen3.5 9B singprobe 是一款轻量级 流式护栏模5分钟快速上手Qwen3.5-0.8B-singprobeSGLang/vLLM流式安全探针部署完整教程5分钟快速上手Qwen3.5 0.8B singprobeSGLang/vLLM流式安全探针部署完整教程 Qwen3.5 0.8B singprobe 是一款MiniMax-M2.7-singprobe快速上手5分钟用SGLang/vLLM部署流式安全探针附完整命令MiniMax M2.7 singprobe快速上手5分钟用SGLang/vLLM部署流式安全探针附完整命令 MiniMax M2.7 singprobe上一篇MultiMolecule框架下的DeltaSplice-Human安装、配置与最佳实践下一篇推荐开源项目sql_to_sqlalchemy - SQL到SQLAlchemy的转换神器创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考