【免费下载链接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.项目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL点击查看免费下载PRISM-VL 是一个测量域视觉语言模型研究项目它把经过 ISP 处理的 RGB 图像替换为RAW 派生的 Meas.-XYZ加上相机元数据ISO、曝光时间、光圈作为视觉输入让 Qwen3-VL 基于传感器原始测量而非面向显示的渲染结果回答问题。项目同时发布了 MeasL-Bench-V1 评测基准、MeasL-150K-V1 训练集和 Qwen3-VL 2B / 4B / 8B 的 LoRA 适配器。 先问一个问题RGB 渲染已经丢了什么证据项目名取自洞穴寓言Allegory of the Cave我们习惯看到的 RGB 图像更像是投射在洞穴墙上的影子——它是图像信号处理器ISP生成的面向显示的产品而不是相机传感器最初记录的东西。从传感器到 RGB 之间ISP 会做一连串让它对人眼更好看的操作裁剪Clipping过曝的高光区域直接变成纯白细节归零降噪Denoising传感器的原始纹理和弱信号被平滑掉色调映射Tone mapping线性亮度关系被重写成非线性曲线量化Quantization高位深传感器数据压缩成 8-bit。问题在于对于证据类问题读文字、判断明暗、区分颜色模型需要的信息可能恰好在这四步里被抹掉。只看 RGB 的模型只能对着影子猜。PRISM-VL 的做法是把相机测量当作一等观察对象在模型看到图像之前先让它看 RAW 派生的 Meas.-XYZ——一种保留原始测量线性关系的三通道表示——再配上拍摄元数据让模型以更接近物理世界的方式获取证据。上图是 PRISM-VL 的整体框架左侧将 RAW 派生 Meas.-XYZ 与相机元数据注入视觉编码器右侧由 Qwen3-VL 完成测量域视觉语言推理。 真实低照案例RGB 如何带偏模型项目用两个低照度文本案例LERLow-Illumination Evidence Recovery直观展示两种输入的差异案例RGB 输入下的回答Meas.-XYZ 输入下的回答亮灯店铺招牌答成Hua Tian Hua❌答出正美口腔✅黄色招牌文字答成diamond❌答出BLACK✅同一张场景两种看法RGB 渲染暴露的是误导性证据答案区域已经不可恢复而 Meas.-XYZ 保留了该区域的线性测量关系模型仍能读出正确答案。️ 怎么训练、怎么衡量15万训练样本 2183条基准PRISM-VL不改动 Qwen3-VL 的训练与推理流程只替换视觉接口。实现上用轻量的残差注入相机元数据经photographic_log归一化后以残差形式叠加进 ViT 隐藏层避免对主干模型做大手术。配置细节见 sft_qwen3_vl_2b_prsimvl_v1.yaml。材料内容训练集 MeasL-150K-V1152,517 条指令微调样本、48,000 张发布图像由约 70 万条自动标注候选经打分过滤、来源平衡并对基准做去污染后发布基准 MeasL-Bench-V12,183 条 held-out 匹配样本覆盖 LER、HER、STR、GVG 等 14 个测量敏感能力切片提供 Meas.-XYZ 与 RGB 两套匹配 JSONL模型权重Qwen3-VL 2B / 4B / 8B 对应的 PRSIMVL LoRA 适配器 主结果Meas.-XYZ 的提升来自哪里在 held-out MeasL-Bench 协议下同尺寸模型Meas.-XYZ 对比 RGB 输入模型视觉输入BLEUROUGE-LLLM-JudgeQwen3-VL-8BRGB0.50460.350078.20PRSIMVL-8BMeas.-XYZ 元数据0.61200.457182.66Qwen3-VL-2BRGB0.34070.317169.54PRSIMVL-2BMeas.-XYZ 元数据0.58650.424477.998B 版本相比同尺寸 RGB 版本提升0.1074 BLEU、0.1071 ROUGE-L、4.46 LLM-Judge 分2B 版本更是全面超越 4B / 8B 的 RGB 版本。增益集中在证据敏感型能力上能力切片RGB Qwen3-VL-8BBLEU / ROUGE-LPRSIMVL-2BBLEU / ROUGE-LLER 低照度证据恢复0.3470 / 0.28510.5174 / 0.4249STR 场景文字识别0.3719 / 0.36040.5084 / 0.4669HER HDR 证据恢复0.5343 / 0.36140.6066 / 0.4533 上手三步走本地问一张图安装 release 快照运行 install_editable.sh用swift deploy加载基座模型 对应 PRSIMVL LoRA 适配器启动 OpenAI 兼容服务用 inference/ask_service.py 发送本地图像和问题——问题里带上 ISO / 曝光 / 光圈格式的拍摄元数据与训练提示风格保持一致。要复现完整基准一条命令即可MODEL_SIZE2b CUDA_VISIBLE_DEVICES0 bash eval/run_infer_and_eval.sh评估入口会自动校验question_type标签、检查图像存在性再经由 scripts/test_raw_eval_pipeline_opt/pipeline.py 的共享管线完成推理与离线指标计算结果写入eval/output_benchmark/。全部参数说明见 eval/README.md 与 inference/README.md。 项目文件导读路径说明assets/框架图、能力雷达图、RGB 与 Meas.-XYZ 对比示例eval/基准推理与离线评估入口inference/服务化 VQA 演示与 demo 数据configs/qwen3_vl_150k_llmmeta_vit_proxy/2B / 4B / 8B 的 SFT 训练配置与启动脚本scripts/test_raw_eval_pipeline_opt/共享推理 / 评估管线实现swift/训练与推理代码快照LoRA、SFT、deploy一句话总结 PRISM-VL 的回答是别让模型对着影子猜把测量还给它。用 RAW 派生 Meas.-XYZ 相机元数据配合最小成本的 LoRA 微调即可显著找回被 RGB 渲染抹掉的低照度文字、HDR 与场景识别等敏感证据。赞分享【免费下载链接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.项目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL点击查看免费下载相关推荐为什么RT64能让N64游戏焕发新生底层渲染原理详解为什么RT64能让N64游戏焕发新生底层渲染原理详解 RT64是一款专为N64游戏打造的现代图形渲染器它通过创新的底层技术和架构设计为经典游戏带来画质增强为什么你的动画代码会渲染失败remocn 的确定性渲染原理深度剖析为什么你的动画代码会渲染失败remocn 的确定性渲染原理深度剖析 你是否遇到过这种情况Remotion 预览里动画流畅完美一键渲染成 MP4 后却出现闪为什么KnowStreaming是云原生Kafka管理的终极选择7大核心优势详解为什么KnowStreaming是云原生Kafka管理的终极选择7大核心优势详解 KnowStreaming作为一站式云原生实时流数据平台通过0侵入、插件化后端消息队列运维可观测性创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考