论文《GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed》由小鹏、北大、港大、普林斯顿等机构联合发布是一套4B参数统一视觉定位Visual Grounding基础模型项目已开源权重、代码。视觉定位输入图片文字指令模型输出目标物体的框、坐标点、文字完成目标检测、指代定位、OCR识别、GUI界面点击、文档布局解析等任务。一、核心痛点传统视觉大模型大多采用自回归AR串行解码按顺序一个token接一个token输出坐标和文本。缺点物体多、输出内容长的时候推理速度很慢现有加速方案MTP多token预测并行生成质量有限密集场景容易出错。扩散模型擅长并行生成但过去大多只做单一任务缺少能覆盖全套视觉定位任务的通用基础模型。核心思想把视觉定位看作「视觉证据提取」。图片里物体、位置、空间关系不需要严格从左到右的生成顺序可以双向扩散并行预测。模型提供两个版本GroundAnything‑VLM纯自回归AR版本精度上限更高GroundAnything双向扩散DLM并行解码版本追求速度与精度平衡支持并行块去噪。二、关键技术方案模型架构基于MoonViT‑V2视觉编码器 Qwen3‑4B语言解码器设计统一词汇表包含1000个量化坐标token用一套输出格式统一框、点、OCR文本、GUI点击指令。训练四阶段流水线① 基础多模态预训练② 坐标对齐SFT监督微调③AR‑to‑Diffusion转换从已经训好的自回归模型直接转扩散模型同时用AR损失扩散损失联合训练不需要从头训扩散④ GRPO强化学习后训练针对框、点、OCR设计专属奖励函数优化定位精度。配套自研数据引擎融合多源标注校验标注有效性迭代生成高质量训练数据。并行推理解码策略熵引导解码评估token不确定性低熵高置信度直接提交输出迭代去噪自投机解码Self‑speculative扩散做草稿并行生成AR做校验修正相比原版AR速度提升4.51倍仅损失0.74个点F1mIoU指标是论文主打高速模式工程层面SGLang、CUDA Graph、FP8量化进一步压榨推理速度。对比基线和MTP多token预测对比双向扩散生成的草稿提案质量更高有效降低每个有效token的推理耗时但不是所有场景都占优短任务场景MTP也有优势。三、实验评测结果测试覆盖30套基准数据集44个对比基线覆盖11大类任务通用检测、长尾物体、密集小目标、指代目标检测、物体点定位、机器人空间指向、GUI界面定位、文档OCR、文档布局、视觉提示匹配。模型 / 解码方式参数量关键指标备注GPT-6 Astra商用未公开30 基准整体 71.35%商业闭源GroundAnything-VLM4B30 基准整体 72.42%同尺寸新 SOTALocateAnything此前最快 SOTA—53.32%快速向MTP 架构GroundAnything熵引导解码4B平均 61.75%比上者高 8.4 点 自推测 self-speculative4BCOCO F1mIoU 仅降 0.74 点提速 4.51×AR版本 GroundAnything‑VLM同等4B级别模型中综合SOTA综合得分72.42%性能可以和GPT‑6 Astra掰手腕。扩散并行版GroundAnything熵引导纯扩散解码平均61.75%超过同规模以往AR模型基线GUI任务表现突出但在OCR、文档布局任务上相比AR版本有明显性能差距。优势场景密集拥挤画面、GUI界面点击、指代定位短板部分OCR、文档布局、极小物体定位精度还有提升空间。输出效率坐标序列化非常紧凑COCO平均7.6个token描述一个框对比旧方案SEED1.5‑VL的148.8 tokentoken数量大幅缩减输出更长物体列表时代价增长更小。四、潜在落地应用场景机器人抓取 / 操作自然语言指挥拿那个红色的杯子。AR / 标注工具实时圈选、分割。智能相册 / 审核一句话检索去年海边那张有狗的照片。自动驾驶感知用指令快速定位特定目标。五、主要局限扩散并行解码和AR版本存在性能鸿沟尤其OCR、文档布局下降比较明显微小物体的高精度边界定位依然是短板主要针对图片静态定位视频时序跟踪能力尚未验证六、结论GroundAnything 证明了一件事双向块掩码扩散可以实现通用、多任务视觉定位做到并行高速推理。4B 的小体量让它有实际部署价值也探索了多种解码策略说明并行解码要真正落地还得靠推理侧的渐进优化。开源地址项目页https://groundingpi.github.io/groundanything代码https://github.com/groundingpi/GroundAnything论文与源码可自行获取