Deep Research这个概念在文本场景下已经被聊得很透了输入一堆资料链接让它自己检索、自己读、自己写最后给你一份带引用标注的长报告。但同样的思路放到视频上很多人试了一下就放弃了。视频根本不是一篇文章一小时的录像你没法直接丢进模型窗口强行抽帧全量塞进去token消耗能把你项目预算直接烧穿。我最近一直在折腾这个方向把一个“先浏览再定位后精读”的三段式流水线跑通了效果出乎意料在模拟项目X的测试集上精度比原来全量硬灌的方案高一截输入token反而降了58.3%。这篇文章把这套思路完整拆开讲讲每个环节怎么落地、数字是怎么统计的、以及我踩过的几个真实坑。适合正在做长视频理解、多模态问答、视频知识库这类方向的同学参考也适合所有被视频token成本折磨过的人。1. 文本Deep Research的成熟套路为什么一碰到视频就失灵1.1 文本场景下“检索-阅读-综合”的闭环文本界的深度研究工作流之所以好用核心不是“让模型读得更久”而是它在送入大模型之前就已经完成了信息减负。流程拆开看是三层第一层是范围收集拿用户的查询词去检索大量候选资料第二层是做相关性筛选通过嵌入向量相似度、关键词命中、来源权重等因素把几百篇资料压缩成十几个高价值段落第三层才轮到生成模型做真正意义上的精读与综合回答。这套逻辑成立的关键是文本天生自带清晰结构。段落有边界引用有锚点标题能表达主题。检索器可以在不消耗生成token的情况下先做一轮低成本粗筛。最后送进生成模型的是经过压缩的高价值片段而不是整座资料库。所以文本深度研究真正聪明的地方在于它把“广撒网”和“深阅读”拆成了两个不同成本的阶段而不是让模型一次性面对所有原始材料。1.2 视频素材的三个特殊性把问题拉高了一个维度到了视频这里文本那套直接平移过来的做法基本行不通。视频素材有三个文本没有的麻烦。第一个是时间维度带来的token爆炸。按每秒1帧抽帧一分钟视频就是60帧一帧经过视觉编码后最少也是几百token高分辨率下轻松上千。一段30分钟的讲座录像光是视觉token就能到百万级。这还没算上ASR转写文本和OCR识别结果。大多数生成模型根本装不下这么长的上下文。第二个是信息密度分布极不均衡。同一个PPT画面可能定格20秒期间人物完全没动信息量接近零。但某些关键动作只出现一两秒比如讲者指着一张图表解释某个结论错过就是错过。固定频率抽帧要么在冗余画面上浪费token要么把关键瞬间漏掉。第三个是多模态噪音。视频画面里同时存在背景音乐、字幕、人物手势、画面切换、镜头缩放。这些信息叠加在一起会把真正的核心内容淹没。模型在处理全量输入时注意力很容易被视觉上“显眼”但语义上“无用”的内容带偏。音频轨道同样有这个问题。主讲人的话里夹杂着口头语、停顿、笑声、观众提问直接全文灌进提示词里既浪费token又干扰重点。1.3 最常见的失败方案全量帧序列硬灌给多模态模型我在早期迭代里干过最“简单粗暴”的事把视频按固定间隔抽帧所有帧全部拼进上下文丢给多模态模型让它直接回答问题。这个方案写起来最简单运行起来问题最多。首先是上下文窗口根本放不下。一段25分钟的视频按每秒1帧抽就是1500帧大部分模型窗口直接被撑爆。退一步按每3秒1帧抽500帧倒是塞得进去但很多细节已经丢了。其次是注意力稀释。模型在几百个“看起来差不多”的画面里找答案就像让一个阅读者在一本500页的书里找一句话但每页只有十几个字还夹杂大量重复内容。它确实“看”了所有帧但真正有用的信息只有一小段模型很难从噪音里把它挑出来。再就是幻觉率明显偏高。上下文越长模型越容易在无关画面之间建立虚假联系。比如我拿一段产品发布会录像问“发布会上提到的第三个合作伙伴是谁”全量硬灌的模型经常答成第二个或第四个。并不是它没看到而是关键信息被埋没了。这种方案最后算账特别难看精度上不去token费用却居高不下。我那时候就在想能不能让系统学人的方式——先快速扫一遍知道大概内容再跳回去看关键部分。这就是“先浏览再定位后精读”这套思路的起点。2. “先浏览再定位后精读”这条流水线每个环节到底在做什么2.1 浏览层用最便宜的方式先把整段视频“过一遍”浏览层的目标不是理解视频而是建立一份“时间索引”。它只回答一个问题视频的每个时间段里大概发生了什么。具体落地是这样先对视频做镜头边界检测把连续画面按镜头切换切分成若干片段。然后按较低频率抽帧我习惯用5秒1帧配合低分辨率输入。这样做的成本极低一帧的视觉编码token量大概只有高分辨率的三分之一。同时把音频轨交给ASR系统转写成带时间戳的文本如果视频里出现PPT、图表这类文字密集画面再叠加一轮轻量OCR。这一层产出的东西包括带起止时间的镜头列表、每帧的低维视觉嵌入向量、按时间戳排列的ASR文本段落、OCR识别出的文字及其出现时间点。这些信息统一存进一个时间索引表里。这一阶段不调用生成模型的精读能力只做预处理所以速度很快token消耗也很小。比如一段25分钟的教学录像镜头边界检测可能分出30到40个镜头。浏览层实际处理的帧数大概是300帧左右每帧用低分辨率编码整体开销比后续任何环节都小。这个索引规模小到可以在内存里跑多轮检索成本几乎可以忽略。2.2 定位层把“哪里值得看”变成候选片段列表浏览层打完底接下来是定位层。定位层要做的事是结合用户的查询意图从时间索引里找出最值得精读的若干个片段。我没有直接用视频帧的向量和用户问题向量做最近邻检索因为像素画面和抽象问题之间的语义鸿沟太大。实际效果很差。我用的是“先转写再检索”的路径用轻量视觉语言模型给每个镜头生成一句到两句话的片段描述把镜头“翻译”成文本。这是一次比较便宜的视觉理解调用但换来的是可文本检索的能力。有了片段描述之后配合ASR文本、OCR识别结果把所有文本信号统一嵌入到同一个向量空间。用户问题来了就做三路召回第一路是语义相似度检索拿用户问题和所有片段描述、ASR段落做向量相似度排序第二路是关键词语法命中比如问题里出现“约束条件”ASR文本里同样出现这个词的时间点就有较大概率命中第三路是画面突变信号比如运动幅度很大的镜头通常意味着演示了一个新东西或发生了值得注意的事件。三路结果按权重融合各取前几名最后得到一组候选片段每个片段带一个置信度得分。定位层的核心原则是宁可多发不要漏掉真正相关的部分。因为精读层的token虽然贵但只针对候选片段多召回一两个不相关片段损失远小于漏掉关键内容。2.3 精读层把好钢用在刀刃上精读层接受定位层给出的候选片段列表只对每个候选片段范围内提高采样密度和分辨率做真正意义上的细节理解。具体做法是对候选片段按更高频率抽帧比如每秒1到2帧。同时使用更高的输入分辨率确保画面里的图表文字、细微动作能被模型看清。每条候选片段精读时输入的不只是画面还有该时间范围内的ASR转写文本、OCR文字和片段描述让模型能从画面和语言两个维度交叉验证。精读层输出的是针对用户问题的局部结论。比如一段25分钟的发布会定位层圈出3个候选片段精读层就输出三个局部观察结果第一个片段提到“合作伙伴A”第二个片段展示了“新的计费方式”第三个片段出现了“产品发布价格”。这些局部结论会汇总再由一次轻量级的汇总推理生成最终答案。这里有一个很关键的设计选择精读层不做“全量精读”只做“局部精读”。那些没进候选片段的视频部分最多在浏览层留下了一个“它大概是什么”的描述不会消耗任何精读级token。2.4 从输入到输出的一次完整执行链路我拿一个具体例子演示这套流水线怎么串起来。假设输入是一段20分钟的讲座录像用户的问题是“作者最后提出了哪几个可执行的改进建议”。系统先把视频按镜头边界切成38个片段浏览层每5秒抽1帧得到240帧低分辨率视觉数据ASR转写出大约4000字带时间戳的文本。接着定位层做两件事把38个镜头各生成一句描述把用户问题与这些描述、ASR文本做相似度和关键词匹配。检索结果显示第14到16分钟的片段里连续出现了“改进建议”“执行方案”这类关键词同时有一个镜头运动比较剧烈对应讲者切换PPT的场景。精读层定位出两个候选片段第14分20秒到15分10秒、第15分30秒到16分05秒。按每秒2帧对这两个片段抽帧共约150帧高分辨率画面连同对应区间的ASR文本一起送入多模态模型。模型逐片段输出观察结果最后汇总生成答案。整个过程里占token大头的是精读层的150帧而不是整段视频的2400帧。这就是成本能压下来的原因。3. 让精度变高、token变少的几个关键设计3.1 抽帧密度与分辨率的搭配策略“先浏览再定位后精读”能不能成立取决于三层之间token预算怎么分配。我跑过一轮实验后形成了一套经验参数用表格列出来层级抽帧密度分辨率档位单帧token量级覆盖范围浏览层每5-10秒1帧低约200-300全视频定位层复用浏览层特征复用浏览层不计新增全视频镜头精读层每秒1-2帧高约800-1000仅候选片段这个搭配的思路是浏览层更看重时间覆盖密度而不是画质。宁可每帧糊一点也要确保所有镜头都有代表帧被索引。精读层的帧率也不是越高越好一般来说每秒2帧已经能覆盖“动作从开始到结束”的完整过程提高到每秒4帧带来的精度收益很小但token消耗会直接翻倍。token预算的分配原则可以总结成一句话价值越高的地方花越多的token。整个流程的大部分token被精读层消耗掉这是刻意设计的结果。3.2 片段相关性打分不能只靠视觉相似度定位层的判断直接决定精读质量而判断的好坏事关系统精度。我第一次实现的时候直接拿视频帧的视觉嵌入向量和用户问题的文本嵌入向量算余弦相似度结果惨不忍睹。原因是视觉模型和文本模型各自编码空间不同画面上两个人握手的视觉特征和“合作”这个抽象概念差着十万八千里。后来我把打分逻辑改成多信号融合计算方式参考下面的公式score 0.45 * semantic_sim 0.35 * keyword_hit 0.20 * motion_score其中semantic_sim是片段描述和用户问句的语义相似度keyword_hit是ASR或者OCR文本中关键词命中比例的归一化值motion_score属于画面突变强度信号解决“文字里没提到、但画面发生了关键事件”的场景。这个组合是我在模拟项目X上反复调出来的权重。不同素材类型里权重的敏感度不一样口播类视频里关键词命中权重高运动画面多的视频里motion_score更管用。想要适配更多场景可以把这几个信号交给一个轻量排序模型学出来效果会比固定权重更稳健。3.3 ASR与OCR的时序对齐是定位的地基定位层对时序精度极度敏感。如果ASR转写文本的时间戳错位了定位出来的候选片段就会出现“内容对不上时间”的尴尬。比如讲者说“接下来这点很重要”的时候ASR给的时间却是5秒前那精读层就会把上一页PPT的静态画面当成关键内容。很多ASR工具默认输出整段文本只在句号、问号处自然分段并不保证每个分句都有精确到秒的时间戳。这个版本根本无法用于定位。我换成按句子级别对齐的转写接口之后定位精度显著提升。如果ASR本身没有时间戳输出可以考虑用VAD按静音把音频先切成话语块再逐块转写并记录起始时间。OCR时序对齐同样是重灾区。一页PPT画面停留15秒OCR每帧都做会重复消耗token只在镜头边界处做一次时间戳对不上可能漏掉页面切换后的文字。我的做法是只在浏览层镜头的首帧做OCR因为镜头边界意味着画面内容大概率变了。首帧识别出文字后把该文字关联到整个镜头的起止时间区间。3.4 所有候选片段得分都很低时的回溯降级策略定位层不是永远靠得住。实际使用中经常遇到用户提问非常泛或者视频内容很冷门候选片段置信度全部低于预设阈值的情况。早期的实现碰到这种情况就直接返回“未找到相关信息”。后来我发现这很容易给用户留下“系统太笨”的印象。更好的做法是设置一个回溯降级机制当所有候选片段得分低于阈值精读层自动从“定点精读”切换成“全片中密度扫描”。扫描时每3秒抽1帧分辨率介于浏览层和精读层之间结合ASR全文做一次相对全量的分析。这个降级路径虽然贵一些但只会在定位层不自信的时候触发而且一次任务至多触发一次。实际运行下来触发率不到15%但救回了相当一部分模糊提问的精度。降级机制让整个系统在置信度不足时依然给出一个“尽力而为”的答案而不是生硬地拒绝。4. 量化验证精度、token、延迟的对照结果4.1 评测集与评测口径怎么定义“精度提升”任何效率数字都要回答一个前提精度是在什么数据集、什么评测口径下算出来的。我在模拟项目X上构建了一个小规模评测集包含35段总时长约40小时的教学录像、产品演示和行业访谈针对每段视频标注了30到50个问答对问题类型覆盖事实抽取、事件定位、多选判断、总结归纳四类。评测指标我同时用了两个维度。一是问答准确率模型回答与标注答案一致才记正确部分匹配算半对二是事件定位F1模型需要能从时间戳维度指出“这个事件发生在视频的哪一段”既要捡得回真事件又不能给太多无关片段。对照方案是同一个多模态模型在同样问题集上的全量硬灌方式每2秒抽1帧、全量帧序列加上ASR全文一次性输入。4.2 58.3%的token降幅是怎么统计出来的token降幅的计算口径是“一次完整问答消耗的输入token总量”包括视觉token和文本token不含输出token。这一步必须统一否则没意义。我拿一段25分钟的产品讲解视频来算笔账。全量硬灌方案按0.8倍帧率抽帧大约1200帧高分辨率编码平均单帧约1000 token视觉token约120万加上ASR和OCR文本约2万总消耗约122万。分层方案里浏览层每5秒1帧共300帧低分辨率平均单帧约330 token视觉token约10万定位层复用浏览层特征不新增视觉token精读层覆盖总时长约13%的候选片段大约195秒按2帧每秒抽帧共390帧高分辨率单帧约1000 token视觉token约39万ASR和OCR只处理涉及候选片段的部分算上保底的全文文本索引约2万。总计约51万。51万对比122万大约是0.417节省了58.3%正好对上标题里的数字。需要提醒的是这个比值会随着视频静态画面占比、候选片段覆盖率浮动不同视频素材的波动范围大概在45%到65%之间。真正重要的不是那个精确数字而是token消耗大头被限制在“候选片段总时长”这个变量上而不是“全视频时长”。4.3 不同素材类型下的精度与成本差异同样的流水线放在不同素材上表现差异很鲜明。我在四类素材上分别测了一轮结果如下素材类型静态画面占比token降幅精度变化教学录像高约63%明显提升产品发布会中等约55%小幅提升多人访谈中等约48%基本持平运动类实拍低约40%轻微下降静态画面占比高的素材比如教学录像浏览层用很低的token密度就能覆盖全局候选片段集中在真正说话或翻页的时段精读效率极高。运动类实拍则是最难的场景画面信息密度太高浏览层的低分辨率抽帧很容易漏掉关键动作定位召回率下降导致精度不如全量硬灌。这类素材需要把浏览层抽帧间隔缩短到2秒以内或者引入镜头内关键帧提取算法。精度持平但token显著下降的素材说明分层方案即使不带来精度提升成本控制也依然有优势。5. 实测踩坑最容易翻车的四个细节5.1 浏览层抽帧间隔太长关键瞬间直接蒸发我把浏览层抽帧间隔从5秒改到10秒时系统在演示类视频上的精度急转直下。手动排查后发现问题出在“漏帧”讲者在第8秒翻开一本样书展示装帧方式但这个动作持续不到3秒10秒间隔抽出的帧是动作前和动作后的静态画面整个演示过程直接被跳过了。后来的解决方法是加入镜头边界检测约束每个镜头至少保留一帧代表帧且抽帧间隔不能超过该镜头时长的三分之一。镜头边界本身就是一个天然的信息断点在边界附近抽帧能最大化覆盖画面内容的变化。这个改动让演示类视频的精度回升到5秒固定间隔的水平token消耗还略有下降。5.2 固定候选片段数量把完整事件切得七零八落定位层的另一个常见错误是提前把“返回5个候选片段每个片段30秒”写死。听起来很合理实际操作却是灾难。一次测试里用户问“发布会最后宣布的定价方案是什么”相关内容是一个连续45秒的流程主讲人介绍价格构成、屏幕弹出价格表、主持人补充说明售后条款。固定候选逻辑只截取了前面30秒价格表那个镜头在边界被切掉精读模型看到的片段不完整硬是把价格说错。修正方案是让候选片段的长度由镜头边界和ASR断句结构动态决定。定位层先找出核心命中点然后以这个点为中心向外扩展直到碰到镜头边界或者超过最大片段时长。候选片段可以互相重叠重叠部分在精读阶段可以做一次去重但宁可多算也不能切碎语义完整的事件。5.3 直接拿视频帧做embedding匹配召回稀烂前文已经提过这个问题但值得展开讲一下它坑得有多深。早期我把浏览层每帧的视觉embedding直接存进向量库用户提问后拿问题的文本embedding去查最相似的帧。结果召回出来的画面经常是“视觉上相似但语义完全不同”的帧。比如用户问“什么是混合精度训练”查出来的却是有人在PPT前站着的全景因为视觉模型觉得“有人在讲课这个画面”和“训练相关”存在某种相关性。解决这个问题的成本没有想象中高。每个镜头只有一两帧需要让视觉语言模型生成描述一段25分钟视频大概生成40句描述这只相当于调用多模态模型几次的费用远低于全量帧精读的开销。但换来的却是把“像素空间检索”彻底转变成了“语义空间检索”召回质量完全不在一个级别。5.4 精读阶段一次喂帧太多模型“看过但记不住”精读阶段把候选片段的高帧率画面一股脑传给模型结果发现模型在长多帧输入下还是会“失忆”。典型的现象是模型准确描述了第一帧和最后一帧的内容却漏掉了中间帧上的关键数字。多模态模型的处理能力不等于“多帧拼接有效”帧数一多注意力还是会分散。后来我改用两步式精读先把候选片段按时间顺序切分成若干小组每组控制在5到10帧分批送模型生成局部观察等所有局部观察都出来了再把它们连同ASR全文一起送第二次汇总推理。这个小改动让模型的跨帧比较能力显著提升因为每个局部观察本身是在短上下文中生成的准确率更高。代价是输出侧的token消耗增加了一点但输入侧省下来的精读帧钱远远覆盖了这个开销。6. 这套流水线还能往哪里延伸6.1 从视频迁移到音频、PDF和会议记录“先浏览再定位后精读”本质上是一个通用的分层信息处理框架不只适用于视频。我在音频播客上试过一模一样的骨架浏览层用VAD把长音频切成话语块用关键词做粗索引定位层拿用户问题和话语块的ASR文本做匹配精读层只对相关话语块送高精度转写和摘要。一段两小时的播客最终精读的音频可能只有6分钟。效果和全量转写摘要几乎持平但处理成本和时间大幅下降。PDF长文档也有类似的映射关系。浏览层做页面级嵌入和目录抽取定位层根据提问召回若干页面精读层只对召回页面做版面重解析和细粒度阅读。这和好多文档问答系统的“先粗排后精排”逻辑不谋而合但用“浏览-定位-精读”的提法去组织更容易在工程上落实成统一的框架。6.2 动态预算让三层比例自适应不同任务固定比例的参数可以跑通但不够聪明。不同的用户任务对三层的依赖程度不同。检索型问题“某句话出现在哪里”定位层才是核心精读层只需要少量验证帧综述型问题“这份材料里主要讲了哪几个方向”浏览层的全局覆盖更重要精读层甚至可以整个跳过对比型问题比如“两种方案的区别”既需要精读又需要跨片段的汇总。我目前在做的是让路由层先判断问题类型再决定三层分别投多少预算。这个判断本身用的是一个小型意图分类模型成本极低。初步跑下来的结果是在混合问题集上比固定参数又省了12%的token精度没有下降。6.3 一点个人体会和后续想法这套“先浏览再定位后精读”的方法论本质上是给多模态模型加了一个廉价的外部预检索层。它没有让模型变聪明也没有增强任何底层能力只是改变了信息的组织和投喂方式。但这个改变带来的收益非常直接同样的模型精度上去了成本下来了。我自己的后续方向是把定位层的相关性打分从固定权重换成可学习的重排模型同时把浏览层的低分辨率视觉编码换成更轻量的骨干网络。模板化的“抽帧-检索-精读”还能继续优化但核心的思想已经稳定了面对再长的视频都要先建立索引再决定把注意力投到哪里去。省钱不是目的让模型把注意力花在该花的地方才是这套方法真正值钱的地方。