VSS vss-summarize-video技能实战：如何一句话让AI总结任意上传视频

VSS vss-summarize-video技能实战如何一句话让AI总结任意上传视频【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization在 NVIDIA 视频搜索与总结Video Search and Summarization简称VSSAI 蓝图中vss-summarize-video是一个让 AI Agent 替你完成上传视频 → AI 总结全流程的技能你只需对 Agent 说一句总结这个视频它会自动探测长视频总结LVS服务、把视频交给 Video IO StorageVIOS预处理、发起总结请求并原样呈现带时间戳的叙事摘要。这篇实战指南面向新手带你完整走通 VSS 视频总结技能的使用路径。vss-summarize-video 技能是什么在 VSS 的技能体系skills/README.md中技能按用途分为deployment/部署服务、operations/驱动运行中的栈、tools/和benchmarking/四大类。vss-summarize-video属于operations/类别定位为驱动已运行栈的运行时技能适用场景对一段已录制的视频文件、已入库录像生成一份叙事性摘要 带时间戳的事件列表不适用场景实时 RTSP 字幕用vss-deploy-dense-captioning、事故窗口报告用vss-generate-video-reportMode B、档案检索用vss-search-archive技能定义文件位于 skills/operations/vss-summarize-video/SKILL.md其中声明了版本号、前置条件和五阶段工作流。它被 Claude Code、Codex、NemoClawOpenClaw 等等符合 agentskills.io 规范的 Agent 宿主加载后即可通过自然语言触发。一句话背后的五阶段工作流一句话总结听起来简单Agent 实际执行的是以下五个阶段完整定义见 SKILL.md 的Recorded Video Workflow章节阶段动作说明1️⃣ 选择后端探测 LVS/v1/ready返回 HTTP 200 即走 LVS否则按批准情况部署或回退 VLM2️⃣ VIOS 准备视频上传/复用录像切出完整时间线生成一个临时的 MP4 片段 URL 供服务拉取3️⃣ 收集总结参数HITL 门控提问向你确认scenario、events、objects_of_interest4️⃣ 一次性提交执行vss summarize run一次请求 一次POST /v1/summarize绝不自动重试5️⃣ 呈现结果原样渲染摘要与事件附带job_id与是否持久化的状态整个流程中 AI 总结的引擎是 LVS 微服务。它把长视频切块交给 RTVI-VLM 逐块推理生成字幕与事件再经 CA-RAG 管道聚合出最终摘要并可写入 Elasticsearch 持久化。基础部署的架构如下更多服务细节可参考 docs/long-video-summarization.mdx 与 services/video-summarization/。上手三步安装技能、说出需求、等待结果第 1 步把技能装进你的 Agent 宿主技能以目录 技能的方式安装。在 Agent 会话中粘贴一句话即可详见 skills/README.md 的Install章节为本机安装skills/operations/vss-summarize-video/这个 VSS 技能按技能自己的目录名注册用符号链接而不是拷贝。若本机还没有 VSS 仓库可先克隆git clone https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization在 NemoClaw / OpenClaw 这类控制台中装好的技能会出现在 Skills 面板里绿色圆点表示就绪第 2 步对 Agent 说总结这个视频直接在聊天窗口发出请求例如帮我总结一下这段仓库监控视频warehouse.mp4重点关注叉车活动和人员闯入。Agent 会先做服务就绪探测然后按 HITL人机协同门控向你确认三个参数——这是该技能刻意设计的暂停点模板见 references/hitl-prompts.mdscenario场景一行上下文如warehouse monitoring、traffic monitoringevents关注事件逗号分隔如叉车活动, 人员闯入objects_of_interest关注对象可选如叉车, 托盘, 工人如果你不想逐个指定回复defaults即可使用通用默认值scenarioactivity monitoringevents[notable activity]Agent 会在结果中注明使用了默认值。第 3 步AI 自动完成上传、切块与总结确认后Agent 会自己执行剩余工作你无需敲任何 API 命令通过 VIOS 文件 API 上传视频或复用已入库的同名录像轮询时间线拿到完整起止时间并生成一段无音频的临时 MP4 片段 URL用 libs/vss/cli/ 中的vss命令行发起唯一的vss summarize run请求——--scenario、--event等参数即来自你在第 2 步的回复服务内部完成切块默认--chunk-duration 10秒、RTVI-VLM 逐块推理、事件去重与 LLM 聚合。你会得到怎样的输出结果按固定格式呈现标题形如Summary of warehouse.mp4 (3m 20s)随后是两部分video_summary一段完整的叙事性摘要原文渲染、不改写不截断事件列表按服务返回顺序逐条列出每个带时间戳的事件及完整描述。结尾还会附上任务身份证job_id用于事后用vss summarize get --job-id对账和persisted状态——它代表这条摘要是否写入了 Elasticsearch统一记忆。persistedfalse只说明策略选择了仅输出到终端并不代表失败。 提示退出码 6 / 7 都表示总结其实已经发生Agent 不会重复提交同一任务这也避免了重复消耗 GPU 推理开销。LVS 未就绪时怎么办VLM 回退需要你的明确批准如果 LVS 服务lvsprofile尚未部署技能不会静默降级。它会停下来询问你决策逻辑见 references/end-to-end-example.md批准部署Agent 调用vss-build-vision-ai技能拉起 LVS 服务重新探测成功后继续用 LVS 总结质量最高明确批准回退才允许走纯 VLM 单模型总结——此时结果会附带一句说明视频总结服务未部署本摘要仅由 VLM 生成属于较低质量的通用提示输出都拒绝任务停在就绪探测这一步如实报告阻塞。这种先问后做的设计让新手也能放心使用昂贵的 GPU 推理和降级决策都掌握在你手里。常见问题速答Q为什么每次都要问我 scenario 和 events因为 LVS 服务要求这两个参数缺了会返回 422且它们直接决定提示词质量。默认值只在你显式回复defaults时使用Agent 不会替你猜场景。Q总结一个 1 小时视频要多久边缘与 CLI 的默认请求超时都配置为一小时长时间总结不会被中途 504 掐断若真超时退出码 7Agent 会用job_id对账查询而不是重跑。Q结果能存下来以后检索吗可以。当部署启用了持久化策略vss configure memory且提供了--creation-time锚点时事件时间会被写成绝对时刻并入库之后可用vss summarize list --sensor-id按传感器和时间窗口回忆。Q这个技能能做找某段画面吗不能。跨档案的自然语言检索如找上周装卸区出现叉车的片段属于 vss-search-archive 技能的职责技能边界在 evals/evals.json 中有明确测试保障。相关资源技能主文档skills/operations/vss-summarize-video/SKILL.md端到端命令参考references/end-to-end-example.mdCLI 参数详解references/cli_usage.md调试指引references/video-summarization-debugging.md环境变量配置references/video-summarization-environment-variables.md 与 assets/video-summarization.env.example技能总目录skills/README.md装好技能、拉起lvsprofile然后试着对它说总结一下这个视频——这就是 VSS 视频总结从一句话到一篇带时间戳报告的完整旅程 【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考