人工智能AI 应用AI 写作桌面应用后端前端知识图谱【免费下载链接】NovelForgeAI辅助长篇小说创作卡片式创作支持基于 JSON Schema的结构化 AI 生成与上下文引用可扩展性强。项目地址https://gitcode.com/gh_mirrors/no/NovelForge点击查看免费下载NovelForge 是一款 AI 辅助长篇小说创作工具它的 AI 卡片生成功能并非一次性吐出整段结果而是采用字段粒度流式生成大模型以指令流的方式逐字段写入卡片前端实时渲染、用户可随时反馈纠偏。本文带你剖析这套指令流生成架构的实现原理看看它如何让 AI 生成过程既快又稳。传统整段生成为什么不够用在 v0.9.0 之前很多 AI 写作工具的卡片生成方式是点击生成 → 等待几十秒 → 拿到一整段 JSON。这种方式有三个痛点等待焦虑卡片字段一多生成时间可达分钟级中途毫无反馈要么全对要么全错只要结构校验失败只能整卡重新生成无法中途纠偏AI 写歪了方向用户只能干等结束后推倒重来。NovelForge 的解法是指令流Instruction Stream让 LLM 像打字员一样一边用自然语言思考一边逐行输出单行 JSON 指令每写一个字段就立刻落库到卡片上。上图中右下角的 AI 生成面板正在逐条执行设置字段: character_action_list等指令左侧卡片表单同步填充这就是字段粒度流式生成的实际效果。总体架构一条四段式流水线整个流程横跨前后端核心代码集中在backend/app/services/ai/generation/目录提示词构建prompt_builder.py 把卡片任务提示词 指令流生成规范 目标 JSON Schema拼成 System Prompt流式调用与逐行解析instruction_generator.py 通过chat_model.astream拉取 LLM 流式输出边收边解析指令实时校验与自动修复instruction_validator.py 对每条指令做路径、类型、约束校验失败则反馈给 LLM 重生成SSE 事件下发与前端执行ai.py 将事件以 SSE 流推给前端instructionExecutor.ts 机械地应用指令并刷新表单。用户只需在开始生成卡片对话框中给出要求如阶段数量不要超过5个点击开始生成指令流就启动了。核心设计set / append / done 三种指令指令流的规范定义在 指令流生成规范.txt 中LLM 只被要求掌握三种单行 JSON 指令{op:set,path:/main_target/story_type,value:主线} {op:append,path:/hobbies,value:阅读} {op:done}set按 JSON Pointer 路径给字段赋值支持整个对象或深层子字段两种粒度append向数组字段逐个追加元素天然适合标签列表、角色列表这类内容done声明生成结束触发系统做最终完整性校验。关键在于指令之间允许穿插任意自然语言。LLM 可以先思考、再动手思考内容会被后端识别为thinking事件推给前端展示用户因此能实时看到 AI 的思路而不只是一片空白。字段粒度流式的实现细节逐行解析 JSON流式输出最大的难题是JSON 会被网络切成任意碎片如何可靠地从中提取完整指令instruction_generator.py 的答案是一个轻量状态机行缓冲把 chunk 累积进buffer按\n切分出完整行不完整的半行保留到下一轮逐字符扫描用brace_depth花括号深度、in_string是否在字符串内、escape_next转义标记三个变量跟踪 JSON 边界只有字符串外的花括号才计数避免值里包含{时误判宽容解析单行 JSON 解析失败时会先尝试清理尾部逗号等常见错误仍失败则记入failed_instructions累积到 5 条才强制中断流避免偶发噪声毁掉整轮生成思考分流不在 JSON 累积过程中的自然语言行直接作为thinking事件下发。这样生成一个字段就是流中最小的交付单元——一个set指令被解析校验后前端表单立刻多出一个已填好的字段。实时校验与自动修复Schema 是安全网每条指令在执行前都要过 instruction_validator.py 这一关路径校验path是否真实存在于目标 Schema 中自动兼容$.xxx、items[0]等写法统一转为 JSON Pointer类型校验值的类型、enum枚举、字符串长度、数值范围、数组长度约束逐一检查且支持$ref与allOf递归解析完整性终检收到done时后端用build_model_from_json_schema动态生成 Pydantic 模型对累积数据做一次整体校验缺失的default值会被自动注入。一旦校验失败系统不会把错误抛给用户而是构造修复提示包含失败指令、当前已应用数据、缺失字段清单追加进对话让 LLM 继续补写重试采用指数退避1s/2s/4s默认最多 3 轮。这个校验—反馈—修复闭环是把不稳定的 LLM 输出兜底成可靠数据的关键。卡片的 Schema 来源就是 image-13 所示的结构构建器——在设置 → 卡片类型中为每种卡片定义字段结构这份 JSON Schema 同时驱动表单渲染、AI 参数配置与上述所有校验。前端执行层SSE 事件与轻量指令执行器后端通过/api/ai/generate/stream端点ai.py以 SSEdata: {json}\n\n格式推送五类事件thinking、instruction、warning、error、done。前端 generation.ts 中的generateWithInstructionStream用fetchReadableStream逐行解析 SSE事件类型与后端一一对应见 types/instruction.ts。解析出的指令交给 InstructionExecutor 执行——由于所有校验已在后端完成前端只用 lodash 的set/get机械落值再把 GenerationPanel.vue 的消息流思考、动作、警告展示出来形成已生成 N 个字段的进度反馈。生成所用的模型、提示词、温度、最大 tokens 均可在卡片类型设置页配置如上图也支持在编辑器工具栏按单卡微调。这套架构带来了什么秒级首反馈第一个字段落地只需几秒用户全程可见进度低成本纠偏对某个字段不满意直接在输入框写指导意见即可让 LLM 局部重写不必整卡重来截断自愈LLM 未发done就断流时系统会检测缺失字段并自动发起补全而不是把残缺数据交给用户人机协同节奏思考thinking与动作instruction分离展示生成过程本身成了可读的创作日志。从整段等待到字段粒度流式生成NovelForge 用一套极简的三指令协议 逐行 JSON 状态机 Schema 双层校验把 LLM 的不确定性收敛在了每个字段的最小单元里。这套指令流 实时校验 自动修复的设计模式同样适用于任何需要结构化 AI 输出的场景值得参考。相关模块路径速查指令流生成服务instruction_generator.py指令校验器instruction_validator.pySystem Prompt 构建prompt_builder.py指令流规范提示词指令流生成规范.txt前端指令执行器instructionExecutor.ts赞分享人工智能AI 应用AI 写作桌面应用后端前端知识图谱【免费下载链接】NovelForgeAI辅助长篇小说创作卡片式创作支持基于 JSON Schema的结构化 AI 生成与上下文引用可扩展性强。项目地址https://gitcode.com/gh_mirrors/no/NovelForge点击查看免费下载相关推荐生成式AI数据管道awesome-generative-ai-guide实时流处理架构生成式AI数据管道awesome generative ai guide实时流处理架构 引言生成式AI时代的数据挑战 在生成式人工智能Generative文档教程人工智能大模型pgai架构深度剖析向量生成、处理与查询的完整流程pgai架构深度剖析向量生成、处理与查询的完整流程 在当今数据驱动的时代企业和开发者面临着海量非结构化文本数据的挑战。传统的关键词搜索已无法满足对语义理解和AI应用RAG数据库后端向量数据库Qwen3-TTS流式语音生成原理Dual-Track双流架构如何实现97ms极低延迟Qwen3 TTS流式语音生成原理Dual Track双流架构如何实现97ms极低延迟 Qwen3 TTS 是阿里云 Qwen 团队开源的流式语音生成TTS人工智能大模型语音基础模型媒体生成微调Qwen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考