【免费下载链接】Kimi-K3-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Kimi-K3-NVFP4点击查看免费下载Kimi-K3-NVFP4是 NVIDIA 基于 Model Optimizer 量化框架对 Moonshot AI 的 2.8 万亿参数多模态大模型 Kimi-K3 进行NVFP4 量化后重新打包的推理部署版本。它专为 NVIDIA BlackwellB200/B300GPU 调校支持 vLLM 与 SGLang 两条部署路线原生 1,048,576 token 上下文窗口面向长程编码、视觉智能体与端到端知识工作场景。 一句话定位模型能力来自 Kimi-K3NVIDIA 的价值在于把这只巨兽压缩并调校到能在 Blackwell 集群上高效、稳定地跑起来。一、先看家底一张表认识 Kimi-K3-NVFP4项目关键信息 总参数量2.8TMoE每 token 激活 896 个专家中的 16 个 2 个共享专家 模态输入文本 / 图片 / 视频输出文本 上下文窗口原生 1,048,576 tokens 量化方案MoE 专家 NVFP4group_size16 注意力投影 128×128 分块 FP8 量化工具Model Optimizernvidia-modelopt v0.45.0无校准数据⚡ 推理引擎vLLM、SGLang️ 目标硬件NVIDIA Blackwell B200 / B3008×B300 完成验证 权重规模96 个分片首次下载约 1.6TB⚖️ 许可证NVIDIA Open Model License Kimi K3 License完整模型卡片见 README.md。二、NVFP4 量化拆解NVIDIA 的重新打包到底做了什么量化不是简单整体压缩而是一个分层混合精度策略——哪里占空间大头、哪里对精度敏感就区别对待权重区域处理方式规模MoE 路由专家模型体积大头MXFP4 → NVFP4input_scale1.0直接转换无损247,296 个专家、850 亿个量化块全部无损注意力投影KDA 与 MLA直接量化为 128×128 分块 FP8FP8_PB_WO696 个模块其余张量保持原始精度BF161,932 个张量原样通过 这份打包清单完整记录在 conversion_report.json 和 hf_quant_config.json 中逐层的量化目标可查阅 config.json。量化损失有多大基准测试对比两个版本均在temperature1.0、top_p0.95下评测生成上限 65,536 tokens基准测试原始 Kimi-K3Kimi-K3-NVFP4GPQA Diamond研究生级推理0.93210.9277SciCode科学编码0.583760.5858MMMU-Pro多模态推理0.80630.7983AA-LCR长上下文推理0.75000.7506IFBench指令遵循0.74400.7493Terminal-Bench 2.1终端工程0.80340.8020结论很直观NVFP4 量化后几乎无损个别基准SciCode、AA-LCR、IFBench甚至有小幅反超。用约一半的显存带宽成本换来了接近原版的智力水平。三、架构全景这只巨兽长什么样结合 configuration_kimi_k3.py 与 config.json可以把它的构造思路概括为四点93 层混合注意力70 层使用 Kimi Delta AttentionKDA 线性注意力计算高效23 层使用 MLA 全注意力第 4/8/12/…/92/93 层兼顾长上下文性能与精度超大 MoE每层 896 个路由专家 2 个共享专家每个 token 只激活 16 个专家隐藏层宽度 7168原生多模态视觉塔为 27 层 MoonViTpatch_size14配合 patchmergerv2 投影器接入语言模型采用 NaViT 式动态分辨率缩放透明背景图片会自动填充棋盘格图案视频按 8fps 采样细节见 preprocessor_config.json 与 media_utils.py始终开思考推理默认常开reasoning_effort支持low/high/max默认max。多模态封装在 modeling_kimi_k3.py文本主干含 KDA、MLA、MoE在 modeling_kimi_linear.py聊天模板编码逻辑在 encoding_k3.py基于 tiktoken 的分词器词表 163,840见 tokenization_kimi.py 与 tiktoken.model。四、谁该第一时间用起来四类用户收益最大手握 Blackwell 集群的推理服务商——checkpoint 已按 8×B300 验证完毕含 vLLM/SGLang 完整启动参数无需自己做量化工程长程编码 / Agent 团队——1M token 原生上下文 内置kimi_k3工具调用解析器与推理解析器长任务不掉线视觉智能体开发者——原生图片、视频输入配合 NaViT 动态分辨率适合看图干活、操作界面的工作流企业知识工作与游戏开发团队——面向端到端知识工作、深度推理与游戏开发场景调校。⚠️暂时不适合没有 B200/B300 硬件的团队NVFP4/FP8 内核与补丁仅面向 Blackwell以及单机小显存场景1.6TB 权重决定了它是一台集群级模型。五、部署速览8×B300 上跑通 vLLM 与 SGLang完整可复制命令在 README.md 的 Usage 一节这里只讲关键参数vLLM 路线镜像vllm/vllm-openai:kimi-k3--quantization modelopt_mixed按 checkpoint 自带的混合精度方案加载--moe-backend flashinfer_trtllm路由专家的 NVFP4 内核--kv-cache-dtype fp8--tensor-parallel-size 8--max-model-len 196608注意 196,608 是TP8 验证值不是架构上限上下文与并发要按显存一起调--load-format fastsafetensors把约 18 分钟的启动时间省下来--tool-call-parser kimi_k3与--reasoning-parser kimi_k3打通工具调用与思考输出另需挂载本仓库的运行时补丁 runtime_patches/sitecustomize.py通过KIMI_K3_FP8_PB1、KIMI_K3_NVFP4_SITU_G1_SCALE1等环境变量启用在原生支持上游合入前它是必需的。SGLang 路线镜像lmsysorg/sglang:dev-dev-kimi-k3-nvfp4--tp-size 8 --dcp-size 8--moe-runner-backend flashinfer_trtllm必选而非可选量化方案直接从 checkpoint 配置读取无需--quantization参数三个--speculative-*参数开启 DSPARK 投机解码配套 RadixArk/Kimi-K3-DSpark 草稿模型不想投机直接去掉。官方推荐生成参数temperature1.0单步任务用top_p0.95Agent 任务用top_p1.0presence_penalty0、frequency_penalty0见 generation_config.json。首次运行会从 Hugging Face 拉取约 1.6TB 权重若只需运行时补丁可先单独下载hf download nvidia/Kimi-K3-NVFP4 \ runtime_patches/sitecustomize.py \ --local-dir kimi-k3-runtime如需浏览全部源码与配置也可以直接克隆本仓库git clone https://gitcode.com/hf_mirrors/nvidia/Kimi-K3-NVFP4六、仓库文件地图每个文件负责什么文件职责model-00001-of-000096.safetensors 等 96 个分片量化后的模型权重NVFP4 专家 FP8 注意力 BF16 其余部分model.safetensors.index.json权重分片索引config.json / generation_config.json模型结构与生成参数上下文上限 1,048,576hf_quant_config.json / conversion_report.json量化方案与转换报告modeling_kimi_k3.py / modeling_kimi_linear.py多模态封装 / 文本主干参考实现configuration_kimi_k3.py三大配置类KimiK3、KimiLinear、Visionkimi_k3_processor.py / kimi_k3_vision_processing.py处理器与视觉预处理MoonViTmedia_utils.py图片/视频工具NaViT 缩放、透明背景填充encoding_k3.py / tokenization_kimi.py聊天模板编码 / tiktoken 分词runtime_patches/sitecustomize.pyvLLM 运行时兼容补丁环境变量开关式启用LICENSEKimi K3 License 全文七、许可与商用先看 3 个关键数字⚖️ 该量化版本受NVIDIA Open Model License管辖底层模型受 LICENSEKimi K3 License约束商用前注意三条2,000 万美元若运营 MaaS 业务且任意连续 12 个月总收入超过该数字商用前需与 Moonshot AI 签署单独协议1 亿 MAU / 2,000 万美元月收入产品超过任一门槛时界面需显著展示 Kimi K3内部使用豁免不向第三方开放的内部使用不受上述两条限制。八、总结下一步行动清单✅有 8×B300或 B200集群直接照 README.md 的 vLLM/SGLang 命令启动先把--max-model-len从 196,608 起步验证✅做 Agent / 编码产品优先接入1M 上下文 kimi_k3解析器 默认max思考强度就是为长任务准备的✅无 Blackwell 硬件暂观望等待上游 vLLM/SGLang 合入原生支持或社区更广泛的适配⏳持续跟进vLLM 原生支持合入后sitecustomize.py补丁可退役部署会更简单。量化没有偷走这只巨兽的智商NVIDIA 只是给它换上了一套 Blackwell 集群上跑得更快、更省的骨架。赞分享【免费下载链接】Kimi-K3-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Kimi-K3-NVFP4点击查看免费下载相关推荐Kimi K3 技术指南2.8T 参数原生多模态 Agent 模型的架构、评估与部署实践Kimi K3 技术指南2.8T 参数原生多模态 Agent 模型的架构、评估与部署实践 本文以 README.md https://link.gitcode大模型多模态人工智能CogVLM170亿参数开源巨兽如何重新定义多模态AI产业标准CogVLM170亿参数开源巨兽如何重新定义多模态AI产业标准 导语 CogVLM以170亿参数量的双专家协同架构在10项跨模态基准测试中取得SOTA性能大模型多模态深度学习还在为多品牌摄像头兼容性烦恼吗go2rtc一站式流媒体解决方案来了还在为多品牌摄像头兼容性烦恼吗go2rtc一站式流媒体解决方案来了 你是不是也有这样的困扰家里装了不同品牌的摄像头——大华、海康威视、TP Link、小米音视频视频后端智能硬件创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考