本地跑 27B 低比特模型Bonsai-demo 与 llama.cpp fork 完整指南【免费下载链接】Bonsai-demoBonsai Demo项目地址: https://gitcode.com/GitHub_Trending/bo/Bonsai-demo想在消费级显卡或 MacBook 上跑起 27B 参数的大模型关键在低比特推理。Bonsai-demo就是为这件事准备的完整入口它基于 PrismML-Eng 团队维护的 llama.cpp forkprism分支构建该分支为 Bonsai 系列的 1-bitQ1_0与三值量化PQ2_0模型提供了专门优化的推理内核并附带覆盖 macOS、Linux、Windows 的预编译二进制。两条命令即可装好运行无需编译、无需背参数。Bonsai 模型家族的卖点是极小体积、质量不缩水1-bit 版本把 27B 参数压缩到约 3.5 GiB可以装进现代 iPhone三值版本约 6.7 GiB质量更高。模型越小对推理引擎的量化内核要求越苛刻——这正是这个 fork 存在的意义。而且它不只是小。社区实测数据见下文RTX PRO 6000 上跑到 129.9 tokens/s连 2018 年的 GTX 1080 Ti 都能让三值 27B 达到 20.5 tokens/s 的可读速度。上图是 Bonsai 各尺寸模型在模型体积对数刻度— 平均基准分数曲线上的位置在远小于同级 Qwen3 模型的体积下Bonsai 1.7B、4B、8B 都落在同尺寸 Qwen3 系列更高的分数区间。 性能实测先行三值量化 27B 能跑多快社区成员把自己的硬件实测数据提交在 community-benchmarks/ternary-bonsai/README.md。三值 27B 的几条代表成绩硬件后端生成速度 (tokens/s)RTX PRO 6000 BlackwellCUDA129.9L40S 48 GBCUDA74.3M5 Max 48 GBMetal45.8GTX 1080 Ti 11 GBCUDA20.51080 Ti 是 2018 年的卡却能以 20 tokens/s 解码一个 27B 三值模型。这是低比特内核优化的直接收益也是全文的基准线——下面先解释 fork 到底改了什么。主线 llama.cpp 跑不动的部分Q1_0 与 PQ2_0 两种格式llama.cpp 主线早已支持多种量化格式但 Bonsai 用了两类更极端的低比特格式Q1_01-bit每个权重约 1.125 bit。这部分工作已完全合并进主线 llama.cppCPU含 NEON 与 x86 优化、Metal、CUDA、Vulkan 开箱即用——也就是说主线现在也能跑 1-bit 模型了。PQ2_0三值2.13 bpwfork 自研的打包格式ggml type id 142组大小 128。文件最小在支持它的后端上通常最快但尚未合并进主线只能跑在 fork 的二进制上。当前模型仓库里并存三种格式27B 的体积与兼容范围如下文件组大小27B 体积谁能读*-PQ2_0.gguf128fork 专属6.66 GiBfork 二进制CUDA / Metal / CPU / ROCm*-Q2_g64.gguf64官方 Q2_07.05 GiB主线 llama.cpp 全后端 fork 二进制*-Q2_0.gguf旧128 存成 id 42—⚠️ 已废弃新版二进制直接拒绝加载对比官方 group-64Q2_0PQ2_0的文件小约 6%、内存占用更低并且 CUDA、Metal、CPU、ROCm 四个后端都有专用加速内核。fork 也没有停在旧主线上它已完成对最新主线的 rebase发布线prism-b10658demo 当前捆绑prism-b10660-e311ed3自研内核与主线新特性两样都不缺。格式与命名的完整背景见 MODEL-FORMATS.md 与 README.md。免编译16 平台预编译二进制与自动选文件不同后端要用不同的 GGUF 文件但你不需要记任何文件名——脚本替你决定。二进制层面fork 的 Release 频道发布了覆盖 16 个平台的现成二进制包括 macOSApple Silicon / Intel / KleidiAI、LinuxCPU / CUDA 12.4 / 12.8 / 13.3 / Vulkan / ROCm、Windows 全系甚至iOS XCFramework。scripts/download_binaries.sh 会自动检测你的操作系统、CPU 架构、GPU 类型和 CUDA 版本下载对应的压缩包到bin/目录。文件层面scripts/common.sh 里的pq2_0_ready_backend()函数负责决策——Metal / CUDA / ROCm / CPU 等已优化后端优先选PQ2_0Vulkan 等尚无内核的后端自动回退到官方 group-64 文件整个过程对你透明。两个可选加速项dspark 投机解码与 4-bit KV 缓存用BONSAI_SPECULATIVE1开启 dspark 投机解码fork 在主线自带的 DSpark 实现之上打了几个补丁log-SNR 条件、模型布局自动检测以及配套的 drafter 转换工具gguf-dspark-to-dflash。27B 模型自带一个约 0.6 GB 的打草稿小模型实测在 L40SCUDA上三值 27B 解码提速1.8–2.4 倍代码/数学类任务收益最大1-bit 27B 为 1.4–1.75 倍M5 MaxMetal上仅三值代码/数学负载约有 1.2 倍收益。开启方式与环境取舍详见 SPECULATIVE.md。用 q4_0 压缩 KV 缓存针对超长上下文fork 提供 4-bit KV 缓存--cache-type-k/v q4_0KV 内存直接砍掉约 3.5 倍再附赠一个llama-kv-mean-center校准工具——跑一次 scripts/make_kv_bias.sh 生成模型专属偏置文件就能在几乎零开销下补回量化损失的质量。详见 KV-CACHE.md。 两命令一键安装从 clone 到聊天页面不需要编译macOS / Linux 两条命令即可git clone https://gitcode.com/GitHub_Trending/bo/Bonsai-demo cd Bonsai-demo ./setup.shsetup.sh会自动完成装依赖 → 下载模型默认 Ternary-Bonsai-27B→ 下载 fork 预编译二进制 → 安装 Open WebUI。然后启动带网页聊天界面的推理服务./scripts/start_llama_server.sh # 打开 http://localhost:8080 即可聊天想换模型家族或尺寸用环境变量即可BONSAI_FAMILYbonsai BONSAI_MODEL4B ./setup.sh全部 24 个可调变量上下文、GPU offload、投机解码等参考 environment_variables.md。从源码编译prism分支如果你更想自己编译比如打自定义补丁构建脚本会自动 clone fork 的prism分支并做全量构建产物放进bin/mac/./scripts/build_mac.sh # macOSApple Silicon 自动开 Metal ./scripts/build_cuda_linux.sh # Linux CUDA自动探测 CUDA 版本各平台的完整构建命令在 README.md 的 Building from Source 一节哪些硬件参数值得动、怎么动见 AGENTS.md。⚠️ 容易踩的坑废弃格式与主线兼容旧版*-Q2_0.gguf打不开那是迁移前的废弃格式group-128 存成了 type id 42新版二进制会明确报错并指向正确的两种格式。换PQ2_0或_g64文件即可。27B 还有个文件名陷阱按Q2_0搜索会先命中废弃文件现行官方文件实际叫Ternary-Bonsai-27B-Q2_g64.gguf。主线 llama.cpp 能跑 Bonsai 模型吗1-bitQ1_0可以官方 group-64Q2_0三值文件也可以CPU / Metal / Vulkan / CUDA但要享受最小的PQ2_0文件和 dspark 投机解码需要用 demo 的 fork 二进制。BONSAI_SPECULATIVE1是不是稳赚收益依赖负载代码/数学最大日常闲聊最小Apple Silicon 上不建议开启因为只有三值的代码/数学负载有收益。一句话收束这套 llama.cpp fork 把 1-bit / 三值推理做成了工程化、全平台、可复现的方案——fork 内核跑模型脚本管环境community-benchmarks/ 里的 benchmark 集管验证。对你来说它是在低内存设备上体验前沿模型能力最省心的入口clone 仓库、跑setup.sh、打开 localhost:8080 就完事。【免费下载链接】Bonsai-demoBonsai Demo项目地址: https://gitcode.com/GitHub_Trending/bo/Bonsai-demo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考