【免费下载链接】K2-Horizon-3.7B-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/K2-Horizon-3.7B-4bit点击查看免费下载K2-Horizon-3.7B-4bit 是专为 Apple Silicon 打造的 MLX 本地推理模型3.7B 参数、512K 超长上下文、4-bit 混合精度量化后仅 4.1 GB16 GB 内存的 Mac 就能流畅运行。本文带你从零开始5 分钟完成安装并跑通第一次本地推理附完整的参数说明、调优技巧与常见问题解答新手也能轻松上手。一、K2-Horizon-3.7B-4bit 是什么K2-Horizon-3.7B 是 IFM 推出的小型dense全连接推理模型而这个仓库是它针对 Mac 优化的4-bit 混合精度 MLX 量化版。核心卖点一句话概括512K 上下文最大支持 524,288 个 token可一次性塞入整本技术文档或超长代码库为 Apple Silicon 而生基于 MLX 框架充分利用 M 系列芯片的统一内存与 GPU⚡速度极快M4 Max 128GB 上实测生成速度达109.6 tok/s体积小巧磁盘占用 4.1 GB等效6.5 bits/weight思考后再回答回答前会先输出ifm|think思考块推理能力更强量化方案说明MLP 权重gate_proj、up_proj、down_proj采用4-bit / group 32注意力、embedding 与lm_head采用8-bit / group 64。实测纯 4-bit 会导致 WikiText-2 困惑度恶化 21.5%而这套混合方案仅 4.4%质量损失极小。架构与模型配置定义在 config.json 中model_type: k2_horizon、max_position_embeddings: 524288MLX 推理实现代码见 k2_horizon.py。二、硬件要求你的 Mac 能跑吗项目要求芯片Apple SiliconM1 及以上内存短提示词峰值仅4.3 GB16 GB Mac 即可运行磁盘约 4.1 GB权重文件 model.safetensors软件Python mlx-lm⚠️关于长上下文的内存提醒KV cache 在 bf16 下约消耗144 KB/每 token128K token 时约 18 GB。也就是说日常问答、几万字文档 → 16 GB Mac 完全够用真要吃满 128K 以上超长上下文 → 建议 32 GB 以上内存或使用--max-kv-size、--kv-bits 8压缩 KV cache见下文三、5 分钟安装一条命令搞定第 1 步安装 mlx-lmpip install -U mlx-lm第 2 步了解一个特殊参数--trust-remote-code目前 mlx-lm 官方尚不支持k2_horizon架构因此本仓库自带了 MLX 模型代码k2_horizon.py由 config.json 中的model_file字段指向加载。该文件会直接在你的 Mac 上执行建议先浏览一遍——文件头部的注释详细说明了它与 IFM 官方 PyTorch 实现的差异已逐层验证相对误差小于 4e-6。出于安全原因新版 mlx-lm 加载时必须添加--trust-remote-code参数Python API 中为trust_remote_codeTrue。四、跑通第一次本地推理安装完成后直接在终端执行mlx_lm.generate --model mlx-community/K2-Horizon-3.7B-4bit --trust-remote-code --prompt Explain mixture-of-experts in two sentences. --max-tokens 2048几个关键参数--model模型名称mlx-lm 会自动下载并缓存权重--trust-remote-code允许加载仓库自带的 k2_horizon.py必需--max-tokens最大生成长度。注意模型会先思考再回答思考内容在ifm|think … /ifm|think标签内请给足空间否则回答可能被截断也可以用 Python API 快速验证from mlx_lm import load, generate model, tokenizer load(mlx-community/K2-Horizon-3.7B-4bit, trust_remote_codeTrue) messages [{role: user, content: Explain mixture-of-experts in two sentences.}] prompt tokenizer.apply_chat_template(messages, add_generation_promptTrue) print(generate(model, tokenizer, prompt, max_tokens2048))五、进阶用法聊天模式与本地 API交互式聊天mlx_lm.chat --model mlx-community/K2-Horizon-3.7B-4bit --trust-remote-code进入多轮对话模式体验接近 ChatGPT 的本地聊天。启动本地 API 服务mlx_lm.server --model mlx-community/K2-Horizon-3.7B-4bit --trust-remote-code启动后可用 OpenAI 风格的 HTTP 接口调用方便接入本地应用。 注意mlx-lm 目前尚未识别ifm|think标签mlx_lm.server会把思考文本直接放在content字段里返回位于/ifm|think之前而不是单独的reasoning字段。六、调节思考深度reasoning_effort 参数模型默认以高强度思考作答对话模板 chat_template.jinja 通过reasoning_effort控制思考档位取值思考强度适用场景high默认深度推理复杂数学、代码难题medium中等日常综合任务low快速直答简单问答、追求速度在 Python 中调用模板时传入即可prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, reasoning_effortlow )调低reasoning_effort还能显著减少输出 token 数是省内存、提速度的一手好棋。七、性能参考4-bit 版有多快官方在Mac Studio M4 Max 128GB上对三个量化版本做了同条件测试指标bf168-bit4-bit本版每权重位数168.56.5磁盘占用10.1 GB5.4 GB4.1 GB峰值内存10.2 GB5.5 GB4.3 GBWikiText-2 困惑度17.55217.54418.3244.4%生成速度50.3 tok/s84.2 tok/s109.6 tok/s结论4-bit 版速度最快、体积最小质量损失仅 4.4% 困惑度是绝大多数场景的最优选择。八、常见问题FAQQ1报错提示需要 trust_remote_code命令行加--trust-remote-codePython 中加trust_remote_codeTrue这是本模型的硬性要求。Q2长上下文时报内存不足OOM两个办法--max-kv-size限制 KV cache 上限--kv-bits 8将 KV cache 量化到 8-bit两者可叠加使用能大幅降低长上下文的内存压力。Q3回答里为什么会有一段自言自语那是模型的思考块ifm|think内容属于正常的推理过程最终答案在其后。可用reasoning_effortlow缩短。Q4支持工具调用function calling吗对话模板已内置工具定义渲染json / xml / markdown 三种呈现格式xml 为默认但 mlx-lm 侧对工具调用格式尚未完整解析建议以官方后续更新为准。九、仓库核心文件一览文件说明README.md完整文档量化方案、基准测试、使用方法k2_horizon.py模型 MLX 推理实现628 行含详细移植注释config.json模型架构与逐层量化配置chat_template.jinja对话模板思考标签、reasoning_effort、工具调用格式model.safetensors model.safetensors.index.json4-bit 量化权重共 4.1 GB、50.6 亿参数tokenizer.json / tokenizer_config.json分词器及其配置generation_config.json生成结束符等基础配置模型许可证为Apache-2.0可自由用于个人与商业场景。写在最后K2-Horizon-3.7B-4bit 证明了小而强的本地推理模型完全可以在普通 Mac 上跑出旗舰体验一条pip install、一行mlx_lm.generate5 分钟即可获得一个 512K 长上下文、百 token 每秒的本地 AI。先跑通短提示词再逐步挑战长文档与代码库——祝你在自己的 Mac 上玩得开心赞分享【免费下载链接】K2-Horizon-3.7B-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/K2-Horizon-3.7B-4bit点击查看免费下载相关推荐认识 K2-Horizon-3.7B-4bit:3.7B 推理模型 4-bit 量化 512K 上下文的完整档案认识 K2 Horizon 3.7B 4bit:3.7B 推理模型 4 bit 量化 512K 上下文的完整档案 K2 Horizon 3.7B 4bi512K 长上下文实测:K2-Horizon-MoVA-36B-A4B-oQ4e 处理超长文档到底行不行512K 长上下文实测:K2 Horizon MoVA 36B A4B oQ4e 处理超长文档到底行不行 本文实测 K2 Horizon MoVA 36BK2-Horizon-MoVA-36B-A4B-oQ4e 是什么1篇看懂 36B 稀疏 MoE 512K 长上下文推理模型K2 Horizon MoVA 36B A4B oQ4e 是什么1篇看懂 36B 稀疏 MoE 512K 长上下文推理模型 K2 Horizon MoVA创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考