【免费下载链接】flint-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/flint-OptiQ-4bit点击查看免费下载flint-OptiQ-4bit 是面向 Apple Silicon 的本地大语言模型量化版本由 mlx-optiq 工具链构建基于 Recursive 的 40B-A2.5B 混合专家MoE编码模型 flint 完成混合精度量化。它把约 80 GB 的 bf16 权重压缩到 25.6 GB让你在家用 Mac 上就能跑一个会思考的编码 Agent全程无需 PyTorch、无需云端。flint-OptiQ-4bit 是什么一分钟了解项目说明基座模型RecursiveSI/flint40B 总参数、约 2.5B 激活参数的 MoE 编码模型量化方式OptiQ 混合精度369 层 8-bit 116 层 4-bitgroup size 64模型结构49 层2 层稠密层 47 层 MoE256 个路由专家top-6 选择外加 1 个共享专家磁盘占用25.6 GB相比 bf16 约 80 GB 大幅缩减显存/内存需求权重约占 26 GB 统一内存48 GB 及以上体验更从容能力得分六项基准平均 86.20HumanEval 89.0%、MMLU 86.4%、GSM8K 92.6% 等 两个新手常见疑问4bit为什么实际是混合精度命名沿用了 llama.cpp 的惯例4bit指的是量化家族而非各层位数的加权平均。对敏感层保留 8-bit稳健层压到 4-bit是质量与体积的平衡方案。为什么需要装 mlx-optiq原生mlx-lm还没有内置flint架构OptiQ 提供了一个 MLX 移植版并在import optiq时自动注册之后就能直接用mlx-lm的标准接口加载推理。量化方案可参见仓库中的 optiq/metadata.json其中记录了逐层的位宽分配。第1步一键安装 mlx-optiq在 Mac 上打开终端确认已安装 Python3.9然后执行pip install mlx-optiq0.7.2安装完成后可以顺手验证一下python -c import optiq; print(mlx-optiq ready)⚠️ 注意此模型依赖 Apple 的 MLX 框架请在 Apple SiliconM 系列芯片Mac 上运行不建议用 NVIDIA/AMD 显卡机器或 Windows 环境。第2步下载模型并运行首次本地推理模型权重无需手动下载——mlx-lm会在首次load时自动拉取mlx-community/flint-OptiQ-4bit约 25.6 GB请预留足够磁盘空间。创建一个简单脚本例如run_flint.pyimport optiq # 关键注册 flint 架构到 mlx-lm from mlx_lm import load, generate model, tok load(mlx-community/flint-OptiQ-4bit) prompt tok.apply_chat_template( [{role: user, content: 写一个合并重叠区间的 Python 函数}], tokenizeFalse, add_generation_promptTrue, ) print(generate(model, tok, promptprompt, max_tokens4096))运行python run_flint.py首次加载较慢属于正常现象26 GB 权重需要读入统一内存。看到模型开始输出即代表本地推理成功 为什么建议给足max_tokensflint 是先推理、后回答的思考型模型生成时会先输出一段思考过程。官方建议至少 4096复杂任务可更大。第3步启动 OpenAI 兼容的本地推理服务如果不想每次都写脚本用一条命令把它变成标准 API 服务optiq serve --model mlx-community/flint-OptiQ-4bit该服务同时兼容 OpenAI 和 Anthropic 接口并支持工具调用tool calls与 prompt 缓存。启动后可用任意 OpenAI 兼容客户端如各类 chat GUI 工具指向本地地址把它当作私有云 API使用。推荐的生成参数仓库内的 generation_config.json 已固化官方推荐值mlx-lm与optiq serve会自动读取参数推荐值作用temperature1.0保留思考多样性top_p0.95核采样过滤尾部低概率词top_k20只从概率最高的 20 个候选词中采样对话格式由 chat_template.jinja 定义系统提示、多轮对话的拼接规则都封装在其中普通用户无需修改。仓库关键文件速览文件用途README.md项目说明量化细节、基准测试、使用方法config.json模型结构配置49 层、256 专家、每层位宽分配generation_config.json官方推荐采样参数optiq/metadata.jsonOptiQ 量化元数据目标 5.0 bpw实际 5.001chat_template.jinja对话模板tokenizer.json分词器model.safetensors.index.json6 个分片权重文件的索引新手常见问题 FAQQ132 GB 内存的 Mac 能跑吗能跑但偏紧。权重本身约占 26 GB长提示词long prompt会进一步吃内存官方在 36 GB 机器上构建验证过48 GB 及以上更从容。Q2第一次加载特别慢、终端半天没反应属正常现象。25.6 GB 权重从磁盘加载进内存需要时间之后生成速度会明显快起来——MoE 结构每 token 仅激活约 2.5B 参数。Q3输出中途被截断把max_tokens调大。思考型模型需要充足预算4096 只是起步值。Q4这个模型擅长什么定位是编码 AgentHumanEval 89.0%、BFCL-V3函数调用87.0%适合写代码、调 API、多步工具调用长上下文检索HashHop 72.0%相对是短板。小结三步走完全程装工具 → 加载推理 → 起服务。flint-OptiQ-4bit 用混合精度量化把一个 40B 级编码模型塞进 25.6 GB配合 mlx-optiq 的自动架构注册是 Apple Silicon 用户目前体验本地会思考的编码 Agent最省事的方案之一。祝你的本地推理之旅顺利赞分享【免费下载链接】flint-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/flint-OptiQ-4bit点击查看免费下载相关推荐如何快速上手 Llama-Guard-3-1B-chat-mlx-8bit从 pip 安装到首次推理的 5 步入门教程如何快速上手 Llama Guard 3 1B chat mlx 8bit从 pip 安装到首次推理的 5 步入门教程 Llama Guard 3 1B ch人工智能大模型基础模型模型量化本地部署内容安全如何在Apple Silicon上3步跑通Ornith-1.5-9B-OptiQ-4bit免PyTorch、免云端的本地LLM快速入门教程如何在Apple Silicon上3步跑通Ornith 1.5 9B OptiQ 4bit免PyTorch、免云端的本地LLM快速入门教程 想在 MacBoo大模型推理模型模型量化本地部署如何在Apple Silicon上跑通Spark-X2.5-4B-OptiQ-4bit5分钟3步上手的MLX本地大模型教程如何在Apple Silicon上跑通Spark X2.5 4B OptiQ 4bit5分钟3步上手的MLX本地大模型教程 想在 Mac 上离线运行大模型S创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考