【免费下载链接】Meta-Llama-3-8B_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Meta-Llama-3-8B_rai_1.8.0_hybrid点击查看免费下载Meta-Llama-3-8B_rai_1.8.0_hybrid 是 AMD 针对 Ryzen AIRAI处理器深度优化的 Llama 3 8B 大语言模型以 AWQ 4-bit 量化 ONNX 格式交付可让 80 亿参数模型在笔记本端侧高效推理。这篇文章带你从架构、GQA 注意力机制到 KV 缓存完整看懂它的实现原理。1. 仓库文件一览模型是怎么打包的这个仓库不是普通的 PyTorch 模型而是面向端侧推理的 ONNX 部署包。先认识一下各文件的分工文件作用model.onnx主计算图ONNX 模型描述怎么算model.onnx.dataONNX 外部权重数据描述权重存在哪model.pb.binRyzenAI 混合图hybrid graph外部数据文件model.bin辅助权重数据config.json模型架构与量化配置核心文件params.jsonLlama 原始架构参数dim、n_layers 等genai_config.jsonONNX Runtime GenAI 推理配置KV 缓存、搜索参数rai_config.json不同 RAI 驱动版本的提示词长度限制tokenizer.json、tokenizer_config.json、special_tokens_map.json分词器及特殊 token|begin_of_text|、|end_of_text|README.md、USE_POLICY.md、LICENSE说明文档与许可证MITmodel.onnx本体只有图结构真正的数 GB 权重存放在model.onnx.data外部数据文件中——这是 ONNX 大模型部署的常见做法便于文件分片与按需加载。2. 32层 Llama 架构核心参数拆解打开 config.json模型的关键形态一目了然参数值含义num_hidden_layers32Transformer 解码层数hidden_size4096隐藏层维度Token 向量长度num_attention_heads32注意力头数Q 头num_key_value_heads8KV 头数 → GQA 关键head_dim128每个注意力头的维度intermediate_size14336FFN 前馈层宽度≈ 4096 × 3.5vocab_size128256词表大小max_position_embeddings8192最大上下文长度rope_theta500000.0RoPE 旋转位置编码基频dtypebfloat16计算精度这些与 Llama 官方 params.jsonn_layers: 32、n_heads: 32、n_kv_heads: 8完全一致说明架构忠实还原了原版 Meta-Llama-3-8B。每一层的前向流程是标准的Pre-Norm 残差结构Token → 词嵌入(128256 → 4096维) ↓ ┌─ 重复 32 次 ─────────────────────────┐ │ RMSNorm → 注意力(GQA RoPE) → 残差相加 │ │ RMSNorm → FFN(SiLU激活) → 残差相加 │ └──────────────────────────────────────┘ ↓ RMSNorm → LM Head(4096维 → 128256词表) → 下一个Token概率几个值得注意的设计点RoPE 旋转位置编码rope_theta: 500000.0Llama 3 采用相对位置编码通过旋转 Q、K 向量注入位置信息比可学习位置向量更利于长度外推。RMSNormconfig.json 中rms_norm_eps: 1e-05比 LayerNorm 少一次减均值计算更省是 Llama 系列的标配归一化。SiLU 激活 SwiGLU 结构hidden_act: siluFFN 用 gate_proj / up_proj / down_proj 三组矩阵用门控机制提升表达能力代价是参数量约为传统 FFN 的 1.5 倍。3. GQA注意力8个KV头如何省下4倍显存普通多头注意力MHA中每个头都要独立存储 K、V 向量。Llama 3 改用GQAGrouped Query Attention分组查询注意力32 个 Q 头只配 8 个 KV 头 —— 每 4 个 Q 头共享一组 K、V。这一比例32 : 8 4 : 1在 config.json 和 genai_config.json 中都有体现。它的价值可以用一笔账说明单 Token 的 KV 缓存体积bfloat16每头 128 维方案KV 头数每 Token 全部 32 层缓存8192 Token 满载MHA32 KV头32512 KiB约 4 GiBGQA8 KV头✅8128 KiB约 1 GiB计算方式2K和V× KV头数 × 128维 × 2字节 × 32层。对端侧设备来说这个省下的 3 GiB正是长上下文能否跑起来的分水岭——GQA 让 KV 缓存缩小到 1/4而质量损失微乎其微这就是 Llama 3 系列选择它的原因。GQA注意力机制4. KV缓存实现原理ONNX图里的past/present理解了 GQA再看 ONNX 层面 KV 缓存的落地。打开 genai_config.json模型的输入输出接口定义得很直白输入: input_ids, attention_mask, position_ids past_key_values.%d.key ← 第%d层的历史K past_key_values.%d.value ← 第%d层的历史V 输出: logits ← 下一Token概率 present.%d.key ← 更新后第%d层K含新Token present.%d.value ← 更新后第%d层V含新Token其中%d就是 0~31 的层号共32 层 × (K V) 64 个缓存张量。推理过程由此变成Prefill 阶段一次性喂入整个提示词算出所有层的 K、V 缓存Decode 阶段每生成 1 个 Token只对它计算新的 K、V与历史缓存拼接后输出present下一轮作为past传入——避免了每步重算全部历史genai_config.json 中past_present_share_buffer: true表示 past 与 present共享同一块内存原地拼接省去反复拷贝开销。两个 RAI 专属细节混合图hybrid graphgenai_config.json 的 RyzenAI Provider 选项指定了external_data_file: model.pb.bin和hybrid_opt_max_seq_length: 4096。所谓 hybrid是指 ONNX 主图与 RAI 专用优化图混合调度——NPU 可加速的部分走 NPU其余回退通用后端这正是仓库名中_hybrid的含义。缓存存于 RoPE 之前config.json 中kv_cache_post_rope: false即缓存的是未做旋转的原始 K、VRoPE 在每次读取时按当前位置动态施加保证不同步长的位置计算正确。5. AWQ 4-bit 量化8B 模型如何瘦身到端侧config.json 的quantization_config记录了完整的量化方案由 AMD Quark 工具完成quant_method: quark配置项值说明算法AWQ激活感知权重量化保护重要权重权重量化uint4group_size: 128每 128 个权重共享 1 组缩放因子对称性symmetric: false非对称量化缩放 零点取整round_method: half_even银行家舍入减少偏差激活BFP16计算时保持高精度作用范围q/k/v/o_proj、gate/up/down_proj覆盖全部线性层见 config.json 的scaling_layers一句话总结这套方案权重压到 4 bit约 1/4 体积计算仍用高精度——8B 参数模型体积大幅下降才能塞进 RAI 设备的统一内存里同时 AWQ 通过逐组缩放最大限度保住精度。6. 推理参数与RAI版本适配genai_config.json 的search段定义了默认采样策略也是调参的入口temperature: 0.6、top_p: 0.9、top_k: 50平衡流畅度与稳定性的保守组合max_length: 8192与模型max_position_embeddings对齐支持 8K 上下文do_sample: true启用随机采样而非贪心解码。另外 rai_config.json 规定了不同 RAI 驱动版本的提示词上限RAI 1.3.1~1.5.1 限 2048 Token1.6.0 及以上放宽到 4096 Token。如果你在不同硬件上遇到提示词过长报错先核对驱动版本是否匹配。7. 小结 回到仓库里的那串文件名现在它们各就各位了架构忠实 Llama 3 设计——32 层 Transformer、4096 维隐藏层、RoPE RMSNorm SwiGLUGQA32 Q 头共享 8 KV 头KV 缓存缩小到 MHA 的 1/4为长上下文腾出空间KV 缓存ONNX 图以past_key_values.%d.key/value输入、present.%d.*输出实现增量解码共享 buffer 零拷贝拼接量化AWQ uint4 / group 128 非对称量化让 8B 模型装得下、跑得动。想动手体验可参考 README.md 中指引的 Ryzen AI 官方文档完成部署。理解了这套架构 → 注意力 → 缓存 → 量化的链路你也能看懂其他 Llama 系列 ONNX 部署包的每一处设计。赞分享【免费下载链接】Meta-Llama-3-8B_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Meta-Llama-3-8B_rai_1.8.0_hybrid点击查看免费下载相关推荐Llama-3.1-8B_rai_1.8.0_hybrid架构参数全解hidden 4096、32层GQA注意力与128K长上下文的秘密Llama 3.1 8B_rai_1.8.0_hybrid架构参数全解hidden 4096、32层GQA注意力与128K长上下文的秘密 Llama 3.1深度解析MiniCPM5-2B-8bit模型架构Llama结构、GQA注意力与RoPE位置编码深度解析MiniCPM5 2B 8bit模型架构Llama结构、GQA注意力与RoPE位置编码 MiniCPM5 2B 8bit 是由 openbmb/MinLit-LLaMA模型架构深度解析从nanoGPT到完整LLaMA实现Lit LLaMA模型架构深度解析从nanoGPT到完整LLaMA实现 Lit LLaMA是一个基于nanoGPT实现的LLaMA语言模型项目它支持闪存注意人工智能大模型预训练微调LoRA模型量化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考