# Dynamic Positional Attention Modulation 论文阅读笔记 论文信息：arXiv:2610.07848，KDD 2026，标题：*Dynamic Positional Attention Modulation for Parameter‑Efficient Fine‑Tuning of Large Language Models*## 一、文章主要内容现有参数高效微调（PEFT）大多采用**统一、静态**的适配方式，没有考虑注意力在维度、注意力头、网络层、输入token上存在结构化异质性。像RoPE旋转位置编码会带来和维度强相关的位置结构，对模型做统一适配无法充分利用该特性，性能存在天花板。本文提出 **DyPAM（Dynamic Positional Attention Modulation，动态位置注意力调制）**，属于全新PEFT方案。该方法直接作用于Query、Key表征，对位置信息在注意力中的贡献进行自适应调整。它融合了**输入条件驱动的逐维度调制**，以及**逐头、逐层的结构化调制**，在不改动预训练主干模型权重前提下，完成和RoPE结构对齐的细粒度位置注意力适配。作者在多个主干模型上，使用数学推理、常识推理基准开展大量实验，DyPAM对比主流PEFT基线取得稳定性能提升。## 二、核心创新点1. **问题洞察**：指出传统PEFT静态统一适配的缺陷，RoPE带来维度依赖的位置结构，注意力在维度/头/层/token上具备异质性，统一微调不是最优方案。2. **DyPAM架构**：直接在Query、Key表征层面调制位置信息对注意力的贡献，不修改预训练主干权重，属于增量式PEFT。3. **多层级联合调