# COMPASS: Finding Where Reasoning Lives in Language Models（arXiv:2610.07469） 论文链接：https://arxiv.org/abs/2610.07469## 一、文章主要内容总结本文聚焦大语言模型推理的内部机制，研究**模型推理能力究竟存在于模型的哪些组件之中**，提出了推理引导推理的推理时干预方法 **COMPASS**。现有激活干预类方法，大多依赖CoT提示、对比CoT方向、SAE稀疏自编码器提取推理特征，需要预先对“推理”做人工定义。而本文针对数学推理这类答案可验证的任务，仅使用**模型自身直接作答结果的对错作为监督信号**，就可以得到推理的隐空间方向，以此做推理时激活干预提升数学推理性能。COMPASS通过**logit空间归因分数**筛选出少数关键注意力头，沿着“正确方向”对这些注意力头的激活做干预，仅需要每个注意力头的激活统计量，**不需要微调、不需要CoT样例**。实验在3个模型家族、多个数学基准上开展：1. GSM8K数据集平均提升16个百分点；2. 相比CoT，生成token数量减少20‑70%，性能接近CoT；3. 干预模型无需重新拟合，可直接迁移到未见过的基准数据集；4. 消融实验证明：**正确方向信号 + 少数特定注意力头，二者缺一不可**，推理效应高度集中在少量注意力头上。## 二、主要创新点1. **全新的监督信号**：不依赖CoT样本、不预先定义推理概念，仅利用模型直接输出答案的正误作为监督，提取推理隐方向，用于激活干预。2. **logit‑space归因筛选注意力头**：提出归因打分，定位真正可以干预推理效果