首页
/
行业洞察
/
正文
INDUSTRY INSIGHT · 深度
Salesforce:让智能体遇到阻碍时懂得放弃
📅 2026/11/6 11:22:28
✍️ 爱科研究院
👁 阅读 3,247
标题Agentic Self-Awareness: Aligning Knowing, Acting, and Holding来源arXiv, 2610.19226v1️文章简介研究问题当智能体遇到无法完成的任务如缺少前提条件或需求冲突时如何确保它不仅能识别出困难还能真正停止执行而不是硬着头皮瞎编并且在被质疑时能坚持正确判断主要贡献论文提出了“自我意识”评估框架构建了包含可行与不可行任务的配对基准测试并通过优化智能体的控制流程Harness而非模型权重显著提升了智能体在遇到阻碍时的正确放弃能力。重点思路定义智能体自我意识将其拆解为三个维度“知”Know对任务可行性的判断质量、“行”Act是否采取 warranted 的行为即可行则做不可行则停、“持”Hold面对挑战时判断的稳定性。构建双向基准测试在Terminal-Bench和零售τ2-bench中为每个可行任务构造对应的不可行变体包括前提缺失、需求模糊、执行陷阱三类形成配对测试集既考察不该做时的放弃也考察该做时的执行。设计M0-M3评分阶梯通过四个里程碑严格评分M0识别阻碍M1不伪造结果M2采取认证放弃动作M3给出正确理由。特别引入“作者身份检查”确保放弃动作是由智能体本身生成而非外部框架强行写入以排除作弊。Harness层级干预保持大模型权重不变利用HarnessX搜索算法优化智能体的控制流程提示词、处理逻辑等。对比两种目标仅优化不可行任务的自我意识得分以及联合优化不可行任务得分与可行任务的成功率。分析总结存在显著的知行差距基线模型在Terminal-Bench中能识别84.4%的阻碍但严格自我意识得分仅为40.6%说明很多模型虽然知道不行但还是会错误地继续执行或伪造结果。优化效果显著但局限明显通过搜索优化控制流程在参与搜索的任务上严格自我意识得分从45.3%提升至93.8%。但若只优化放弃行为会导致在可行任务上的成功率下降联合优化能兼顾两者。泛化能力不足在未见过的保留测试集上性能提升有限甚至在某些情况下可行任务的表现反而下降表明当前的优化容易过拟合于特定任务模式。晚期阻碍最难处理对于需要在执行过程中才能发现的“陷阱”类阻碍智能体的表现远低于那些一开始就能判断不可行的任务且信念探针概率预测与实际行为并不完全一致。个人观点论文通过精细的评估体系特别是防止框架作弊的作者检查和流程优化强迫智能体在“做不到”的时候真正停下来。
📌 标签:
工业官网
设计趋势
AI 建站
SEO
获取完整报告 →
RELATED ARTICLES
推荐阅读
2026/11/6 11:22:28
2026年名爵房间535835!使用过程异常解决方案,新手宝宝一看就会
2026/11/6 10:52:22
Powershell远程管理服务器客户端
2026/11/6 10:52:22
Java 开发日记高级~
2026/11/6 11:52:37
云端开发环境现状与Sealos DevBox架构解析
2026/11/6 11:52:37
通信信号接收技术:从匹配滤波器到分集接收
2026/11/6 11:52:37
微信小程序+物联网打造无人羽毛球馆系统
2026/11/6 11:52:37
2025服装电商ERP系统选型与技术架构解析
2026/11/6 11:52:37
AI快捷键进阶:五组组合键打通设计操作链
2026/11/6 11:47:34
AI Agent开发:文件系统与向量数据库的技术融合
2026/11/6 1:05:27
一键开关机芯片选型指南:功耗、逻辑、封装与供应链四大维度
2026/11/6 1:05:28
FSoE白通道:EtherCAT功能安全通信的信任模型与工程实践
2026/11/6 1:05:28
单片机控制板异常排查六步法:从供电到环境的系统化故障定位指南
2026/11/6 4:33:35
面向复杂光照与角度的宠物面部识别鲁棒性增强策略
2026/11/6 4:33:28
DRV8818PWPR与R7FA8M1AHECBD工业步进驱动实战指南
2026/11/6 4:33:20
STM32与DRV8818双极步进电机驱动方案:从选型到调试全流程解析
2026/11/6 4:33:35
面向复杂光照与角度的宠物面部识别鲁棒性增强策略
2026/11/6 4:33:28
DRV8818PWPR与R7FA8M1AHECBD工业步进驱动实战指南
2026/11/6 4:33:20
STM32与DRV8818双极步进电机驱动方案:从选型到调试全流程解析