智谱发布AndroidGen框架革新大语言模型Agent能力数据稀缺场景下实现复杂任务突破在人工智能技术迅猛发展的当下大语言模型LLM在各类任务中展现出强大潜力但在数据稀缺场景下执行复杂任务时仍面临挑战。智谱技术团队推出的AndroidGen框架正是针对这一痛点通过创新的数据收集与训练方式显著增强了LLM的Agent能力为移动智能交互领域带来新的突破。如上图所示图片以深蓝色为背景搭配白色的“AndroidGen”文字和三个绿色安卓机器人图标清晰呈现了智谱推出的AndroidGen框架的视觉形象。这一标识不仅代表着框架的技术属性也直观体现了其专注于增强大语言模型Agent在安卓系统上能力的核心目标为开发者和技术爱好者提供了对该框架的第一印象和品牌认知。AndroidGen框架的核心优势在于无需人工标注轨迹即可开发高效Agent。传统的Agent训练往往依赖大量人工标注的轨迹数据耗时费力且成本高昂。而AndroidGen通过收集人类任务轨迹并直接基于这些轨迹训练语言模型省去了人工标注的繁琐步骤。这一创新的数据收集与训练模式使得在数据稀缺的情况下也能快速构建出具备强大任务执行能力的Agent极大降低了Agent开发的门槛。为了实现对Agent任务执行能力的增强AndroidGen整合了四个核心模块分别是ExpSearch经验搜索、ReflectPlan反思计划、AutoCheck自动检查和StepCritic步骤评估。ExpSearch模块通过检索已完成的类似轨迹让LLM进行上下文学习帮助Agent实现从简单任务到复杂任务的泛化就像人类借鉴过往经验解决新问题一样。ReflectPlan模块则能让Agent对当前环境进行自我反思并更新计划状态有效增强了Agent的长期推理能力使其在面对多步骤、长周期的任务时能够保持清晰的思路和正确的方向。AutoCheck模块主动验证每个Agent操作的有效性及时发现并纠正操作失误降低了因错误操作导致任务失败的风险如同为Agent配备了一名实时监督员。StepCritic模块将复杂任务分解为多个子目标并对每个步骤的轨迹进行评估为模型优化提供细粒度标签使模型能够针对性地改进提升整体任务执行的准确性和效率。在技术实现上AndroidGen构建了一个高效的数据收集管道能够生成大量高质量的Android浏览轨迹。该数据收集流程首先进行任务制定基于GPT-4o根据AndroidWorld中的指令生成约300条任务指令确保任务的多样性和代表性。接着进行Agent采样基于AndroidWorld和GPT-4o对每个任务的轨迹进行采样模拟人类在安卓系统上的操作过程。随后系统会详细记录每一步的环境和操作信息构建可复现的Android导航轨迹为后续训练提供真实可靠的数据基础。轨迹记录完成后使用StepCritic对记录的轨迹进行评估确保每个子目标都已完成保证数据质量。最后进行轨迹增强扩充高质量数据集最终构建了一个包含1000多个轨迹的丰富数据集为模型训练提供了充足的“养料”。模型训练方面AndroidGen采用LoRA技术针对自动构建的数据集对GLM-4-9B和Llama-3-70B等模型进行微调得到Android Agent模型。训练过程中无需人工标注轨迹而是将轨迹中的每一步作为独立样本进行训练充分挖掘和利用了数据集中的信息提高了数据的利用效率。同时通过将规划和执行步骤混合起来进行微调使LLM能够同时具备规划和执行的能力实现了规划与执行的有机统一让Agent在执行任务时更加流畅和高效。出色的技术设计带来了显著的性能效果。在AndroidWorld基准测试中AndroidGen框架表现亮眼显著提升了相同基础模型Agent的能力。与M3A和SeeAct等现有方案相比AndroidGen的性能提升更为突出。其中AndroidGen与GPT-4o的组合平均得分达到了46.8远超其他组合展现出强大的协同效应。更令人瞩目的是模型参数更小且开源的GLM-4-9B与AndroidGen结合后平均得分超过了模型参数更大且闭源的GPT-4o与M3A的组合这一结果充分证明了AndroidGen框架在提升模型性能方面的卓越能力也体现了开源模型在该框架支持下的巨大潜力。不仅在基准测试中表现优异在更贴近真实应用场景的AitWAndroid in the Wild和八款全球流行的移动应用程序如Google Maps、YouTube等的评测中AndroidGen同样展现出强大的实力。在真实设备环境中它能够准确理解自然语言指令并进行流畅的交互操作充分验证了其在实际应用中的可靠性和实用性。AndroidGen框架的应用场景十分广泛涵盖了自动化任务处理、跨应用操作、智能导航和智能交互等多个方面。在自动化任务处理中用户只需通过自然语言指令Agent就可以自动完成发送邮件、设置提醒、查询信息等日常任务极大节省了用户的时间和精力。跨应用操作方面Agent能够在不同的应用之间进行灵活交互例如从一个应用复制数据到另一个应用实现数据的无缝流转和协同工作。智能导航功能让Agent可以根据用户指令在Android设备上进行精准导航如打开特定的应用、查找文件等为用户提供便捷的设备操作体验。在智能交互上通过强大的自然语言理解能力Agent能与用户进行自然、流畅的交互根据用户的需求提供个性化的服务打造更智能、更人性化的用户体验。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考