GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载agent-desktop 是一个用 Rust 编写的桌面自动化工具它让 AI Agent 通过操作系统辅助功能Accessibility树看到并操作任意应用的真实 UI。桌面自动化测试最大的难题在于命令返回ok: true不代表操作真的生效。这篇文章带你拆解 agent-desktop 的三层质量保障体系——E2E 框架、真实应用验证、性能基准看看它是如何做到每个效果都可独立验证的。核心哲学永远不信任 ok: true桌面自动化测试与 Web 自动化最大的不同你无法在受控的沙箱里跑测试。真实的鼠标在动、真实的窗口在切换、其他进程随时可能干扰。agent-desktop 的 E2E 套件确立了一条铁律见 tests/e2e/README.md只要 fixture 暴露了可观察的状态、值、进程、窗口或界面过渡命令返回ok: true就永远不算通过。也就是说测试必须通过独立的辅助功能观察来验证效果点击按钮后要重新读一次状态文本输入文字后要独立读回字段值。这套思想贯穿了下面三个测试层次。E2E 框架AgentDeskFixture 专用测试夹具应用测试夹具一个自带答案的 SwiftUI 应用E2E 套件不会在 Finder、Safari 这类不可控应用上打转而是构建并启动一个专用的 AgentDeskFixture.app源码见 AgentDeskFixture.swift。这个 fixture 应用里预埋了各种考点主按钮、延迟启用的按钮、永久禁用的按钮可移除的行用于验证失效 ref 的失败行为文本输入框与独立的状态回显区用于输入验证重名的双窗口、Sheet、菜单、展开/收起控件关键设计fixture 上的每个控件都带一个可独立观察的状态。点击主按钮后状态栏会从idle变成clicked-1、clicked-2——这既是断言依据也能检测延迟的重复点击AE2 验收项专门验证只派发一次。一键运行 E2E 套件AGENT_DESKTOP_E2E_EXCLUSIVE1 bash tests/e2e/run.shrun.sh 是全局编排入口它做了几件反污染的事隔离手段作用EXCLUSIVE1独占确认调用方必须声明桌面已独占停掉用户输入和其他自动化harness 锁阻止第二个原生测试并行启动不可变二进制 SHA-256从当前 checkout 以--locked构建 CLI/FFI/helper哈希后复制到只读路径测试只使用这些副本隔离 HOME 与临时目录独立的 ref/session 存储避免污染开发者真实状态进程组 超时 输出上限每个 CLI 子进程独立进程组带绝对超时和有界 stdout/stderr 捕获退出码语义0全部断言通过1行为失败2全局前置门槛失败前置门槛检查也很严格必须是 macOS、辅助功能权限已授予、fixture 可构建。fixture 启动后如果找不到预期的控件、窗口或状态读出直接判失败——缺失的前置条件永远不能变成一个成功的 SKIP。精确的 ref 命名空间lib.sh 的失败关闭断言lib.sh 提供 fail-closed 的断言和{ref_id, snapshot_id}成对目标助手。E2E 套件里find返回的 ref 与其 snapshot_id 是不可分割的一对后续所有get、is、wait都必须显式带上这个 snapshot。套件甚至会故意在 find 和 get 之间插入无关的观察命令来证明 ref 不依赖最新快照指针这种隐式状态——这正是 skills/agent-desktop/references/ 中推荐的 ref 工作流在测试层的落地。六大场景脚本E2E 套件测什么场景脚本覆盖范围observation.sh快照、定位器、命名空间固定、严格双胞胎元素interaction.sh无头/有头动作、exact-once 效果验证acceptance.shAE1–AE7 命名验收契约reliability.sh失效 ref、等待谓词、drill-down、会话surfaces.shSheet、菜单、拖拽、展开/收起trace_performance.shTrace 工件、敏感信息脱敏、耗时、清理拿 reliability.sh 里的一个经典断言举例先找到removable-row按钮再点掉它的父容器让它从界面上消失然后用原来的 ref去点击——断言必须收到STALE_REF/ELEMENT_NOT_FOUND等错误绝不允许通过一个失效 ref 派发点击。这就是失效 ref 带着原命名空间失败关闭的端到端验证。AE1–AE7把验收计划变成可执行断言acceptance.sh 对可靠性计划中的每个例子逐一点名断言AE1帧为零的可寻址按钮必须报告visiblefalseAE2CLI 与原生 release-FFI 消费者等待一个 800ms 后才启用的按钮恰好派发一次超时为零的立即检查不能产生迟到效果AE3永久禁用按钮 --timeout-ms 2000应返回TIMEOUT、details.kindactionability_timeout且last_report接近 2 秒AE4两个同标题窗口获得不同 id聚焦第二个 id 时聚焦的是那个精确窗口AE5权限提示隔离、非提示 Automation 探测Automation 被拒时有头通知操作必须返回PERM_DENIED由确定性的 permission-contract.sh 在不改动 TCC 的前提下覆盖AE6一个 batch 先捕获动作前基线点击后弹出 Sheet报告surface_appearedAE7同样的禁用动作、不带超时标志应在未改动的 5 秒默认值附近返回结构化超时AE2/AE3/AE7 同时在无头和有头策略模式下运行时间容差宽到容忍进程启动和调度噪声窄到能检测出缺失的等待、错误的默认值或无限期的超时。真实应用验证从 fixture 到 Numbers 和 Xcodefixture 测试提供确定性的回归但不能证明在真实复杂应用里能完成任务。tests/real-apps/ 目录就是为此存在的。Numbers 面向模型的可靠性评估real-apps/README.md 定义了一套极严格的评估协议当前基线冻结在 acceptance-v1.md模型必须直接读原始 JSON 并自己选 ref禁止插入 Python/jq 提取、自定义 ref 挑选器、原始 AX 变异或 AppleScript 来代打使用不可变 release 二进制 隔离的AGENT_DESKTOP_HOME 一个自己拥有的文档AD Reliability.numbers任务包括骨架遍历发现网格、选中 B2 并替换内容、编辑模式下读回原始 ref、切换 Sheet 并对比get/is与实际激活状态、改行数再改回、进入公式后保存关闭重开任何一步被阻塞后续依赖任务记为未完成绝不允许用脚本补数据然后算作 CLI 成功配套脚本 numbers-sheets.sh 用同一组 ref 执行 10 次 Sheet 切换失败的点击会拍一张诊断截图但永远不会重试——重试会掩盖问题。独立的原始 AX 诊断工具tests/real-apps/下还有一组 Swift/Objective-C 诊断探针它们不是Agent Desktop 的驱动而是第二双眼睛ax_probe.swift绕过 Agent Desktop 内部直接读原生属性/动作/可设置标志headless_probe.swift独立进程监听工作区激活通知、输入计数器和指针采样验证无头操作没有偷偷激活应用、没有偷走输入nested_scroll_fixture.m嵌套滚动回归——scroll-to前后各拍一张窗口截图仅仅返回verified: true不算有效的判定依据replace_range_probe.swift 与 replace_contract_fixture.m文本替换参数传递的差异诊断性能基准合成、真实应用、A/B 对比三层第一层合成定位器基准benchmarks/locator-resolution/ 是一个确定性基准在合成的 Chromium/Electron 辅助功能树上对比传统全量快照定位路径与无句柄的观察树求值器专门覆盖最坏情况深层匿名包装器链wrapper of wrapper of wrapper重复的 role/name 候选项移动的 bounds、同时存在AXIdentifier与AXDOMIdentifier大体积树JSON 报告包含 31 次运行的 p50/p95 墙钟延迟、候选节点数、谓词工作量、基数与正确性。它能离线运行cargo run --example locator_benchmark所以可以进 CI而需要辅助功能权限的原生 Slack/Electron 测量则留给高权限的 macOS 集成套件——职责划分非常清晰。第二层真实 Electron/Chromium 应用 A/B 基准electron-live.sh 是可选opt-in的活体测量run.sh和无权限的 CI 永远不会调用它AGENT_DESKTOP_E2E_EXCLUSIVE1 bash tests/e2e/electron-live.sh --app Slack \ --baseline-binary /path/to/previous/agent-desktop --out /tmp/vscode-ax.json方法学相当严谨应用必须已安装、运行中且至少暴露一个窗口harness不启动、不聚焦、不点击、不输入、不关闭用户的应用5 次热身对 31 次测量的find --role button --first对提供--baseline-binary时基线A与当前B二进制以平衡的 AB/BA 顺序跑在同一进程代际和窗口清单上各自独立 HOME每对前后都检查应用状态v3 JSON 模式包含 p50/p95 墙钟与 CPU、配对差值、成功率、AX 遍历统计、SHA-256/版本身份、原始样本报告明确标注自己的局限单一机器、单一应用状态测的是观察与 ref 重新解析而非动作投递没有显式基线就绝不编造第三层perf-baseline-compare.sh 汇总报告scripts/perf-baseline-compare.sh 把三层串起来构建当前 checkout 与 merge-base 两个 release 二进制 → 跑 fixture A/B快照、读取、仅 fixture 的动作→ 跑合成定位器基准 → 可选对真实应用做只读探测仅 snapshot/find 计时从不派发任何动作→ 输出 HTML 报告与原始 JSON。真实应用探测被严格限定为只读绝不改变应用生命周期。一致性测试为 Windows 和 Linux 提前铺路tests/conformance/ 是跨平台一致性的关键设计macOS 适配器是第一个实现但测试是对着PlatformAdapter语义写的未来的 Windows UIA 和 Linux AT-SPI 可以直接复用同一套期望。conformance/README.md 列出了必过门槛与平台矩阵一致性区域要求行为快照 ref深度优先、快照作用域、显式 snapshot ID 直接解析严格解析身份匹配才能解析失效 ref 返回STALE_REF歧义多个合理候选返回AMBIGUOUS_TARGET绝不任意点击可操作性派发前检查可见性、稳定性、启用状态、受支持动作、策略、可编辑性等待恢复wait --element尊重调用方超时并报告最后一次观察到的谓词状态FFI 一致性FFI ref 动作同样走严格解析与可操作性检查矩阵要求两个相同按钮产生歧义ref 在快照后消失禁用按钮在派发前被拦截等用例在 macOS AX、Windows UIA、Linux AT-SPI 三列全部为 Required。可复用的命令路径助手在 ref_action_contract.rsmock 冒烟 harness 已经用它跑通。上手路径从零跑通 agent-desktop 测试体系 按下面顺序你可以逐层验证 agent-desktop 的桌面自动化能力单元测试与静态门禁cargo test --lib --workspacecargo clippy --all-targets -- -D warnings详见 CONTRIBUTING.mdE2E 套件AGENT_DESKTOP_E2E_EXCLUSIVE1 bash tests/e2e/run.sh在独占桌面 辅助功能权限的 macOS 机器上运行headed 用例会移动真实鼠标请确保安全真实应用评估按 real-apps/README.md 的协议对 Numbers 等应用做面向模型的可靠性评估保留每次尝试的原始输出性能回归bash scripts/perf-baseline-compare.sh生成 HEAD 与基线的对比报告高权限环境下可追加electron-live.sh的真实应用 A/B 测量这套体系给桌面自动化测试社区提供了一个很好的范本fixture 保确定性、真实应用保真实性、基准保不退步、一致性测试保跨平台。命令说成功不算数独立观察到了效果才算数——这正是如何测试桌面自动化最核心的答案。赞分享GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载相关推荐NW.js桌面应用自动化测试框架搭建从单元测试到E2E的完整指南NW.js桌面应用自动化测试框架搭建从单元测试到E2E的完整指南 NW.js作为一款能够直接从DOM/WebWorker调用Node.js模块的桌面应用开发框桌面应用跨平台Cline E2E 基准测试实战用 Harbor 与 cline-bench 在真实故障代码库中验证 Agent 能力Cline E2E 基准测试实战用 Harbor 与 cline bench 在真实故障代码库中验证 Agent 能力 本篇指南围绕 Cline 仓库中 E2人工智能AI Agent代码智能体AI 应用开发工具MCP Clients探索Parler-TTS训练秘籍如何用交叉熵损失与延迟模式掩码打造高质量语音合成探索Parler TTS训练秘籍如何用交叉熵损失与延迟模式掩码打造高质量语音合成 Parler TTS是一个高质量文本转语音TTS模型的推理和训练库它通语音AI 应用深度学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考