Midscene 完整指南：3 步让 AI 听懂人话、替你操作浏览器

Midscene 完整指南3 步让 AI 听懂人话、替你操作浏览器【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene以前写浏览器自动化第一件事是找选择器——页面一改版脚本就挂。Midscene 换了一种思路它不读 DOM而是像人一样先看屏幕截图、理解界面上有什么再点击、输入、验证结果。你用自然语言说搜索耳机把结果筛到 100 美元以下它就替你一步步做完。读完这篇你就能跑起第一条指令。零搭建先让它动起来最快的入口是 Chrome 扩展官方叫它 Web Playground不需要建项目、不需要跑构建在 Chrome 商店搜索并安装 Midscene浏览器右侧会出现侧边栏点设置粘贴一份模型配置——它需要一个能看懂界面的多模态模型打开任意网页输入点击登录按钮回车。Agent 会截当前页面的图、定位按钮、完成点击整个过程中你看不到一行选择器代码。想直接跑脚本或看源码把仓库拉下来git clone https://gitcode.com/GitHub_Trending/mid/midscene三个核心能力对应测试里的三步它把操作、取数、验证拆成三个 API刚好覆盖你日常测试的全部动作。aiAct一句话完成一整条流程。它不是一步一点而是自己规划路径。比如打开搜索页搜今日天气确认结果区显示了温度中间要输几个字、等页面加载它自己处理。aiQuery把页面内容变成结构化数据。你给它一句页面中的商品{name: string, price: number}[]它返回一个数组不用再手写正则或 XPath 去抠页面。aiAssert断言用户能看到什么。传统断言查 DOM 里的文本Midscene 断言的是视觉结果——选中的套餐带有蓝色边框和勾选标记错误提示显示在邮箱输入框下方。canvas 画出来的内容、原生 App 界面它也能验证。这套 API 不绑定浏览器。同一套写法可以直接换到 Android、iOS、桌面端换的只是驱动层。进阶从一次操作到可维护的测试项目跑通一条指令只是开始。真正干活时有两个组合用法值得了解。YAML 脚本不想维护测试框架时一个.yaml文件就够了——写个页面地址再列一串自然语言步骤ai、aiAssert、sleep命令行执行即可。它支持批量跑多个脚本、失败重试、并发跑完自动产出 HTML 报告。回放式 HTML 报告每一步的截图、点击位置、AI 的决策过程都记录在案。测试失败时你在浏览器里逐帧回放就能看到 Agent 当时看见了什么、为什么点错了。另外通过 Playwright 集成文档 可以把这些能力嵌进你现有的测试工程桥接模式还能让脚本直接驱动你已登录的浏览器会话省掉重新登录的麻烦。新手最容易卡住的四个问题Q模型去哪配用什么模型AMidscene 自己不内置模型需要接入一个多模态模型。Gemini、豆包、Qwen、GLM-4.6V以及可自托管的开源 UI-TARS 都支持环境变量方式配置模板在模型配置文档里。Q页面截图会不会泄露AMidscene 发给模型的默认就是页面截图个别取数场景可选带上 DOM。如果数据敏感自托管一个开源视觉模型即可数据不出本地。Q点击总是偏一点怎么办A先升级到最新版定位精度一直在改再换成视觉能力更强的模型。分辨率越高 token 越贵按需调低截图分辨率能提速省钱。Q跑起来贵不贵A因为发的是截图而不是整棵 DOM 树token 消耗比传统方案低很多。官方 AppControlBench 评测里60 个任务的模型调用总成本约 0.59 美元。下一步今天就把 Chrome 扩展装上打一条点击登录按钮试试手感顺手把某个每天重复的操作写成 YAML 脚本你会发现它比你想象得更省时间。想深挖实现从核心源码目录看起。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考