【免费下载链接】typesafe-computer-useComputer use for about $0.0002 a step: OCR the screen, classify the next action with TypeSafe, click. macOS.项目地址https://gitcode.com/gh_mirrors/ty/typesafe-computer-use点击查看免费下载typesafe-computer-use社区昵称jev是一款花几分钱就把电脑开明白的 computer use 工具它用 OCR 读屏、让 TypeSafe 分类器决定下一步动作、然后执行点击每步成本约 $0.0002。过去它只在 macOS 上打磨如今Windows 10/11 适配器已实验性登陆——但官方原话是expect it to break预计它会坏。本文带你快速看懂 Windows 版与 macOS 版的底层差异并列出 5 个新手最容易踩的坑。⚠️Beta 提示项目整体处于 0.x 快速迭代期设置和行为可能随版本变化。它驱动的是你真实的鼠标键盘请务必先用 dry run 试跑。一、先搞懂它怎么工作Windows 版只是换了手脚jev 的核心循环是确定性地读屏 → 代码补全事实日期、焦点、URL→ 一次 TypeSafe 请求回答三个选择题 → 执行动作。完整拆解可看 docs/how-a-step-works.md。对上层循环来说手脚由谁提供并不重要。架构上由 typesafe_computer_use/platform_adapter.py 在启动时选定适配器Windows 系统 → 加载 typesafe_computer_use/windows.py其余系统 → 默认加载 typesafe_computer_use/macos.py两个适配器实现同一套Desktop接口点击、按键、截图、OCR、控件树等 20 方法tests/test_platform_adapter.py 会逐一比对它们的参数签名是否对齐。换句话说决策逻辑完全共享Windows 版只换了最底下那一层平台零件二、Windows vs macOS底层零件逐项对照能力macOS稳定Windows实验性屏幕截图Quartz 截图Retina 需做点/像素换算ImageGrab只截主显示器进程开启 per-monitor DPI 感知后坐标即像素无换算OCRApple Vision多语言、带置信度Windows.Media.Ocr仅英文、无置信度无障碍树AXAccessibilityUI Automation控件类型映射到同一套 AX 角色词表输入事件Quartz CGEventPostWin32SendInput激活应用AppleScripttell application X to activate按可执行文件名精确匹配进程窗口标题不算浏览器 URLAppleScript 直接取通过 UI Automation 读地址栏 Edit 控件系统权限必须授予Screen Recording Accessibility无需任何权限弹窗只自检 UI Automation 能否访问桌面后退快捷键Command-[Alt 左方向键依赖包ocrmac、pyobjc 系列pywin32、uiautomation、winocr、psutil依赖切换由 pyproject.toml 中的sys_platform标记自动完成uv sync时按系统装对应那组包无需手动干预。 上图是项目测试夹具里的真实读屏截图注意右上角的 Restore pages? 气泡——这类浮在页面上层的弹窗在 macOS 和 Windows 上都可能被误点是双平台共同的已知限制见 docs/known-limits.md。三、5 个必须注意的坑Windows 用户必看官方 docs/windows.md 说 Windows 适配器从未在 Windows 上跑过 CICI 只在 macOS 和 Linux 上测试它的纯逻辑下面 5 个坑正是实验性三个字的真实含义。坑1不先装英文 OCR 语言包jev 就是瞎的Windows.Media.Ocr 的语言包不随系统全量内置必须一次性从管理员elevatedPowerShell 安装Add-WindowsCapability -Online -Name Language.OCR~~~en-US~0.0.1.0漏掉这一步不会报权限错误而是 OCR 直接读不出文字表现为 agent 反复停步、置信度走低——排查起来很绕。坑2OCR 只认英文且每行都自认为 100% 可信macOS 的 Vision OCR 会给出置信度jev 用它过滤低质量行阈值见 typesafe_computer_use/config.py 的MIN_OCR_CONFIDENCE 0.3。而 Windows 适配器里写死OCR_LANGUAGE en中文界面的按钮和文本基本读不到建议把任务界面切成英文OCR_CONFIDENCE 1.0每行都按确定处理误识别不会被置信度拦下误读会直接进决策。坑3激活应用只认进程名窗口标题不算数Windows 上应用 进程activate按可执行文件名精确匹配如notepad.exe已知浏览器则按产品名映射Google Chrome→chrome.exe。匹配规则刻意严格不做子串匹配、不看窗口标题——Chrome 标签页哪怕起名 Excel也不会被当成 Excel想激活记事本就写notepad.exe写Notepad同样能命中.exe后缀不敏感但写 记事本 就会失败。坑4遇到 UAC 弹窗或锁屏会拒绝点击并直接结束运行这是 Windows 上最反直觉的一点。macOS 上合成点击没权限时会被系统静默丢弃Windows 适配器的 click_at 采用先移动、再回读策略移动鼠标到目标坐标立即回读光标实际落点1 像素容差光标没到通常是 UAC 提权弹窗或锁屏把输入劫持走了→ 抛Missed异常直接终止本次运行绝不盲目落点。所以跑--act前别锁屏、别弹提权框。想中途叫停老规则依旧有效Ctrl-C或把鼠标猛甩到屏幕左上角。坑5企业策略拦截clicker.exe时有官方绕行方式如果终端安全策略把clicker.exe拦了不要改配置直接换一种等效启动方式参数完全相同uv run python -m typesafe_computer_use 你的目标 --act对应clicker-inspect的检查模式则用... typesafe_computer_use inspect。四、Windows 上手快速清单Windows 10/11 Python 3.12 uv此链接为 uv 官方文档git clone https://gitcode.com/gh_mirrors/ty/typesafe-computer-use后cd进目录执行uv sync——Windows 专用依赖会自动装上管理员 PowerShell 安装英文 OCR 语言包坑1复制.env并至少填入TYPESAFE_API_KEY每次决策都要用先 dry runuv run clicker open notepad.exe看它打算做什么满意后再加--act真跑记得主显示器是唯一会被截图的屏幕。一句话总结Windows 版 typesafe-computer-use 架构上与 macOS 完全同构只是把手脚从 Quartz/AX/Vision 换成了 UI Automation/SendInput/Media.Ocr——代价是英文 OCR、无置信度过滤、严格的进程名匹配以及 UAC 场景下的强制熔断。官方文档 docs/windows.md 只有十几行因为它诚实地写着它还没被充分测试过欢迎你来踩坑并回报结果。赞分享【免费下载链接】typesafe-computer-useComputer use for about $0.0002 a step: OCR the screen, classify the next action with TypeSafe, click. macOS.项目地址https://gitcode.com/gh_mirrors/ty/typesafe-computer-use点击查看免费下载相关推荐Remacs与Emacs对比10个你必须要知道的差异Remacs与Emacs对比10个你必须要知道的差异 Remacs是基于Emacs的创新分支通过Rust语言重构核心组件为用户带来更高效、更稳定的编辑器体人工智能AI AgentAI 技能后端前端Jocko生产环境部署7个必须注意的关键问题Jocko生产环境部署7个必须注意的关键问题 Jocko是一个用Go语言实现的Kafka兼容分布式提交日志服务它内置了协调功能无需依赖ZooKeeper消息队列分布式系统后端mruby与标准Ruby的差异开发者必须知道的15个关键区别! mruby轻量级Ruby语言logo https://raw.gitcode.com/gh_mirrors/mr/mruby/raw/f44e7409baa编程语言语言运行时编译器解释器嵌入式创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考