电脑与浏览器操作

学习让智能体操作网页、桌面和设备,适合开发界面自动化应用的读者。

10 条精选 · 入门 2 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 1入门
    帖子必读发布 10-27
    X

    发布GPT-6.1 Terra:更快更强更便宜的计算机使用模型

    这是 OpenAI 官方 X 账号的一条发布帖,宣布推出 GPT-6.1 Terra 模型。帖文称该模型能以更低价格提供快速、有能力的计算机使用功能,可理解屏幕内容、跨应用执行操作、自然写作,并适合覆盖整个工作日的工作量。帖子发布于 2026 年 10 月 26 日,含一段视频。

  2. 2入门
    帖子发布 10-29
    Reddit

    本地 LLM 智能体驱动的物理 KVM 控制器已上市,并有一些有意思的用例

    Local LLM Agent-driven physical KVM controllers are now available and have some interesting use cases:

    这是 r/LocalLLaMA 的一篇社区帖子,作者在研究本地 LLM 的计算机使用智能体时,发现了一类此前不知道的硬件:支持 AI API 端点与 MCP 集成的 IP KVM 控制器,价格约 80–150 美元。这类设备让视觉能力 LLM 通过截取目标机 HDMI 或 USB-C 视频输出画面,并经 USB 发送鼠标键盘指令来操作目标电脑,且目标机上无需安装任何软件,可用于不允许安装程序的受管企业终端;帖中还将其与数据中心常用的远程 KVM 做了类比。适合对本地 LLM 计算机操作智能体、无侵入式远程控制硬件方案感兴趣的人阅读。

  3. 3进阶
    项目发布 10-16
    GitHub

    reacher-z/Awesome-CUA

    一个关于计算机使用智能体(computer-use agents)的开源、可溯源资料集,收录经审阅的论文、GUI 模型、数据集、基准测试与工具,并提供可复用的 JSONL/SQLite 数据。仓库标签涵盖智能体评测、浏览器智能体、GUI 定位、视觉语言模型、强化学习等方向,另设配套网站与中英文 README。

  4. 4进阶
    项目发布 10-08
    GitHub

    pinganbbOvO/ai-companion-kit

    这是一个开源工具集项目,标语为“给你的 AI 一副身体,和一点人味”,内容包含带记忆和场合感知的 QQ 陪聊功能以及可控制安卓手机的 MCP。README 列出三个可分开使用也可组合的组件:ai-companion(角色卡、记忆账本、拟人化发送、唤醒策略)、安卓控制 MCP 等,标签涉及 adb、onebot、persona、model-context-protocol、deepseek 等。README 还给出让桌面版 AI 代为安装的提示词与安装说明,项目使用 MIT 许可证、要求 Node ≥18。

  5. 5进阶
    项目发布 10-28
    GitHub

    jackwener/DeepseekHarness-Android

    这是一个安卓应用项目,可免 ROOT、免 Termux 通过单个 APK 在手机上运行 DeepSeek Harness:引擎内嵌于 App 进程,能读屏操作 App、修改系统设置、执行定时或条件自动化,可选安装 Shizuku。使用需登录 DeepSeek 账号或填 API key,也可在设置中添加其他模型服务商,支持 arm64 与 Android 10 及以上。适合想在安卓手机上布置手机端 AI 代理、做自动化操作的人阅读。

  6. 6进阶
    项目发布 10-09
    GitHub

    LumaryLabsLLC/muxin

    一个用 Rust 编写的开源(Apache-2.0)应用,定位为把多台自有机器(Mac、Linux、Windows)集中到一个界面里管理,供本人或 AI 智能体使用。README 列出的功能包括跨机器的智能体会话(Claude Code、Codex、OpenCode、Gemini CLI、Amp 等,运行在真实终端中)、桌面、文件、日志和 GitHub,并附带一个 MCP 服务器。标签涉及 SSH、Tailscale、gpui、远程桌面和 self-hosted runners 等。

  7. 7进阶
    帖子发布 10-27
    Reddit

    提醒:我的 Mac 无法启动,因为测试运行留下了 4100 万个 Chrome 临时文件。如果你的智能体跑浏览器测试,检查一下临时文件夹

    PSA: my Mac wouldn’t boot because my test runs left 41 million Chrome temp files behind. If your agents run browser tests, check your temp folder.

    r/ClaudeAI 的社区帖子,作者(独立开发者,做日志类应用)讲述其 Mac Studio 卡在启动进度条,借另一台电脑取出启动日志、用 Claude Code 帮忙分析后发现,每次启动都卡在登录前清理临时文件夹这一步,而该文件夹里有 4100 万个文件。原因是智能体启动无头 Chrome 做 UI 检查和截图时,每次运行生成一个临时 Chrome 配置文件夹,运行正常结束会删除,被中断或崩溃则残留。帖子给出的解决办法是把该文件夹移走再重启,并列出自查与预防建议:为每次运行设置独立 TMPDIR 并在退出信号时删除、结束整个进程组、加 --use-mock-keychain 等参数、测试前统计临时目录文件数。适合让智能体运行浏览器测试的开发者阅读。

  8. 8进阶
    博客发布 10-25
    YouTube

    如何构建能跨网页工作的金融智能体——Jay Sahnan 与 Arik Bird,Browserbase

    How to Build Financial Agents That Work Across the Web - Jay Sahnan & Arik Bird, Browserbase

    Browserbase 的 Jay Sahnan 和 Arik Bird 介绍浏览器智能体如何访问位于登录和反爬机制之后、没有 API 的重要金融数据,并以三个案例说明:Ramp 大规模获取收据(节省逾 3 万人工小时)、Bill 用单一智能体在数千个不同供应商门户上完成付款、Stripe 自动化 KYC 核查。内容还包括 Browserbase 为在云端稳定运行而分叉 Chromium,以及 Stagehand 的 act、extract、observe 原语如何在网站变化时保持自动化不失效。

  9. 9进阶
    项目发布 10-15
    GitHub

    alextnetto/res

    这是一个智能体技能项目,用于通过浏览器对 SaaS 产品进行逆向工程,产出一份可用于重建该产品的知识库,内容涵盖界面屏幕、业务规则、数据模型、设计 token 和生产环境障碍。项目说明强调研究过程不接触生产数据,面向 agent-skills、浏览器自动化、Claude Code 等场景,并提供了一个以 Pipedrive 为例的示例报告页面。

  10. 10进阶
    项目发布 10-09
    GitHub

    liyupi/ai-promo-video-maker(AI 产品宣传片制作器)

    liyupi/ai-promo-video-maker

    一个开源仓库,提供由 AI 编程工具(如 Cursor、Claude Code、Codex)驱动的产品宣传片制作流程。用户给出产品名或网址后,工具会调研产品、生成多风格样图、截取 4K 页面、按音乐节拍剪辑、生成并校验 AI 旁白、自动审图,最终输出 4K 视频和网页版。项目基于 Remotion 与 ElevenLabs,采用 MIT 许可。

智能体与自动化的其他细分主题