AI 编程实时动态与要闻

11 月 12 日（UTC），获 Felicis 和英伟达投资的电脑操作智能体公司 Simular 发布 box：每个账号一台云端 Ubuntu 桌面，自带 Chrome 和常驻 shell，整体作为一个远程 MCP 服务器（mcp.box.simular.ai/mcp，Streamable HTTP，OAuth 登录）提供。claude.ai、ChatGPT、Gemini、Claude Code、Codex、Cursor、OpenCode、VS Code 等任何 MCP 客户端都能接入，不同助手可以在同一台机器上接力干活，共享登录状态和文件。用户可在网页或 iPhone 上实时观看，需要登录或付款确认时随时接管。桌面本身免费，模型调用消耗账号积分；空闲时休眠、约 1 秒唤醒，连续休眠 14 天会被删除。发布视频浏览量超过 81 万。官方称「生产环境最快的电脑操作」，但未公布跑分。

查看大图

2026-11-06，Cua（@trycua）与 Scale AI AgentEnv 联合发布 Cua Driver Bench（Bench v2）：固定 Claude Sonnet 5.5 与任务，只换 computer-use driver，考核任务完成、仅 GUI、以及 8 项「用户未被打扰」。Scale 口径 macOS 后台全通过：cua-driver 约 58%（23/40）、agent-desktop 约 20%、browser-use 约 3%；Cua 自跑 Codex Computer Use 约 33%。任务与轨迹公开可复跑。

查看大图

微软 Mage 团队 10 月 30 日在 Hugging Face 以 Apache-2.0 发布 Mage-VL-Cowork：4B 参数的多模态电脑操作智能体，同一个模型每一步自己选择用截图点界面（computer_use）还是在终端跑 bash/Python，不需要外部调度器。官方报告它在 OSWorld-Verified（361 题、50 步上限）两次平均 66.0%，高于 Qwen3.6-27B 的 63.9%，但仍低于 9B 的 SCALECUA-Qwen3.5-9B（68.7%）。

查看大图

微软亚洲研究院（MSRA）研究团队在 arXiv:2610.26828 正式发布并开源通用智能体世界模型 WildAWM（MSR-Orchard/WildAWM）。针对当前跨平台 GUI 与网页浏览智能体（Computer-Use Agents）在训练和评测中高度依赖昂贵、慢速且不可撤销的真实物理沙盒环境的痛点，WildAWM 首创可适应野外复杂异构环境的多模态自回归世界模型架构。模型能够在接收任意智能体动作（点击、输入、滚动）后，极其逼真地预测网页与桌面操作系统下一帧的高保真视觉状态演化与 DOM 结构变化，成功替代物理沙盒，为大规模自主智能体的离线强化学习与安全预演树立了全新基座。

查看大图

阿里巴巴通义实验室（Tongyi-MAI）在 arXiv:2610.22200 正式发布并全面开源 OpenGCUA（Open Generalist Computer-Use Agent）通用计算机控制智能体技术栈。针对当前 GUI 智能体过度依赖逐帧截图与单点点击、无法执行高效批处理操作的行业痛点，OpenGCUA 首创“代码执行即行动（Code-Execution-as-Action）”范式，将视觉感知、可访问性树（Accessibility Tree）、Bash 脚本与 Playwright API 深度融合。在权威 OSWorld-v2 基准测试中，OpenGCUA 推动各大主流前沿模型平均得分大幅提升 19.6 分，同时将任务完成平均步数削减 53.0%，并配套开源了 macOS 实体机状态栏应用与跨设备 SDK。

查看大图

多所顶尖高校与科研团队在 arXiv:2610.28601 中提出突破性计算机使用智能体（CUA）自我演化架构 Evolving Agent Interfaces 与 Agent S4。传统 CUA 往往被严重限制在人类设计的低效图形界面中（如通过鼠标逐格点击电子表格），导致长程任务步骤冗长且极易因微小误触失败。该框架打破固定接口束缚，赋予元智能体（Meta-Agent）在任务执行中根据运行环境与需求，自主编写、测试并动态演化专属编程 API 与专用代码仓库的能力。在最具挑战的 OSWorld V2 与 ScienceBoard 权威基准上，该方法使 27B 开源模型成功率从 55.03% 跃升至 58.58%（净多解决 6 项核心任务），以极小开销逼近商业前沿旗舰模型。

查看大图

Perplexity 官方正式宣布将 Perplexity Computer 功能原生集成至 macOS 客户端应用中。与此前高度依赖云端传输屏幕截图并接收键盘鼠标动作指令的传统 Computer-Use 方案不同，Perplexity Computer 实现了模型与智能体执行回路的全本地化运行（The model and the agent both run on your Mac）。通过深度调用 macOS 原生辅助功能（Accessibility API）与本地端侧轻量多模态模型，该功能消除了云端网络延迟，并在彻底保护用户屏幕隐私的前提下，赋能智能体在用户桌面上全自主操作本地应用、整理文件与执行跨软件复杂工作流。

查看大图

为终结智能体每一步都调用昂贵旗舰大模型的算力浪费，今日两项重磅研究分别从‘轨迹级投机验证’与‘隐状态不确定性升级’实现突破：LARK AI Lab 开源的 SpecAgent（arXiv:2610.21463）让轻量小模型连续起草并执行只读工具调用（遇到首个写操作时暂停），再由大模型通过单次并行 Prefill 批量做语义审查与局部修复，在 τ²-Bench 上逼近大模型原版成功率的同时将显存流量与端到端耗时直接砍半；而 LEASH（arXiv:2610.22280）零额外前向开销复用隐状态不确定性动态移交控制权，搭载 Qwen3.5-35B-A3B 在 OSWorld 上以 73.66% 成功率反超全程调用的 Claude Opus 5（72.90%），同时节省 19.2% 成本。

查看大图

针对闭源通用计算机操作智能体（如 GPT-6 Astra Computer Use）难以系统研究与复现的痛点，阿里通义 MAI 团队重磅连发两项开源工程：全栈通用计算机使用框架 OpenGCUA（arXiv:2610.22200）与支持 2 万并发实例的在线强化学习平台 MAI-Gym（arXiv:2610.20939）。OpenGCUA 融合视觉 GUI 与程序化代码执行，在 OSWorld-v2 上使包括 GPT-6 Astra 与 Claude Opus 5 在内的全部 8 款模型平均提分 19.6 分、执行步数减少 53.0%；MAI-Gym 训练出的 9B 模型更在 MobileWorld（78.4%）与 OSWorld-Verified（76.2%）创下 10B 内开源 SOTA。

查看大图

作者 Logesh Kumar Umapathi 于 2026-10-10 在 Hugging Face 博客发布 GUI-Decisions：把 computer-use 的 action/坐标写成固定槽位，从下一 token 分布一次性读出，而不是自回归解码 JSON。基于 Gemma 4 31B 的 LoRA/合并权重在 RTX PRO 6000 + vLLM 上，槽位读中位约 146–158 ms/步，相对原生生 JSON 约 472–546 ms 约 3.5×；相对带思考解码可快约 20–25×。ScreenSpot 点击命中约 0.87；开源 31B/2B 权重、GitHub 与 Spaces Demo。

查看大图

Anthropic 在 anthropic Python SDK 1.12.0 与 TypeScript SDK 0.132.0 中加入 computer_toolset_20260801 与 browser_toolset_20260801：一个 tools[] 条目即可声明整组桌面或浏览器动作，SDK 的 tool_runner 负责循环执行、按序停在首个失败动作，并在调用前跑 url_policy、file_policy 与 confirm 钩子。开发者不再手写“点击/键入映射命令”的循环，只需继承抽象类接入自己的 VNC、DevTools 或托管浏览器。

查看大图

OpenAI 公布首个“垂直 SaaS 共建”计算机操作研究：与合同平台 Ironclad 共同定义 11 个法务/采购/商务任务，在 Ironclad 托管环境里用 RL 训练 GPT-6 Astra。Astra 平均 rubric 得分 55.0%（GPT-5.6 Sol 41.6%），估算单次耗时 19.2 分钟 vs 37.0 分钟；内部模型已达 63.7%。OpenAI 同时开放软件公司申请合作。

查看大图

随着 Anthropic Computer Use 与各类桌面自动化智能体（Computer-Use Agents, CUAs）加速接管操作系统操作，如何科学评估多步骤 GUI 交互的真实能力成为业界最急迫的命题。现有的代表性基准（如 OSWorld）主要依赖最终结果判定（Outcome-based Verification），即在 Agent 执行了数百步鼠标键盘操作后，仅检测最终文件或系统状态是否发生改变。这种“黑盒终态评估”完全掩盖了智能体在中间步骤中“如何犯错”与“为何失败”——例如因键盘输入打字错误失败，与因视觉定位不准导致鼠标误点失败，所需要的工程修复路径完全风马牛不相及。NVIDIA 研究团队推出了首个基于全流程过程解构的桌面智能体评测系统 OSWorld-Pro（arXiv:2609.24890）：包含 300 多个真实系统级生产任务，将其细粒度拆解为 2,800 多个连续依赖的子目标（Subgoals），并依托 67,000 多条高质量人类专家操作注释作为基准。通过人类对齐的 LLM-Judge 对各阶段子目标达成度展开逐层量化，评测揭示即便是业界最前沿模型如 Claude Opus 5 在 OSWorld-Pro 上的得分也仅为 75.7%（低于标准 OSWorld 的 83.4%），并精准捕获了无效漫游动作与点击像素级偏移两大核心故障模式。

查看大图