UFO² – 微软推出的 Windows 桌面 Agent 操作系统-爱论文

UFO²是什么

UFO² 是微软推出的面向 Windows 桌面的多Agent操作系统（AgentOS），基于深度系统集成和自然语言交互实现复杂桌面任务的自动化。UFO²基于中央 HostAgent 分解任务协调多个应用专用的 AppAgent 执行操作，结合 GUI 交互和原生 API 调用，提高任务执行的效率和鲁棒性。UFO² 引入混合控制检测、持续知识整合和非干扰式用户体验设计，支持在隔离的虚拟桌面中运行，避免干扰用户操作。UFO² 在多个真实 Windows 应用中表现出色，显著提升自动化任务的成功率和执行效率。

UFO²的主要功能

深度操作系统集成：支持深度集成到 Windows 系统中，实现对桌面应用的精细控制。非干扰式用户体验：UFO² 支持在隔离的虚拟桌面中运行，用户和智能体同时操作，互不干扰。多轮交互支持：支持多轮任务执行，用户在会话中逐步细化指令或干预智能体的操作。安全保障机制：检测潜在的危险操作，在执行前提示用户确认，确保用户数据和系统安全。

UFO²的技术原理

多智能体架构：HostAgent：作为中央控制平面，负责解析用户指令、分解任务、调度 AppAgent，协调跨应用的执行。AppAgent：针对特定应用的执行模块，具备应用专用的 API、知识库和 GUI/API 混合动作接口，高效地执行任务。混合控制检测：结合 Windows UI Automation（UIA）APIs 提供的结构化数据和基于视觉的检测模型，实现对标准和自定义 UI 元素的可靠识别。统一 GUI/API 动作层：基于 Puppeteer 模块，UFO² 动态选择 GUI 操作或应用原生 API 调用，优化任务执行路径，减少 GUI 操作的脆弱性。持续知识整合：基于检索增强型记忆（RAG）技术，将外部文档和历史执行记录整合到智能体的知识库中，支持智能体在运行时动态学习和改进。推测性多动作执行：基于单次推理预测多个动作，在运行时验证这些动作的可行性，减少推理调用频率，提高执行效率。

UFO²的项目地址

项目官网：https://microsoft.github.io/UFO/GitHub仓库：https://github.com/microsoft/UFOarXiv技术论文：https://arxiv.org/pdf/2504.14603

UFO²的应用场景

办公自动化：自动处理 Excel 数据、编辑 Word 文档、制作 PowerPoint 演示文稿等。跨应用工作流：协调多个应用完成复杂任务，如从 Excel 导入数据到 Outlook。企业任务自动化：减少人工干预，高效完成数据录入、文件处理等重复性工作。智能客服：快速响应用户请求，基于自然语言交互解决问题。教育与培训：辅助教学，自动演示操作或生成学习报告。