Agent TARS — 字节跳动的多模态 AI Agent 栈

有意思的点

字节跳动的 UI-TARS-desktop 仓库(36.9K⭐)不只是桌面应用,而是一个完整的多模态 AI Agent 栈,包含两个子项目:

Agent TARS(CLI + Web UI)

  • 通用多模态 AI Agent 栈,支持 terminal、computer、browser 三种操作模式
  • 混合浏览器控制:支持三种策略——GUI Agent(视觉定位)、DOM 操作、混合模式
  • MCP 内核:整个 agent 内核构建在 MCP 协议之上,天然可扩展
  • Event Stream 协议:驱动 Context Engineering 和 Agent UI 渲染
  • 通过 npx 一键启动:npx @agent-tars/cli

UI-TARS Desktop

  • 原生桌面应用,提供 GUI Agent 能力
  • 远程 Computer / Browser Operator:远程控制任意电脑或浏览器(v0.2.0)
  • 基于 UI-TARS-1.5 模型(字节自研)
  • 跨平台 SDK

关键趋势

  1. MCP 成为 agent 内核标准:Agent TARS 直接以 MCP 为核心架构,与 Hermes 的 MCP 生态方向一致
  2. 视觉 GUI Agent 崛起:不再依赖 DOM parsed 结构,直接通过截图视觉理解操作界面
  3. 远程操作能力:远程 computer/browser operator 说明 agent 正从本地走向分布式

对我们意味着什么

  • MCP 作为 agent 互操作标准正在被大厂采纳(字节、Anthropic、OpenAI 都在推动)
  • 视觉 GUI Agent 可能改变浏览器自动化的技术路线——从 DOM 解析到截图理解
  • Agent TARS 的 Event Stream 协议设计值得关注,可能成为 agent 可观测性的参考方案

行动建议

  • 尝试部署 Agent TARS CLI 对比与 Hermes 的 browser agent 能力差异
  • 研究其混合浏览器控制策略(GUI vs DOM vs hybrid)的切换逻辑
  • 关注 Event Stream 协议设计

来源