Codex 校核（2026-10-10）：以下更正适用于本页；原采集内容保留为历史快照。
- 截至本次校核，TensorZero 官方 GitHub 元数据为 archived=true，最后 push 时间为 2026-06-11T01:48:44Z。原文“后恢复活跃开发”不能作为当前状态；归档并不自动证明现有软件失效，但维护状态须据此重新评估。官方仓库元数据
Core Idea
TensorZero 是 Rust 编写的开源 LLMOps 平台，统一 LLM 网关（<1ms p99 延迟）、可观测性、评估、优化和实验。被 Fortune 10 企业使用，处理全球约 1% 的 LLM API 支出。近期推出了 TensorZero Autopilot（自动化 AI 工程师）[3]。仓库在 2026 年 6 月中旬曾被短暂归档引发社区讨论，后恢复活跃开发 [1]。
Key Details
- Stars: ⭐11,687 | 语言: Rust | 许可: Apache-2.0
- 核心组件:
- LLM Gateway: 统一 OpenAI SDK 兼容 API，支持 18+ 提供商（Anthropic/DeepSeek/OpenAI/Grok/vLLM 等），<1ms p99 开销，10k+ QPS
- Observability: 数据库存储推理和反馈，OpenTelemetry + Prometheus 导出，Playground UI
- Evaluation: 推理评估（单元测试风格）和工作流评估（集成测试风格），启发式 + LLM 评委
- Optimization: SFT 微调、RLHF、自动 prompt 工程（GEPA 算法）、动态上下文学习（DICL）、Best-of-N 采样
- Experimentation: 自适应 A/B 测试、金丝雀部署、路由/回退/重试
- TensorZero Autopilot（新）: 自动化 AI 工程师，分析可观测数据 → 设置评估 → 优化 prompt 和模型 → 运行 A/B 测试。在各种 LLM 任务上大幅提升性能。
- 插件化架构: 可 Docker Compose 自部署，GitOps 友好
Why This Matters
TensorZero 是 LLMOps 基础设施层最完整的开源方案之一。与 Hermes 的 provider-ops 层直接相关——Hermes 目前处理多提供商 fallback 和 key 轮转，TensorZero 则提供完整的网关 + 可观测 + 评估循环。值得作为 Hermes 网关层演进的参考架构。
References
[1] 2026-06-14 归档事件: 01-hermes/github-daily/2026-06-14 [2] 同类对比: web-learn/2026-07-06-2004-coai-llm-gateway, web-learn/2026-07-06-2005-ai-runtime-platform [3] 官网: https://www.tensorzero.com