Core Idea
AI Runtime Platform 是一个 OpenAI 兼容的 K8s 原生 AI 网关执行平面，集成了 MCP 工具治理、意图代理、成本感知路由、金丝雀发布、健康感知 fallback 等企业级能力。与 AI Infrastructure OS 控制平面配合使用。
Key Details
- Stars: 新项目 (⭐1) | 语言: Python/FastAPI | 许可: MIT
- 架构亮点:
- 策略驱动的路由引擎: 每次请求评估健康分 + 延迟分 + 成本分 + 路由策略 → 选择最优后端
- 金丝雀路由: 90/10 流量切分，支持 X-Request-ID 一致性路由
- 健康感知 fallback: 预判后端健康状态提前 reroute
- 成本感知路由: 不同 backends 之间按 token 成本做负载均衡
- MCP 治理: 受管的 MCP tool call，通过控制平面审批后才能执行
- 意图代理:
/v1/intent/resolve端点在 MCP tool 执行前进行意图解析 - OpenTelemetry: 全链路 tracing + 路由标签 + 租户属性 + 成本指标
- K8s 集成: vLLM Helm Chart、KServe InferenceService、KEDA 队列感知自动缩放、Argo CD GitOps
- 部署: Docker Compose (本地 CPU) / K8s (生产 GPU)
- 与控制平面的关系: 执行平面 + 控制平面分离架构，通过 CONTROL_PLANE_URL 集成
Why This Matters
这不是又一个 LLM 代理——它把网关建模为 LLM 服务网格。请求路径变成运行时决策点。与传统代理的关键区别：
- 静态上游 vs 策略驱动后端选择
- 单一模型目标 vs 虚拟模型别名 + 加权路由
- 超时后失败 vs 健康感知预判 reroute
- 隐藏路由 vs 暴露
selected_backend,routing_reason,health_score,fallback_used
Relevance to Hermes
- MCP 治理 (受管 tool call 审批) 与 Hermes 的 MCP 服务器集成方向一致
- 成本感知路由可以直接应用于 Hermes 的多 provider fallback 架构
- 执行/控制平面分离架构与 Hermes Agent 的 profile 隔离理念吻合
- OpenTelemetry 全链路追踪可以借鉴到 Hermes 的 dashboard 运维