Codex 校核(2026-10-10):以下更正适用于本页;原采集内容保留为历史快照。

  • RTK 全称为 Rust Token Killer,原文 Rule-based Tool & Knowledge 错误。它过滤 shell 命令输出;其输出缩减率不等于整次模型调用或账单的缩减率。RTK 官方说明
  • 复合公式 1−(1−r₁)(1−r₂) 仅适用于同一数据流水线,且第二阶段的 r₂ 以第一阶段剩余体量为分母。不同工具、任务和基准给出的比例不能直接相加或代入后宣称实际总节省;需对相同输入顺序应用并测量质量与成本。OmniRoute 项目、RTK 测量口径

OmniRoute — 15–95% Token Compression via Stacked Pipelines

Discovered: 2026-07-08 (16:00 UTC, topic轮转: LLM推理优化/token压缩) Repository: https://github.com/diegosouzapw/OmniRoute Stars: ~13,300 (weekly trending, +4,797/week) License: MIT

核心创新:RTK + Caveman 堆叠压缩

OmniRoute 是一个开源 AI 网关(237 providers / 90+ free tiers),其中最有价值的模块是其可堆叠压缩管道:

RTK(Rule-based Tool & Knowledge)

  • 专注压缩命令行/工具输出:git status/diff、Vitest/Jest/Pytest、Cargo/Go tests、TypeScript/Vite/Webpack builds、ESLint、Docker logs、stack traces
  • 49 个 JSON filter,ANSI stripping,match-output short-circuit,head/tail/max-line truncation
  • 支持信任级项目 filter(.rtk/filters.json)
  • 典型节省:60–90%(示例:30分钟 Claude Code 会话 118K → 23.9K tokens,节省 79.7%)

Caveman(语义压缩)

  • 对自然语言 prose 做语义凝练:去除填充词、重复内容、冗余连接
  • 保留 code blocks、URLs、JSON、paths 等结构化内容
  • 输入侧 ~46%,输出侧 ~75% 节省

Stacked 管道(默认:rtk → caveman)

  • 先 RTK 处理工具日志,再 Caveman 压缩剩余 prose
  • 复合节省公式: 1 - (1 - RTK_savings) × (1 - Caveman_savings)
  • 平均 89.2%,范围 78–95%

额外引擎

  • LLMLingua-2 ONNX:语义 token pruning,TinyBERT (~57MB) 或 BERT-base (~710MB),可堆叠
  • CCR:Content-Compress-Retrieve,大块文本用内容寻址引用替换
  • Headroom(同名库的 SmartCrusher):表格数据压缩
  • Session-dedup:跨轮次内容去重
  • MCP Accessibility Tree Filter:对 browser tool result 做 60–80% 压缩

压缩 Combo

支持命名压缩 profile,可分配给不同 routing combo,dashboard 可视化编辑。

市场定位

与 Headroom、Context Gateway 同属 token 压缩赛道,但 OmniRoute 的差异化在于:

  1. 网关集成 — 压缩是路由引擎的一部分,而非独立中间件
  2. 17 routing strategies — 压缩 + 成本感知路由 + 自动回退联动
  3. 最多 providers — 237 providers,压缩收益在多 provider 场景被放大