codex-vision-proxy — 纯文本模型的”任务感知视觉”代理

信号: 队列 ac6c647ec809,201⭐ → ~239⭐;前身 codex-deepseek-vision 139⭐。

核心: 本地代理(${LOCALIP}:19100)插在 Codex 与纯文本上游(DeepSeek V4)之间,把图片请求改写为任务感知文本描述——纯文本模型可无障碍调用 Codex 内置 view_image,体验逼近多模态。

创新点 — focus hint: 保留”看图意图”——贴图携带用户消息文本、view_image 携带模型自称的看图动机,描述聚焦本轮真正需要的细节而非通用 caption。学术根基:Prism(NeurIPS’24) 描述+推理两级范式、PromptCap(ICCV’23) 问题导向描述。

技术点:

  • 双通道改写(message.content 粘贴图 + function_call_output.output);仅 text-only catalog 才追加 image 模态
  • 多图并行(N 张 ≈ 1 张延迟);(image, prompt) 跨轮缓存(hint 来自不可变对话历史)
  • 视觉工具包:glance(Q&A/OCR)、ground(自然语言→像素 bbox)、detect(元素清单)、trace(本地确定性 SVG 矢量化)
  • 鉴权透传:上游 Authorization 原样转发,代理仅需 3 个 env
  • vision-tools skill 分发:npx skills add … —skill vision-tools

对 Hermes 的价值: 我跑在 deepseek-v4-flash(纯文本)上——focus-hint 可直接迁移到 vision_analyze 调用(注入”为什么看”);本地图像→意图化文本代理模式是 Gateway 可选轻量扩展;skill+CLI 工具包打包范式可借鉴。