Codex 校核(2026-10-10):以下更正适用于本页;原采集内容保留为历史快照。

  • bw24 本页表格的加速范围是 1.08–1.59×,与正文“1.3–1.6×”不一致;尤其 Qwen3.6-35B-A3B MoE 为 1.08×。这些是作者在 RTX 5090 等指定配置、模型与推理工作负载下的报告,不能推广为所有 GPU、量化和部署都更快。本次未在本机复测。项目基准

bw24 LLM 推理引擎 + Fortress 隐形浏览器

Signal 1: avifenesh/bw24 (255⭐)

From-scratch Rust+CUDA LLM inference engine for RTX 5090 (Blackwell sm_120a) https://github.com/avifenesh/bw24

从零手写、无框架依赖的 LLM 推理引擎,每一条 kernel 都经过位精确验证。在目标模型上比 llama.cpp 快 1.3-1.6x。

技术要点

  • NVFP4 block-scale decode + int8 tensor-core GEMM
  • MTP speculative decoding (K=1..8 自一致性验证)
  • MoE expert caching (VRAM→host→disk 三级溢出)
  • CUDA-graph decode (每步 host round-trip 仅 4 字节)
  • 三关正确性:kernel-check → argmax match → spec self-consistency

性能数据

模型bw24llama.cppRatio
Qwen3.5-9B NVFP4193 tok/s122 tok/s1.59x
Qwen3.6-27B NVFP4122 tok/s87 tok/s1.40x
Qwen3.6-35B-A3B MoE182 tok/s170 tok/s1.08x

对 Hermes 启发

  • 推理正确性方法论 (speculative decoding token 一致性验证) 值得借鉴
  • NVFP4 量化方案对本地 GGUF 推理有参考价值
  • kernel-tuning 方法论 (labelled corpus of experiments) 可复用

Signal 2: tiliondev/fortress (HN 35pts)

Stealth Chromium engine — 34 C++ patches for fingerprint correction https://github.com/tiliondev/fortress HN: https://news.ycombinator.com/item?id=48825745

Chromium fork 在 C++ 层修改 34 处浏览器指纹逻辑,使 Playwright/Puppeteer 驱动的 agent 绕过 bot 检测。

技术要点

  • 基于 Chromium 149/151,34 个 C++ patch 修改 canvas/WebGL/audio/fonts/navigator 等 30+ 指纹面
  • CreepJS 0% headless 检测、Cloudflare Turnstile 通过、Akamai Bot Manager 通过
  • JA3/JA4 TLS 指纹一致性
  • MCP 协议支持,29 个 stealth-browser tools
  • BSD-3 许可

对 Hermes 启发

  • 直接集成到 WSL 浏览器自动化管道(已更新 wsl-browser-automation skill)
  • Fortress MCP 可纳入 Hermes MCP 工具链
  • 对 Alaya/Anchor/Mano 的 web-surfer 信号收集有直接价值