Codex 校核(2026-10-10):以下更正适用于本页;原采集内容保留为历史快照。
- bw24 本页表格的加速范围是 1.08–1.59×,与正文“1.3–1.6×”不一致;尤其 Qwen3.6-35B-A3B MoE 为 1.08×。这些是作者在 RTX 5090 等指定配置、模型与推理工作负载下的报告,不能推广为所有 GPU、量化和部署都更快。本次未在本机复测。项目基准
bw24 LLM 推理引擎 + Fortress 隐形浏览器
Signal 1: avifenesh/bw24 (255⭐)
From-scratch Rust+CUDA LLM inference engine for RTX 5090 (Blackwell sm_120a) https://github.com/avifenesh/bw24
从零手写、无框架依赖的 LLM 推理引擎,每一条 kernel 都经过位精确验证。在目标模型上比 llama.cpp 快 1.3-1.6x。
技术要点
- NVFP4 block-scale decode + int8 tensor-core GEMM
- MTP speculative decoding (K=1..8 自一致性验证)
- MoE expert caching (VRAM→host→disk 三级溢出)
- CUDA-graph decode (每步 host round-trip 仅 4 字节)
- 三关正确性:kernel-check → argmax match → spec self-consistency
性能数据
| 模型 | bw24 | llama.cpp | Ratio |
|---|---|---|---|
| Qwen3.5-9B NVFP4 | 193 tok/s | 122 tok/s | 1.59x |
| Qwen3.6-27B NVFP4 | 122 tok/s | 87 tok/s | 1.40x |
| Qwen3.6-35B-A3B MoE | 182 tok/s | 170 tok/s | 1.08x |
对 Hermes 启发
- 推理正确性方法论 (speculative decoding token 一致性验证) 值得借鉴
- NVFP4 量化方案对本地 GGUF 推理有参考价值
- kernel-tuning 方法论 (labelled corpus of experiments) 可复用
Signal 2: tiliondev/fortress (HN 35pts)
Stealth Chromium engine — 34 C++ patches for fingerprint correction https://github.com/tiliondev/fortress HN: https://news.ycombinator.com/item?id=48825745
Chromium fork 在 C++ 层修改 34 处浏览器指纹逻辑,使 Playwright/Puppeteer 驱动的 agent 绕过 bot 检测。
技术要点
- 基于 Chromium 149/151,34 个 C++ patch 修改 canvas/WebGL/audio/fonts/navigator 等 30+ 指纹面
- CreepJS 0% headless 检测、Cloudflare Turnstile 通过、Akamai Bot Manager 通过
- JA3/JA4 TLS 指纹一致性
- MCP 协议支持,29 个 stealth-browser tools
- BSD-3 许可
对 Hermes 启发
- 直接集成到 WSL 浏览器自动化管道(已更新 wsl-browser-automation skill)
- Fortress MCP 可纳入 Hermes MCP 工具链
- 对 Alaya/Anchor/Mano 的 web-surfer 信号收集有直接价值