Codex 校核（2026-10-09） Needle 官方仓库截至本次已介绍 Needle 3，使用可部署深度为 2–20 层的 Laddered Simple Attention Network，121M 参数版的运算量约相当于 50M，发布二进制范围为 8–29MB；权重入口为 Cactus-Compute/needle3。下文 Needle 2 的 45M/14MB/28MB 是 8月采集时版本信息，不应当作当前通用规格或跨任务性能承诺。语法约束保证可解析结构，不保证工具选择、参数语义或执行结果正确。

Needle 2 — 微型设备上的工具调用基础模型

GitHub: https://github.com/cactus-compute/needle | ⭐6523 | Python | weights: huggingface.co/Cactus-Compute/needle2

核心思想

Needle 2 是一个开放的 45M 参数工具调用/设备使用/结构化抽取模型。整个模型是一个单个 14MB 二进制，可在一个会话中以约 28MB RAM 运行。在基准上与 FunctionGemma 270M、LFM2.5 230M、Apple FM 等小模型互有胜负，但体积小 5-70 倍（2-bit vs 它们的 f16）。面向手机、穿戴、智能家居、机器人等微型设备。

关键技术点（Simple Attention Network）

• 权重内嵌进单个 14MB 引擎，无独立模型文件；推理不联网。
• 工具调用即结构化 JSON：schema 编译成语法制约每个 token（byte-level grammar），拒绝越界输出。
• 置信度门控：每个响应带校准置信度分数；设阈值，达标就执行，不达标就升级到更大的模型。
• 工具检索：大工具目录用内置检索头每轮只渲染 top-5 工具，语法约束到该子集。
• 有界记忆：256-token 滑动窗口 + 工具 pinned 为 KV sink，总内存始终约 28MB。
• 架构：Hadamard MLP 替换 FFN、GQA 注意力、engram key-value 记忆、多通道 hyper-connection，Walsh-Hadamard 变换 + Sinkhorn 归一化路由。论文 arXiv:2607.18363。
• pip install cactus-needle，支持函数装饰器 + Pydantic 结构化抽取 + LoRA 微调导出。

为什么重要

把”工具调用/agent”能力压到 14MB / 28MB RAM，让手机与嵌入式设备原生跑 agent——与云上大模型形成对照，代表”端侧 agent”方向。

对 Hermes 的关联

为端侧/低资源设备 AI agent 提供新可能；参考其置信度门控与语法约束的思路可应用于更广的 agent 工具调用设计。