知识消化: 本地小 Transformer 训练 + AI 辅助拉片笔记

Signal 1: Doriandarko/texts-to-transformer

来源: GitHub | 202pts, 297⭐ 链接: https://github.com/Doriandarko/texts-to-transformer

核心: 从零开始训练一个 1.38M 参数的 decoder-only Transformer,用你自己的 iMessage 聊天记录,全程在 Mac 本地运行(MLX),不上传任何数据。

为什么重要:

  • 证明只需 8M tokens 的个人对话数据就能训练出一个有个人风格的小模型
  • 全隐私优先设计:只读 SQLite 快照、HMAC 假名化、PII 脱敏、n-gram 泄露检测
  • 零预训练 —— tokenizer 和模型都从随机初始化开始
  • MLX 优化,Apple Silicon 统一内存上运行

技术要点:

  • 架构: 4层/128宽度/4头/256上下文窗口
  • Tokenizer: 4096 词汇自定义 byte-level BPE
  • 流程: DB备份→提取+脱敏→会话分组→90/5/5时间分割→训练tokenizer→随机初始化→MLX训练→评估→导出→本地聊天
  • 两个预设: 1.38M (小) 和 6.16M (大数据集)

对 Hermes 启发:

  • 隐私优先的本地训练流程值得借鉴
  • MLX 方案可用于 Apple Silicon 上的本地微调
  • 评估方法(perplexity/n-gram overlap/PII audit)适用于 gbrain 质量检查

Signal 2: bkingfilm/lapian-notes (拉片笔记)

来源: GitHub | 203pts, 246⭐ 链接: https://github.com/bkingfilm/lapian-notes

核心: 把电影变成可编辑的拉片笔记 —— 本地抽帧、AI 分析包、剧情泳道时间轴、结构树、情绪曲线。自带 AI 模型(BYO-AI),无需 API Key。

为什么重要:

  • 创造性的 BYO-AI 模式:本地打包截图+字幕→发给任意 AI→导回结构化结果→可视化
  • 全本地:帧存在 IndexedDB,笔记在 localStorage
  • 非程序员友好:双击 run.bat/run.command 即可使用
  • 分段深拆:任意段落可单独打包做更深层的 AI 分析

技术要点:

  • 架构: TypeScript + Vite + React 浏览器应用
  • 抽帧: 1秒间隔,ffmpeg 本地转码
  • 字幕: 内嵌字幕 OR 自动搜索公开字幕库
  • 可视化: 泳道时间轴、结构树、情绪曲线
  • 导出: Markdown 完整笔记、剧本正文

对 Hermes 启发:

  • BYO-AI 模式(打包数据→发送 AI→导回结构化结果)可用于很多 Hermes 工作流
  • 本地优先架构与 Hermes 隐私理念一致
  • 泳道可视化方式可启发 gbrain 知识可视化
  • 渐进式分析深化流程(分段深拆)与 Hermes 知识处理方式类似