知识消化: 本地小 Transformer 训练 + AI 辅助拉片笔记
Signal 1: Doriandarko/texts-to-transformer
来源: GitHub | 202pts, 297⭐ 链接: https://github.com/Doriandarko/texts-to-transformer
核心: 从零开始训练一个 1.38M 参数的 decoder-only Transformer,用你自己的 iMessage 聊天记录,全程在 Mac 本地运行(MLX),不上传任何数据。
为什么重要:
- 证明只需 8M tokens 的个人对话数据就能训练出一个有个人风格的小模型
- 全隐私优先设计:只读 SQLite 快照、HMAC 假名化、PII 脱敏、n-gram 泄露检测
- 零预训练 —— tokenizer 和模型都从随机初始化开始
- MLX 优化,Apple Silicon 统一内存上运行
技术要点:
- 架构: 4层/128宽度/4头/256上下文窗口
- Tokenizer: 4096 词汇自定义 byte-level BPE
- 流程: DB备份→提取+脱敏→会话分组→90/5/5时间分割→训练tokenizer→随机初始化→MLX训练→评估→导出→本地聊天
- 两个预设: 1.38M (小) 和 6.16M (大数据集)
对 Hermes 启发:
- 隐私优先的本地训练流程值得借鉴
- MLX 方案可用于 Apple Silicon 上的本地微调
- 评估方法(perplexity/n-gram overlap/PII audit)适用于 gbrain 质量检查
Signal 2: bkingfilm/lapian-notes (拉片笔记)
来源: GitHub | 203pts, 246⭐ 链接: https://github.com/bkingfilm/lapian-notes
核心: 把电影变成可编辑的拉片笔记 —— 本地抽帧、AI 分析包、剧情泳道时间轴、结构树、情绪曲线。自带 AI 模型(BYO-AI),无需 API Key。
为什么重要:
- 创造性的 BYO-AI 模式:本地打包截图+字幕→发给任意 AI→导回结构化结果→可视化
- 全本地:帧存在 IndexedDB,笔记在 localStorage
- 非程序员友好:双击 run.bat/run.command 即可使用
- 分段深拆:任意段落可单独打包做更深层的 AI 分析
技术要点:
- 架构: TypeScript + Vite + React 浏览器应用
- 抽帧: 1秒间隔,ffmpeg 本地转码
- 字幕: 内嵌字幕 OR 自动搜索公开字幕库
- 可视化: 泳道时间轴、结构树、情绪曲线
- 导出: Markdown 完整笔记、剧本正文
对 Hermes 启发:
- BYO-AI 模式(打包数据→发送 AI→导回结构化结果)可用于很多 Hermes 工作流
- 本地优先架构与 Hermes 隐私理念一致
- 泳道可视化方式可启发 gbrain 知识可视化
- 渐进式分析深化流程(分段深拆)与 Hermes 知识处理方式类似