跳到正文

Jeff

一个 0.8B 的开源「系统 1」模型,配可替换的 LoRA adapter,先替大模型做掉快决定;只有它不确定时,查询才继续往下走。

这是 firelex 的 GitHub 头像,不是项目自己的 logo。取自 github.com,2026-10-02。

Screenshot of Jeff
编辑截图, 2 Oct 2026Jeff ↗

这是什么

Jeff 是一个 0.8B 的开源模型,定位是坐在更大的模型前面、把快的决定先做掉:它先回答,只有不确定时才把查询交给像 Qwen3.8-27B 这样的模型。一个基座配可替换的 LoRA adapter——2026-10-01 的 v1.2 社区预览随附九个——覆盖守卫、分诊、支持意图、工具选择、依据核对、导航、垃圾信息与合同条款。README 报告:准确率 95.3% 对「全部由 27B 决定」的 86.6%,每次决定 0.25 秒而不是 8.1 秒,九个 adapter 全加载时额外占用 1.96 GB。

谁做的仓库 14 次提交里有 13 次是他的,第 14 次来自另一位贡献者。14 次中有 9 次带共同作者尾注,且 9 次全部署名 Claude Opus 5.5(1M 上下文)。

它是怎么搭起来的

组成 · 5

一个基座加若干 adapter,而路由决定由小模型自己做。Jeff 先回答并估计自己是否有把握,只有没把握的那些查询才继续交给大模型。这把常见的级联反了过来——昂贵的模型不是默认被调用再被过滤,而是作为例外被调用——也正是这一点,让 6.9% 的内存增加换来了在 adapter 覆盖任务上 38 倍的延迟下降。

v1.2 基座
一个 0.8B 的开源模型,磁盘上 1,706,027,688 字节,2026-10-01 作为社区预览发布,v1.3 被宣布为长期支持基座。
九个 adapter
同一个基座上的 LoRA adapter——守卫、分诊、支持意图、工具选择、依据核对、导航、垃圾信息、合同条款等。合同条款 adapter 含读出层共 41,459,776 字节。
路由规则
Jeff 先回答,只有不确定时才把查询交下去。README 逐任务报告了交下去的比例,多数任务是 0.0%,依据核对是 1.7%。
videos/ 与 assets/previews
24 个视频文件、58.8 MB,加上 2.9 MB 预览图——在一个产品是 1.7 GB 模型的仓库里,这部分反而是体量最大的,也是展示 adapter 效果的窗口。
docs/data-sources.md
7 KB,说明训练数据来自哪里;旁边是公布的数据规范,让别人自己做的数据集能挺过基座版本更换。

取舍,以及它替代了什么

  • 让小模型在前面,按例外向下传 替代 每次都问大模型

    README 的两张表就是论证:同一批数据上 95.3% 对 86.6%,0.25 秒对 8.1 秒,而多数任务类型下大模型被调用的比例是 0.0%。

  • 先以社区预览发布,并写明下一个基座,而不是等它稳定 替代 等 v1.3 稳定后再放 adapter

    README 宣布 v1.2 与九个 adapter、请人提 issue,并说明 v1.3 大约 36 小时后到——同时提醒 adapter 过不了基座更换这一关,而数据集可以。

  • 在一个基座上保持 adapter 可替换 替代 每个任务一个微调模型

    九个 adapter 合计只在 28.6 GB 之上增加 1.96 GB,正是这个数字让这条级联是可负担的,而不是等于再养一个大模型。

依据firelex/jeff 的 README 与仓库文件树,2026-10-02 读取。

制作过程

4 个阶段
  1. 01

    从空仓库到带九个 adapter 的预览,四天

    仓库创建于 2026-09-28,共 14 次提交,九月 12 次、十月 2 次。它是作为社区预览而不是正式版发布的:README 宣布 Jeff v1.2 与九个 adapter,请读者把能用的部分提成 issue,并写明稳定的长期支持基座 v1.3 大约 36 小时后发布、官方 adapter 随后重训。它同时把由此带来的限制直说而不是埋起来——adapter 不能在基座版本之间沿用,必须重训;而数据集可以沿用,前提是按公布的规范来做。

  2. 02

    是谁写的:14 次提交里有 9 次署名模型

    14 次提交里 13 次是作者的,1 次来自另一位贡献者。9 次带共同作者尾注,且 9 次全部署名 Claude Opus 5.5(1M 上下文)——占全部历史的三分之二。这是本批里比例最高的一条,也值得说清它意味着什么、不意味着什么:它是「模型写了那些提交中相当一部分代码」的证据,不是关于训练数据、也不是关于基准数字如何得出的证据。

  3. 03

    主张是一场对比,而且被完整印了出来

    README 并没有论证「小模型好」,而是把两种配置放在同一批测试行上并排。跨八个 adapter:全部由 27B 决定的配置是 86.6%,由 Jeff 加 adapter 决定、只在不确定时交给 27B 的配置是 95.3%。每次决定耗时从 8.1 秒降到 0.25 秒,错误率从 13.4% 降到 4.7%,内存代价写成数字而不是形容:九个 adapter 全加载 +1.96 GB,即 28.6 GB 之上的 6.9%。第二张表把同样的对比按任务拆开——守卫 84.0% 到 98.0%、分诊 81.3% 到 91.0%、支持意图 86.0% 到 95.3%、工具选择 90.3% 到 98.0%、垃圾信息 88.0% 到 98.7%——而其中一行最值得看:依据核对从 96.7% 变成 96.3%,是唯一一项小模型没有更好的任务,说明原因的是旁边那列——1.7% 的查询被继续交了下去。

  4. 04

    仓库里有什么,没有什么

    182 个文件里占主导的是媒体而不是代码:videos/ 24 个文件、58.8 MB,assets/previews 另占 2.9 MB,而 docs/data-sources.md 只有 7 KB,用来说明训练数据来自哪里。模型自身的大小在 README 里写成字节数——v1.2 基座 1,706,027,688 字节,合同条款 adapter 41,459,776 字节(权重加读出层)。视频、adapter 体积与数据规范合在一起,说明了仓库的形状是为谁准备的:展示 adapter 能做什么,以及告诉别人怎么自己做一套。

相关档案

全部档案 →