# 开源小 Jev：模型 · 数据 · 算法 · GPU 实践

**Lab id:** `lab-jev-open-models-20261030`  
**类型:** handbook（调研整合，非 live 训练）  
**日期:** 2026-10-30 Asia/Hong_Kong

---

## 0. Executive summary

**Jev**（TypeSafe）是 System One 决策模型：对 `state` + 有界选项返回类别概率，不生成自由文本；原语为 **choice / noul / score**，端点 `POST /v1/systemone`（[Models](https://docs.typesafe.ai/models.md)，当前别名 `jev-latest` → `jev-1.14.0`）。权重与训练不公开，社区出现大量 Jev-style 开源复刻。

对「**≤2B、最好带中文、可自备 GPU 复现**」：

| 路径 | 代表 | 机制 | 中文 | 最适合 |
|------|------|------|------|--------|
| A | **QJev3.5-0.8B** | 字母 logprob + 对调平均 | **有** | 产品路由/权限，llama.cpp |
| B | **Kev-0.8B** | pointer head + T 校准 | 卡称 en | SDK 兼容本地服 |
| C | **RSI-Jev 0.8B/2B** | option xattn + soft CE | en | typed-decisions 向研究 |
| D | Tev1 / GhostScientist | 字母 SFT | 弱/无 | 最小工程验证 |
| E | Intern-Decision-0.8B | 掩码符号多字段 | 多模态 | 一次多题 + 图 |
| F | **LLM-as-Jev** | 编号 prefill ± L_tree+KL | 随底座 | 任意 K、强对照基线 |

**若只跑一个 0.8B 中英实验（本包推荐）**：路径 **A 为主、F 为免训练对照**；数据用 [`ZY-Lee4/QJev3.5-mix`](https://huggingface.co/datasets/ZY-Lee4/QJev3.5-mix) 可再分发子集；**禁止**用 JevBench 公开集调参。

---

## 1. 官方 vs 开源在比什么

官方卖的是：校准概率、多题并行、K 可达很大、托管延迟与 $/MTok。开源复刻通常只兑现子集：

- **接口兼容**（Kev / RSI / Intern）≠ **能力对齐**（0.8B 在公开泛化上常远低于官方与 4B+）。
- **域内暴涨** 常见（QJev：产品 180 从 27.2%→94.4%），**held-out 几乎不动**（同卡：jev-bench held-out ~50%）。
- **公开 JevBench 高分** 可能伴随 sealed 崩盘（LLM-as-Jev 论文表 16：Plumb 89.6 / 38.0）——报告必须拆列。

---

## 2. 模型层结论（详见 `models.md`）

1. **同底座不同配方**：Intern-Decision-0.8B 与 QJev 同为 Qwen3.5-0.8B，QJev 在自有 extended/permission 仪器上大幅领先（QJev 卡对照表）→ **数据形状 > 接口口号**。
2. **专用头 vs 字母**：pointer/xattn 支撑更大 K 与原生多题；字母简单但 **K≤26**，全标签 Banking77 接近随机（QJev 卡）。
3. **小模型必须训塔**：RSI 记录 frozen+head 卡在 majority 以下；LLM-as-Jev 显示 0.6B 免训练弱、微调在高基数路由上收益大。
4. **SFT 字母陷阱**：GhostScientist 强调必须 `enable_thinking: false`，否则字母进 thinking 通道，准确率可归零。

---

## 3. 数据层结论（详见 `datasets.md`）

| 优先 | 原因 |
|------|------|
| QJev3.5-mix | 中英、SOURCES 透明、踩过位置/配比/接地坑并写进 DATACARD |
| typed-decisions-synth | MIT、软标签、排除 benchmark 四工作流 → 可训可测 |
| GhostScientist v1 | 小、带 messages、适合字母 SFT 冒烟 |
| LLM-as-Jev 公开集配方 | 无合成标签、强调去污染；但许可混杂（ReClor NC 等）需自审 |

**雷区**

- ANLI **CC-BY-NC**：QJev 内部用、**不进公开发布子集**。
- 官方 Jev 蒸馏：训练可用、**再分发违规风险**。
- typed-decisions：训了 `train` 就必须标 specialist，禁止与 zero-shot 榜混排。
- JevBench：公开可训但**必须披露**；本 playbook **默认当纯诊断**。

---

## 4. 算法层结论（详见 `algorithms.md`）

四条主轴：

1. **Pointer / xattn head** — 真·分布输出、K 大、实现重。  
2. **Letter / numeric logprob** — 保留 LM、易部署；字母有 K 帽，编号 prefix-free 无帽。  
3. **L_tree + KL** — 微调时保聊天、防 `]` 后泄文本；λ=0 会「分数还行、生成已毁」。  
4. **朴素 SFT 字母** — 最快出权重；校准与多题并行弱。

校准：Kev/Intern 显式温度；QJev/LLM-as-Jev 更多依赖训练分布；发布前在**自己的标签集**上重拟合 T。

---

## 5. 样本结构（详见 `sample-schema.md`）

核心同构：`state` + 问题 + 有序选项 + 单点/软标签。差异在渲染：字母契约、编号 prefill、或 System One JSON。转换时 **shuffle、thinking off、合法 token 检查** 是硬门禁。

---

## 6. GPU 实践摘要（详见 `gpu-playbook.md`）

钉环境 → 选主路径+对照 → 审计泄漏/位置/配比 → LoRA ≤1 epoch → 分层评测（产品 / typed-decisions / JevBench 诊断）→ 延迟与诚实模型卡。

---

## 7. 推荐路径（只跑一个 0.8B 中英实验）

**证据**

- 用户明确要「jev chinese 0.8b」类；QJev 是一手卡上 **en+zh** 且给中文 tickets **72.5%/40** 的开源线。  
- 同底座对照证明数据域决定产品指标。  
- LLM-as-Jev：强底座可免训练；**0.6B/0.8B 级**更需要格式对齐微调，但应用 OOD 选模而非公开榜刷分。  
- QJev DATACARD 已文档化位置捷径、中文配比、ANLI 许可——可减少重复踩坑。

**步骤**

1. 底座 `Qwen/Qwen3.5-0.8B`，LoRA r32 α64（或 r16 作消融）。  
2. 数据：`QJev3.5-mix` 可再分发 jsonl；可选混入少量自建中文门禁。  
3. 读出：字母 logprob + reverse 平均；thinking off。  
4. 对照：同底座 LLM-as-Jev 编号免训练。  
5. 评测：mix val + 自建中文 + typed-decisions test（未训）+ JevBench 公开（诊断 only）。  
6. 卡上写：非 TypeSafe；域内/域外分列；许可与 ANLI 排除。

**不推荐作为唯一路径**：只刷 JevBench 公开；只用 Intent 类数据长训；未关 thinking 的字母 SFT；把 180 产品集准确率当泛化。

---

## 8. 抓取说明

一手打开过：QJev GGUF/合并卡、Kev-0.8b 卡、RSI-Jev 0.8B 卡、Tev1 卡、Intern-Decision 卡、GhostScientist 数据/模型卡、QJev mix README/SOURCES/DATACARD、typed-decisions 与 synth README、TypeSafe models/noul、arXiv:2610.02076 HTML、jevbench README。  
HF rows API 拉过 GhostScientist / QJev mix 真实行样例。

未调用 TypeSafe 付费推理；未下载完整权重做评测。