# 训练 / 评测数据对照

访问日期：2026-10-30。

## 总表

| 数据集 | 链接 | 规模 | Schema 要点 | 种子/合成 | 许可风险 | 用途 |
|--------|------|------|-------------|-----------|----------|------|
| **QJev3.5-mix** | [ZY-Lee4/QJev3.5-mix](https://huggingface.co/datasets/ZY-Lee4/QJev3.5-mix) · [SOURCES.md](https://huggingface.co/datasets/ZY-Lee4/QJev3.5-mix/raw/main/SOURCES.md) · [DATACARD](https://huggingface.co/datasets/ZY-Lee4/QJev3.5-mix/raw/main/DATACARD.md) | 内部训练混合约 **39,231**（v8，23 家族）；HF 发布子集滤 ANLI；viewer 显示约 10 万行级（含历史版本路径） | `state` / `instructions` / `criteria[{name,desc}]` / `answer_index` / `family` / `task_type` | 自建合成 + 公开派生（CLINC、Banking77、MNLI、SciTail、WANLI、CMNLI、MASSIVE zh…） | **ANLI = CC-BY-NC-4.0：仅内部、不随仓**；官方 Jev 蒸馏也不再分发 | 中英 0.8B 产品域微调首选公开仓 |
| **jev-decisions-v1** | [GhostScientist/jev-decisions-v1](https://huggingface.co/datasets/GhostScientist/jev-decisions-v1) | train **8702** / dev **400** | `state` `question` `options[{label,key,description}]` `answer` `answer_key` `messages` | seed：MNLI/BoolQ/Banking77/AG News/SST-5；synthetic：GLM-5.3-Flash + 二次校验 | Apache-2.0 数据集；源数据集各自条款 | 字母 SFT（Tev1 风格） |
| **typed-decisions** | [LocalLLaMA/typed-decisions](https://huggingface.co/datasets/LocalLLaMA/typed-decisions) | train 1200 cases / **test 400 cases = 2000 decisions** | System One：`state` + 5 题 `questions` + soft `gold` | 潜变量渲染 + 教师三次温度 0.7 均值 | Apache-2.0 | **评测榜**；训 test 需标 specialist |
| **typed-decisions-synth** | [n4ze3m/typed-decisions-synth](https://huggingface.co/datasets/n4ze3m/typed-decisions-synth) | **7414** cases / **25859** questions（train 6682 / val 732） | `state` `questions` `gold` `teacher` soft probs | DeepSeek V4.1 Flash 全合成；约 $17 / 25M tokens | **MIT**；故意排除 typed-decisions 四工作流 | RSI-Jev 训练源（卡写 `n4ze3m/typed-decisions-synth`，6977 docs） |
| **LLM-as-Jev 混合** | 论文 [2610.02076](https://arxiv.org/abs/2610.02076) Appendix D | Intent 最高 **95461**；Reason-9k **9000**；Reason+Long-12k **12000** | 统一编号选项模板；人工标注公开集转换，**无教师合成标签** | CLINC/MASSIVE/Bitext + ReClor/LogiQA/… + ContractNLI/MuSiQue/QuALITY | **ReClor research-only**；αNLI / ProofWriter **许可未声明**；LogiQA 2.0 **CC BY-NC-SA** | 研究级微调配方；需自建转换流水线 |
| **JevBench 公开** | [fstandhartinger/jevbench](https://github.com/fstandhartinger/jevbench) · board [benchmarkheaven](https://benchmarkheaven.com/jev-models) | 公开约 **231**（easy/standard/hard 分档；版本演进中还有更多公开/密封） | 决策任务 JSONL | 人工 + 导入源 | MIT harness + 公开原题；密封不可再训 | **仅诊断 / 公开榜**；「Training on the public split must be disclosed」 |
| **Kev 训练套件** | 描述于 [kev-0.8b 卡](https://huggingface.co/jaredpalmer/kev-0.8b) | decision-v7 **12576**；documents+skills 阶段 **16539** 等 | System One 问题类型 | 公开分类集 + 程序化政策对 + CFPB 叙事 | 分源许可；卡称**未使用**官方 Jev 输出 | 跟 Kev 训练栈 |

## QJev 家族与雷区（DATACARD / SOURCES）

- 答案位置须**每行均匀随机**；早期「全局最少使用字母」导致位置可由 K 预测。
- gate 曾 **block:chat ≈ 9.5:1** 且中文无正例 → 模型把明确 Python 中文问题判 block；v8 修到约 **1.14:1**。
- entity 曾 gold 与 state 脱钩（held-out ≈ 随机）；已修。
- 干扰项增强：约 25% 行追加无关选项。
- **不要**把 seed 180 题当中立基准（自建产品集）。

## GhostScientist 源计数（README）

seed_agnews 800 · seed_banking 1100 · seed_boolq 1100 · seed_nli 1300 · seed_sst5 800；其余 synthetic_* 约 186–317 / 家族。

## JevBench 使用约定（本包强制）

1. 公开 231 **禁止**进入训练 / 超参 / checkpoint 选择（与 LLM-as-Jev 论文一致）。
2. 若无意泄漏（13-gram / 长句重叠），应过滤。
3. 公开准确率与 sealed 可能差很大（例：Plumb 公开 89.6 / sealed 38.0，论文表 16）——报告必须拆开写。
4. Benchmark Heaven：**训练过公开集必须披露**。

## typed-decisions 读分

- Gold = 教师均值；分数是「与教师一致」非绝对真理。
- 先验忽略输入 Acc **0.470**；完美因子恢复 **0.704**；教师自洽 **0.735**。远高于 0.735 可能在学教师 quirks。
- specialist（训了 train）与 zero-shot **不可比**。