草案

本文为标准规范草案（征求意见前工作稿），经专家委员会审定、由聚变科学数据中心（筹）发布后方生效。本文的判据阈值均为初值，按 判据版本 (Criteria Versioning) 分版定版。

前言 (Foreword)

本文件按「单位标准保底」的层级起草，由聚变科学数据中心（筹）发布；拟同步申报团体标准（发布主体为相关全国性学会或行业协会）。本文件对应聚变高质量数据集专项标准规范清单第 3 项（产品类）。

本文件的判据分版演进：初版随申报给出，第一版于第 1 年下半年随首批数据集试行形成，第 2 年上半年修订，第 2 年下半年定版并入本文件发布。本文件发布前，各数据集版本依据的判据版本以质量报告的记载为准。

范围 (Scope)

本文件规定了聚变实验与模拟数据及由其加工形成的数据集的质量判据、度量方法与阈值，质量门的设置，质量标签与质量报告的格式，以及数据效用的评估方法。

本文件适用于数据中心加工与发布的全部数据集版本，包括预训练数据、指令微调数据、强化学习偏好数据与基准测试数据集。

规范性引用文件 (Normative References)

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。

• 《聚变科学数据元数据规范》
• 《聚变数据标注规范》
• 《聚变多模态数据对齐规范》
• 《聚变领域指令数据构造规范》
• 《聚变领域基准测试数据集构建与评测规范》
• 《聚变高质量数据集封装与交换规范》

术语和定义 (Terms and Definitions)

质量判据 (quality criterion) 带度量方法与阈值、可自动计算的质量要求。

仪器时基偏差 (instrumental timebase offset) 采集系统的时钟与触发相对统一时间基准的偏差；可标定。

物理响应时间差 (physical response lag) 不同诊断对同一物理事件的响应在物理上的先后；只记录、不校正。

三态标记 (tri-state flag) 判据检验结果取「通过」「未通过」「未检验」之一。

硬性判据 (hard criterion) 不满足或未检验即不得入集的判据。

训练用发布视图 (training release view) 数据集版本中默认供模型训练读取的条目集合。

质量门 (quality gate) 加工链上执行质量检查、决定条目或批次能否进入下一环节的检查点。

四级质量体系 (Four-Tier Quality System)

质量体系分四级，自上而下逐级收紧、逐级留证：

1. 标准约束. 判据的定义、度量方法与阈值以本文件及相关标准规范的文本为准，工具按标准实现。
2. 过程质检. 加工流程的每道工序设质量门，自动检测为主、人工抽检为辅；不合格的条目或批次 必须 (MUST) 回退到上一工序，禁止 (MUST NOT) 带病流转。
3. 成品评估. 每个数据集版本发布前必须 (MUST) 按全部判据逐项评估并出具质量报告；另委托第三方机构对数据集抽样评估，结论作为质量报告附件。
4. 效果验证. 以验证模型在基准测试集上的表现检验数据集的实际效用（数据效用评估 (Data Utility Assessment)）。

质量判据 (Quality Criteria)

物理侧判据 (Physics Criteria)

表 1　物理侧质量判据（初值）。

序号	判据	度量方法	初值	阈值依据
P-1	多诊断时基对齐	各采集系统的时钟与触发相对统一时间基准的仪器时基偏差，以同步测试信号注入或共用触发标定；物理响应时间差只记录、不校正	标定后的偏差不超过「该诊断 1 个采样周期」与同步测试确定的标定能力下限两者中的较大者	各诊断采集系统的时钟与触发标定记录
P-2	等离子体电流一致性	罗氏线圈测得的电流，与由极向磁探针阵列按安培环路积分得到的电流，在平顶段的相对偏差	不超过 2%	磁测量标定记录给出的不确定度
P-3	线积分密度一致性	干涉仪线积分密度，与另一路标定相互独立的密度诊断所得剖面沿同一弦积分值的相对偏差；仅当两路标定相互独立时适用	不超过 10%	两类诊断不确定度的合成；适用的诊断对在数据集说明中载明
P-4	储能一致性	抗磁测量储能与由温度、密度剖面积分所得动理学储能（计入快离子贡献的估计）的相对偏差	不超过 15%	各诊断标定记录给出的不确定度的合成
P-5	平衡重建质量	平衡重建对磁测量的拟合残差与收敛标志	收敛且残差低于该程序惯用上限，所用上限在数据集说明中载明	平衡重建程序的惯用判据
P-6	标定、单位与量纲	带标定记录与单位的信号占比；量纲自动检查	100%	《聚变科学数据元数据规范》的强制字段
P-7	溯源覆盖	可追溯到原始采集数据与全部加工步骤的条目占比	100%	版本与血缘管理

人工智能侧判据 (AI-Readiness Criteria)

表 2　人工智能侧质量判据（初值）。

序号	判据	度量方法	初值	阈值依据
A-1	去重	精确重复率（内容哈希）；近似重复率（文本用局部敏感哈希，时序用特征量序列的相似度）	精确重复 0；近似重复不超过 1%	大模型语料的通行做法
A-2	基准污染与泄漏	训练类数据集与基准测试集的炮次重叠；文本 13 元组重叠率	炮次重叠 0；13 元组重叠率不超过 0.1%	同上；以按实验轮次整体切分为前提（《聚变领域基准测试数据集构建与评测规范》）
A-3	标注一致性	双人独立标注的科恩 κ 系数	关键标签不低于 0.8；一般标签不低于 0.7	标注研究的通行门槛（《聚变数据标注规范》）
A-4	抽检合格率	指令数据分层抽检的批次合格率；基准题的专家复核率	合格率不低于 95%；复核率 100%	抽检率：程序化构造 2%、模型辅助生成 10%、专家撰写 100% 互审（《聚变领域指令数据构造规范》）
A-5	元数据完整率	必填元数据字段齐备的条目占比	不低于 98%	《聚变科学数据元数据规范》《聚变高质量数据集封装与交换规范》
A-6	工况覆盖度	在关键运行参数空间分箱，统计有样本的箱占装置可达运行区间的比例，并报告各箱样本数的均衡程度	随覆盖度度量方法研究确定后在数据集说明中公布	研究内容
A-7	许可可追溯	带许可声明与来源记录的条目占比；模型生成条目另须带生成模型的名称、版本与许可	100%	合规要求
A-8	数据效用	以固定的小规模验证模型做消融：加入某数据子集前后，模型在基准测试集上的成绩变化	增益非负，否则该子集不入集	研究内容

判据使用规则 (Rules of Application)

1. 两路独立. P-2～P-4 为跨诊断交叉检验，两路测量必须 (MUST) 相互独立。一路若是另一路的拟合约束或标定基准，该对禁止 (MUST NOT) 作为判据，只记录标定依赖关系。平衡重建所得电流与罗氏线圈电流不独立，故 P-2 以极向磁探针阵列的安培环路积分为另一路；汤姆逊散射密度若以干涉仪交叉标定，该诊断对不用于 P-3。适用性由程序在检验前读取《聚变科学数据元数据规范》规定的标定依赖关系判定。
2. 时基只约束仪器偏差. P-1 只约束仪器时基偏差。共同物理事件的互相关只用于复核毫秒级以上的粗大错位（通道接错、触发漏记、时钟跳变），禁止 (MUST NOT) 用作仪器延迟的标定手段。
3. 三态标记. P-1～P-5 的结果取三态标记。未通过的炮次或时间段带标记并注明未通过的判据后 入集，但禁止 (MUST NOT) 计入多模态条目与基准测试样本，且默认不进入训练用发布视图。不适用或不可算者标「未检验」，与「未通过」区分，二者占比均写入质量报告。
4. 硬性判据. P-6、P-7 与 A-7 为硬性判据：不满足者禁止 (MUST NOT) 入集；硬性判据出现「未检验」的，按「未通过」处置。
5. 版本级判据. A-1、A-2、A-4 等数据集版本级判据不满足的，该版本禁止 (MUST NOT) 发布。
6. 重复放电. 重复放电在物理上是有意为之的，禁止 (MUST NOT) 按冗余删除；去重针对同一炮次经不同途径重复入集、同一文献的多个版本、模板生成的雷同指令等冗余，重复放电保留并在元数据中互相关联。

质量门 (Quality Gates)

加工链上设四道质量门，每道门内按「确定性校验 → 物理一致性检验（或可复算检验）→ 审核」三步检查（表 3）。

表 3　四道质量门。

质量门	位置	检查项	不通过的处置
入口门	汇聚之后	许可与来源记录、格式可读性、必填元数据、标定记录与单位	退回数据提供方补全，不进入加工
加工门	清洗、转换与对齐之后	时基对齐检验、各项物理一致性检验、量纲检查、去重	三态标记，未通过者带标记流转、不删除
构造与标注门	指令构造与标注之后	可复算检查、事实核对、工具重放、分层抽检、标注一致性度量	不合格批次按《聚变领域指令数据构造规范》回退
发布门	整编封装之前	基准污染与泄漏检测、元数据完整率与许可可追溯统计、工况覆盖度统计、数据效用消融；生成质量报告	任一硬性判据不满足，版本不得发布

发布门的质量报告必须 (MUST) 经数据集负责人与质量负责人审核签发。每次质检的输入、规则版本、结果与处置必须 (MUST) 写入溯源记录。人工智能工具在加工中只提出候选结果，候选必须 (MUST) 经质量门的确定性校验与必要的人工审核方可入库。

质量标签与质量报告 (Quality Labels & Report)

质量标签 (Quality Labels)

条目级质量标签记录各判据的三态结果与未通过的判据编号；数据集版本级质量标签取 pass / warn / fail 三值，fail 的版本不得发布。有判据未通过、但否决性判据均通过的，取 warn，并在质量报告中列明。

质量报告 (Quality Report)

每个数据集版本必须 (MUST) 随附一份质量报告，内容固定为八部分：

1. 数据集标识、版本与适用的判据版本；
2. 规模与构成（条数、双口径 token、模态构成、近三年占比、多模态条目占比）；
3. 来源与许可统计；
4. 物理侧判据逐项的通过、未通过与未检验占比及主要不通过原因；
5. 人工智能侧判据逐项结果，含抽检样本量、合格率、科恩 κ 系数及其批次分布；
6. 标签来源构成与各来源的不一致率；
7. 工况覆盖度图表与已知的覆盖空白；
8. 数据效用消融结果、已知问题与使用建议。

质量报告与数据集说明、许可声明一并发布；第三方抽样评估的结论作为附件。质量报告的机器可读格式与数据集说明一并按《聚变高质量数据集封装与交换规范》执行。

数据效用评估 (Data Utility Assessment)

1. 以固定的小规模验证模型与训练配置，对「加入或去掉某数据子集」「采用或不采用某质量判据筛选」做成对消融，以基准测试集（《聚变领域基准测试数据集构建与评测规范》）成绩之差度量效用。
2. 验证模型规模、单次训练 token 数与消融次数为参考配置：约 10 亿参数、每次约 100 亿 token、建设期内约 300 次；参考配置的变更必须 (MUST) 记入质量报告。
3. 增益为负的子集禁止 (MUST NOT) 入集。
4. 小模型效用结论向大模型外推的可靠性属研究内容，结论形成前，本条只作入集门槛，不作效用排名。

判据版本 (Criteria Versioning)

1. 各版判据必须 (MUST) 有版本号；质量报告必须 (MUST) 注明所用判据版本。
2. 物理侧阈值由诊断不确定度按不确定度传播导出，以两路独立测量之差的合成不确定度的若干倍为阈值，并以历史数据偏差分布检验其相容性；导出过程随阈值一并记录。
3. 判据升级后，旧版数据集应当 (SHOULD) 按新判据重新评估并更新质量报告。
4. 阈值的定版须经专家委员会审定。

符合性 (Conformance)

数据集版本符合本文件，当且仅当：发布门的全部版本级判据满足、全部入集条目满足硬性判据、质量报告八部分齐备并经签发，且溯源记录可回答每条入集数据「通过了哪些检验、用的是哪一版判据」。