草案

本文为标准规范草案（征求意见前工作稿），经专家委员会审定、由聚变科学数据中心（筹）发布后方生效。

前言 (Foreword)

本文件按「单位标准保底」的层级起草，由聚变科学数据中心（筹）发布；拟同步申报团体标准（发布主体为相关全国性学会或行业协会），并形成行业标准建议稿上报相应行业标准化技术委员会。本文件对应聚变高质量数据集专项标准规范清单第 8 项（产品类）。

本文件规定数据集怎样打包、怎样交付、怎样校验；数据集内元数据字段的语义由《聚变科学数据元数据规范》规定，质量报告的内容由《聚变实验与模拟数据质量评估规范》规定，token 统计口径由《聚变数据集 token 核算规范》规定。

范围 (Scope)

本文件规定了聚变高质量数据集版本包的构成、分片格式、清单与签名、版本编号、随附文档、按级分片、分发与汇聚接口，以及封装的符合性检查。

本文件适用于数据中心发布的全部数据集版本，包括预训练、指令微调、强化学习偏好与基准测试数据集，以及向外部对端交换的数据集。

规范性引用文件 (Normative References)

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。

• 《聚变科学数据分类分级指南》
• 《聚变科学数据元数据规范》
• 《聚变实验与模拟数据质量评估规范》
• 《聚变领域基准测试数据集构建与评测规范》
• 《聚变数据集 token 核算规范》
• 国家人工智能中试基地汇聚要求、国家数据基础设施接入要求（以主管部门发布文本为准）

术语和定义 (Terms and Definitions)

数据集版本包 (dataset version package) 一个数据集版本的完整交付物：分片、清单与随附文档。

分片 (shard) 数据集版本中按形态与级别划分、可独立读取与校验的数据文件。

清单 (manifest) 列出版本包内全部分片及其校验和、token 统计与级别的机器可读文件。

数据集定义 (dataset definition) 整编的输入：选取规则、切分表与目标格式。

内容指纹 (content fingerprint) 与序列化表示无关、只由内容决定的摘要值，用于判断内容是否变化。

自描述格式 (self-describing format) 语义元数据与数值载荷同存于一个文件、读者不需外部说明即可理解每个数组的物理量、单位、坐标与来源的格式。

版本包构成 (Package Structure)

每个数据集版本包必须 (MUST) 由三部分构成：

1. 分片——按 分片格式 (Shard Formats) 的格式组织；
2. 清单与签名——按 清单、校验与签名 (Manifest, Checksums and Signature) 生成；
3. 随附文档——数据集说明、许可声明、质量报告、引用清单四份（随附文档 (Accompanying Documents)）。

整编必须 (MUST) 以数据集定义为输入，且必须 (MUST) 可重放：同一数据集定义、同一输入版本重放整编，分片内容指纹必须 (MUST) 一致。目录结构随容器格式在格式说明中规定。

分片格式 (Shard Formats)

表 1　分片格式。

数据形态	格式要求	随附索引与元数据
时序数值	自描述的层次化科学数据格式；分片内按条目组织，每个条目含各诊断通道的数据、时间轴、质量标记与语义元数据；语义元数据写在组与属性上、数值载荷写在数据集对象里；与 HDF5、NetCDF 等领域通用格式兼容，可按需导出兼容 IMAS 的视图	条目级语义元数据（《聚变科学数据元数据规范》）
图像	无损压缩的图像序列	帧时间、相机标定与观测几何的索引
文本与代码	逐条记录的分片文本格式，每条含正文、结构化元数据与许可声明	条目级来源记录

分片格式规则：

1. 不同格式之间的转换必须 (MUST) 保持语义等价；任何有损转换必须 (MUST) 在格式说明中声明损失边界。
2. 分片大小与压缩参数随训练供数测试确定，并在格式说明中公布。
3. 具体容器格式与版本在格式说明中公布。

按级分片 (Grade-Based Sharding)

1. 同一数据集版本必须 (MUST) 按开放、合作、受限三级（《聚变科学数据分类分级指南》）分别形成分片集合；条目按其级别写入相应分片集合，派生条目继承其全部来源中最严的级别。
2. 每个分片集合的级别取其条目的最严级别；任一分片集合禁止 (MUST NOT) 含高于其级别的条目。
3. 数据集版本禁止 (MUST NOT) 因少数受限条目而整体受限。
4. 分片集合的级别与申请发布的范围不符者，发布必须 (MUST) 被拒绝。

清单、校验与签名 (Manifest, Checksums and Signature)

每个数据集版本必须 (MUST) 附清单，清单至少包含：

字段	内容
数据集标识与版本号	持久标识符与 版本编号 (Versioning) 的版本号
分片列表	每个分片的路径、大小、级别、形态
逐片校验和	每个分片的校验和；算法为 SHA-256，并支持 SM3
逐片内容指纹	与表示无关的内容摘要
token 统计	按《聚变数据集 token 核算规范》口径逐片统计的浮点数个数、像素数与字数
版本签名	对清单整体的签名

分发服务每次访问应当 (SHOULD) 返回所读分片的内容指纹，使用者可据清单自行校验所得数据完整且未被改动。

版本编号 (Versioning)

1. 版本模型为「只追加、不覆盖」：已发布的版本包禁止 (MUST NOT) 修改；修改以新版本表达。
2. 版本标识分两层：内容指纹回答「字节是否变了」，语义版本号回答「对使用者是否有影响」。
3. 语义版本号必须 (MUST) 采用「主版本.次版本.修订」：主版本变化表示切分表或格式不兼容；次版本变化表示内容增补；修订表示纠错。
4. 任意两个版本之间应当 (SHOULD) 可生成差异报告（增、删、改的条目数与原因）。
5. 来源的授权被撤回或发现问题时，已发布版本及其清单原则上禁止 (MUST NOT) 改写或删除，只加注问题标记并提示可替代的版本；涉及法律问题的按《聚变科学数据中心管理办法》第十九条处置，清单保留处置记录。

随附文档 (Accompanying Documents)

四份随附文档 (Four Documents)

每个版本必须 (MUST) 随附下列四份文档，由整编工具生成初稿、经数据集负责人审定：

1. 数据集说明——内容见 表 2；既供人阅读，也以机器可读形式进入数据集目录；
2. 许可声明——逐来源列出许可条款与使用限制，并汇总为整个版本的使用条件；
3. 质量报告——内容与格式按《聚变实验与模拟数据质量评估规范》；
4. 引用清单——沿溯源关系反向汇集该版本所依赖的原始数据、加工程序与标注贡献者。

数据集说明栏目 (Dataset Card)

表 2　数据集说明的栏目。

栏目	内容
基本信息	名称、版本、发布日期、维护者、引用方式、分级
用途与边界	面向的模型类型与场景；不适用的用途；已知局限
来源与构成	各来源的条目数与占比；装置、实验轮次与炮号范围；诊断类型与信号清单；语言子集的类别构成
规模	按《聚变数据集 token 核算规范》口径的浮点数、像素数与字数；折算块数；自然语言部分的通用分词口径数；核算口径与取值声明
选取与加工	选取规则与入集清单的版本；各工序的工作流版本、参数与通过率
质量	各项质量判据的实测值与是否达标；物理一致性检验结果分布；已知问题清单
占比	多模态条目占比；近三年占比（按条数与按 token）；基准日与测算方法
切分与隔离	为基准测试留出的实验轮次；与基准集的重叠检测结果（《聚变领域基准测试数据集构建与评测规范》）
许可与合规	各来源的许可类型与限制；外部机构与国际合作数据的协议依据；脱敏处理说明
溯源与变更	到原始采集记录的溯源入口；与上一版本的差异及变更原因

元数据完整率 (Metadata Completeness)

元数据完整率定义为：《聚变科学数据元数据规范》规定的必填元数据字段齐备的条目占比。数据集版本发布时元数据完整率必须 (MUST) 不低于 98%（初值，建设期内依据试行结果定版）。

分发与交换接口 (Distribution and Exchange Interfaces)

表 3　数据集的分发与交换接口。

接口	对端	内容与方式	控制要点
数据集分发	数据集用户	目录检索、版本化下载、按片流式读取；随附数据集说明、质量报告、许可声明与引用信息	分级授权；基准集按版本受控发布、不公开答案；下载与引用可计量
向国家人工智能中试基地汇聚	国家人工智能中试基地	按数据集版本推送分片、校验和、数据集说明与质量报告；支持增量汇聚与回执核对	只汇聚已发布版本；汇聚批次入审计；格式与传输要求以中试基地发布的汇聚要求为准
接入国家数据基础设施	国家数据基础设施	数据目录与标识登记、身份互认、按需的数据交付通道	以主管部门发布的接入要求为准；经安全通道接入，接入前完成等保测评与密码应用安全性评估

对外交换的技术要求以主管部门发布的接入规范为准；本文件与之冲突的，以接入规范为准，并修订本文件。每个数据集版本的持久标识与引用文本按《聚变科学数据中心元数据政策》的持久标识规定注册与生成。

符合性 (Conformance)

封装完成后，规范符合性检查器必须 (MUST) 按本文件逐项核对并出具结果，至少包括：

1. 版本包三部分齐全，四份随附文档齐全；
2. 同一数据集定义、同一输入版本重放整编，分片指纹一致；
3. 按级分片正确——任取一个分片集合，不含高于其级别的条目；
4. 清单中的校验和与分片实测一致，签名可验证；
5. 元数据完整率不低于阈值；
6. token 统计可由第三方按《聚变数据集 token 核算规范》重算一致。

任一项不通过，该版本禁止 (MUST NOT) 发布。检查结果计入质量报告。