前言 (Foreword)

本文件按「单位标准保底」的层级起草，由聚变科学数据中心（筹）发布。本文件对应聚变高质量数据集专项标准规范清单第 4 项（加工类）。行业数据标注专家库是本文件起草组的主要来源，并承担本文件执行情况的抽查。

范围 (Scope)

本文件规定了聚变数据事件标签与通道质量标签的定义要求、标签来源分级与冲突处置、标注流程、强化学习偏好标注的维度与判定规则、标注一致性的度量与门槛、标注员的资质与培训，以及标注记录的内容。

本文件适用于时序、图像与文本数据的事件标注与质量标注，以及语言模型候选回答的偏好标注。剖面反演、谱解析与融合反演类任务的参考结果不属事件标签，其产生程序、版本与确认人按本文件标注记录 (Annotation Records) 的要求记录。

规范性引用文件 (Normative References)

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。

《聚变科学数据分类分级指南》
《聚变科学数据元数据规范》
《聚变实验与模拟数据质量评估规范》
《聚变领域基准测试数据集构建与评测规范》

术语和定义 (Terms and Definitions)

标签本体 (label ontology) 为每类事件给出唯一术语、起止时刻的操作性定义与属性表的受控词表。

事件标签 (event label) 对放电中物理事件（破裂、约束模式转换、磁流体力学模式等）的类别、时刻与属性的标注。

通道质量标签 (channel quality label) 对某诊断某通道在某炮或某时间段是否可用的标注，首先是「坏道」。

预标注 (pre-annotation) 由自动检测算法或模型给出、待人工确认的候选标签。

金标准题 (gold question) 由专家确定标准答案、用于资格测试与在岗监测的标注题。

关键标签 (key label) 一致性门槛较高的标签，如是否破裂、破裂时刻，偏好标注中的物理正确性与安全合规维度。

标签定义 (Label Definitions)

按物理事件定义. 标签必须 (MUST) 在标签本体中按物理事件定义，禁止 (MUST NOT) 按信号名定义；预标注器以按《聚变科学数据元数据规范》统一语义映射后的物理量为输入，使标注规范与检测器可以跨装置迁移。
操作性定义. 每类事件必须 (MUST) 给出起止时刻的操作性定义。同一事件存在多种习惯定义的（如以热猝灭起点或电流猝灭起点为破裂时刻），可以 (MAY) 多个定义并存，但每个标签必须 (MUST) 标明所采用的定义，数据集说明必须 (MUST) 写明。
首批事件类别. 首批包括：破裂及其类型与时刻、约束模式转换、磁流体力学模式（首先是撕裂模：模式类型、模数、频率、幅度与起止时刻）、图像中的事件，以及通道质量标签「坏道」。完整类别清单随标签本体发布，并在数据集说明中载明。
时刻不确定区间. 时刻类标签必须 (MUST) 同时给出不确定区间；评测时按区间计分。
变更管控. 标签本体与本文件的变更属高风险操作，必须 (MUST) 由责任人签字。

标签来源与冲突处置 (Label Sources & Conflict Resolution)

三类来源 (Three Sources)

表 1　标签来源。

来源	内容	特点	用法
① 既有记录	既有实验数据库、炮次记录、逐炮分析记录、诊断通道状态与维护记录	覆盖面广，口径随年代与记录人变化	与自动算法逐炮比对
② 自动检测算法	确定性规则与检测算法（含实验侧已有工具的输出）	口径统一、可全量运行，边界情形会出错	全量预标，只作预标注
③ 专家标注	专家标注与复核	最可靠，成本最高	冲突与低置信度条目的终裁

处置规则 (Rules)

以来源②全量预标，与来源①逐炮比对；二者一致的标签直接采信并抽样复核；二者冲突、或算法置信度低于阈值的条目必须 (MUST) 送专家标注。冲突时以专家复核结论为准。
已有工具的输出一律归入来源②：只作预标注，禁止 (MUST NOT) 直接作为基准测试集的标签。以某一工具的输出为标签训练的模型，禁止 (MUST NOT) 再以同一工具的输出为评测参考。
基准测试集必须 (MUST) 只采用经专家复核的标签；训练类数据集可以 (MAY) 使用未经复核的标签，但必须 (MUST) 带来源与置信度。
模型训练中反复被判错的样本应当 (SHOULD) 回送专家复查。
按来源统计「自动算法—专家」与「既有记录—专家」的不一致率，作为该来源标签噪声水平的估计写入质量报告（《聚变实验与模拟数据质量评估规范》所定质量报告的第 6 部分）。

标注流程 (Annotation Process)

事件与质量标注 (Event & Quality Labelling)

预标注与路由. 在已复核样本上校准预标注器的置信度；低于阈值的条目、来源冲突的条目与按主动学习策略选出的条目送人工，其余只接受抽样复核。复核比例初值 20%，按一致性与抽检合格率的实测结果调整。路由应当 (SHOULD) 按事件类别与运行工况分层抽样，避免人工耗在无事件片段上。
双人独立标注. 关键标签必须 (MUST) 由两人独立标注，两人互不可见对方结果。
仲裁. 分歧条目必须 (MUST) 送第三人仲裁，仲裁结论与理由一并记录。
跨装置迁移. 迁移到新装置后的首批结果必须 (MUST) 全量人工复核。
重标定. 诊断标定更正引发重标定的，受影响的标签必须 (MUST) 标为「待重算」。

偏好标注 (Preference Annotation)

每条偏好数据由一个问题、两个或多个候选回答、各维度的比较结论与标注理由组成。偏好按四个维度判定（表 2）。

表 2　偏好维度与判定规则。

维度	判定内容	判定依据	标签级别
物理正确性	结论、数值、单位、关系式及其适用条件是否正确；事实陈述是否与数据库或文献一致	可复算判据（守恒关系、量纲、参考脚本结果）与数据库事实核对，不凭标注员印象	关键
安全与合规	是否泄露受限数据或超出用户授权范围；是否给出超出装置运行限值的操作建议而不加提示；是否编造出处	数据分级分类规则（《聚变科学数据分类分级指南》）、装置运行限值清单、引用可回查	关键
推理完整性	推理步骤是否齐全、假设是否交代、不确定性与适用范围是否说明	要点清单（随试标编制后公布）	一般
表述规范性	术语、符号、单位的写法是否符合统一语义标准与学科惯例；结构与详略	术语与符号词表	一般

否决规则. 物理正确性与安全合规为否决性维度：任一候选在这两个维度上出错，无论其他维度多好都判为劣；两个候选在否决性维度上持平时，再依次比较推理完整性与表述规范性。
盲化. 候选必须 (MUST) 盲化呈现：隐藏来源、随机排列次序。
流程. 预筛（可复算检查与事实核对的结果提供给标注员，剔除无实质差异的题）→ 双人独立标注 → 按批次计算 κ → 分歧条目 100% 由高级专家仲裁 → 对一致条目按不低于 10% 的比例抽查 → 入集。仲裁后仍无法分出优劣的条目标为「无偏好」，禁止 (MUST NOT) 用于训练。
依据. 物理正确性判定必须 (MUST) 100% 附可复算或可回查的依据，无依据的判定退回标注员。
隔离. 取材于实验数据的问题必须 (MUST) 记录所属实验轮次，与基准测试集隔离（《聚变领域基准测试数据集构建与评测规范》）。

一致性度量 (Agreement Measurement)

表 3　一致性门槛（初值）与不达标处置。

项目	门槛初值	不达标的处置
关键标签的科恩 κ	不低于 0.8	该批次暂停，复盘分歧样本、修订本规范并重新培训后整批重标
一般标签的科恩 κ	不低于 0.7	同上
分歧条目仲裁率	100%	未仲裁条目不得入集

κ 按批次计算，结果写入质量报告。首批试标后，按维度统计 κ 的实际分布与分歧成因，据此修订门槛。

标注员资质与培训 (Annotator Qualification & Training)

标注员必须 (MUST) 具备聚变专业背景；高级专家由行业数据标注专家库成员担任，负责仲裁与抽查；一般标注员为相关方向的科研人员与高年级研究生。
按研究方向（实验诊断、理论模拟、工程运行）分配题目，标注员禁止 (MUST NOT) 标注本人专业之外的题。
上岗前必须 (MUST) 完成本规范培训，并通过以金标准题进行的资格测试，通过门槛随试标确定后公布。
在岗期间在日常任务中掺入金标准题持续监测，准确率下降者暂停标注、重新培训。
资质、培训与考核记录必须 (MUST) 100% 归档；无记录者的标注不计入。
标注工作台只读挂载所分配的条目，禁止 (MUST NOT) 向标注员开放与其任务无关的数据。

标注记录 (Annotation Records)

每个标签必须 (MUST) 记录：来源类别、产生它的算法或模型版本（或标注人的匿名标识）、置信度、复核状态、所采用的事件定义、所依据的本规范版本、标注时间。双人标注的两份原始结果与仲裁记录 必须 (MUST) 随条目保存。

符合性 (Conformance)

标签批次符合本文件，当且仅当：每个标签的记录齐备、关键标签经双人独立标注、分歧全部仲裁、批次 κ 达到门槛，且进入基准测试集的标签全部经专家复核。

聚变数据标注规范（Annotation Specification for Fusion Data）