聚变领域指令数据构造规范(Instruction Data Construction Specification for the Fusion Domain)
草案
本文为标准规范草案(征求意见前工作稿),经专家委员会审定、由聚变科学数据中心(筹)发布后方生效。配比、抽检率与合格率为初值,首批试产后修订。
前言 (Foreword)
本文件按「单位标准保底」的层级起草,由聚变科学数据中心(筹)发布。本文件对应聚变高质量数据集专项标准规范清单第 6 项(加工类),依赖试行数据,按计划后于入口规则类标准定稿。
范围 (Scope)
本文件规定了聚变领域指令微调数据的任务类型与配比、思维链、长上下文、多轮对话与工具调用四类形式的构造模板与格式字段、构造方式、生成模型的使用约束、物理幻觉防控,以及抽检比例、合格率与不合格批次的处置。
本文件适用于指令微调数据集的构造;强化学习偏好数据的候选生成应当 (SHOULD) 同样遵守 生成模型的使用约束 (Constraints on Generator Models) 对生成模型的约束,偏好标注按《聚变数据标注规范》执行。
规范性引用文件 (Normative References)
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。
- 《聚变科学数据分类分级指南》
- 《聚变科学数据元数据规范》
- 《聚变实验与模拟数据质量评估规范》
- 《聚变多模态数据对齐规范》
- 《聚变领域基准测试数据集构建与评测规范》
术语和定义 (Terms and Definitions)
任务类型 (task type) 指令数据「问什么」的分类。
形式类型 (form type) 指令数据「怎样答」的分类:思维链、长上下文、多轮对话、工具调用。一条数据可以 (MAY) 兼具多种形式。
批次 (batch) 同一模板或同一生成配置在同一生产周期内的产出。
有据生成 (grounded generation) 把数据库事实、文献原文或真实工具返回作为依据一并输入模型,模型只负责组织与表述的生成方式。
任务类型与配比 (Task Types & Mix)
表 1 任务类型谱与初步配比。
| 任务类型 | 典型任务 | 主要素材 | 初步配比 |
|---|---|---|---|
| 物理问答 | 概念解释、公式推导、量级估算、运行极限判断 | 专著、论文、装置通识 | 20% |
| 数据查询与分析 | 按条件检索炮次、取信号、统计与作图、多诊断比对 | 实验数据库、炮次记录、平台数据访问接口 | 25% |
| 程序调用 | 物理程序的输入准备、调用、结果读取与代码辅助 | 模拟代码、输入卡、运行记录 | 15% |
| 实验解读 | 由整炮数据与实验记录解释放电过程、归纳实验小结 | 多诊断时序、实验方案、运行日志 | 15% |
| 放电异常归因 | 由诊断数据、炮次记录与运行日志分析放电异常的可能原因、给出核查顺序 | 诊断数据、炮次记录、运行日志、实验小结 | 10% |
| 文献综述 | 多篇文献的归纳、对比与带出处的摘要;技术报告与标准的条款检索、参数核对 | 论文、技术报告、标准与知识 | 15% |
- 配比是起点而非定数:每个数据集版本发布后,依据使用记录与基准测试分项得分调整。
- 每条数据必须 (MUST) 同时标注任务类型与形式类型。四类形式各自的最低占比随首批试产确定,并在数据集说明中公布。
- 多模态保底. 指令微调数据集中多模态条目必须 (MUST) 不少于 40%;「数据查询与分析」与「实验解读」两类必须 (MUST) 全部按《聚变多模态数据对齐规范》的指令条目从严认定构造:前者的工具调用真实返回不少于 2 类诊断的数值片段或图像,后者的上下文随附不少于 2 类诊断的原始数据片段。
四类形式的构造 (Construction of the Four Forms)
表 2 四类形式的构造要求。
| 形式 | 构造步骤 | 格式字段 | 正确性保证 |
|---|---|---|---|
| 思维链 | ① 由模板或专家给出问题与解题骨架(关系式、已知量、待求量);② 已知量从数据库或给定范围取值,由计算脚本得标准答案;③ 由模型展开为分步推理,或专家撰写;④ 自动校验后入抽检队列 | 问题;分步推理(每步含关系式、代入值与中间结果);最终答案(数值、单位、有效数字);可复算脚本引用;适用条件 | 每步中间结果与最终答案由脚本独立复算,超容差、单位或量纲不符者剔除;适用条件为必填,缺失即不合格 |
| 长上下文 | ① 按长度分档选取上下文(分档随基座模型上下文窗口确定,并在数据集说明中公布);② 生成需跨段综合的问题,单点检索题占比设上限;③ 答案给出依据位置;④ 以「遮蔽依据段后答案应不可得」自动检查 | 上下文引用(工件标识、版本、时间窗或页段);随附原始片段引用(诊断类别、信号、时间窗、时基标定版本);问题;答案;依据位置清单;长度档 | 依据位置由程序回查,答案数值与原值逐一比对;上下文只存引用、不存副本 |
| 多轮对话 | ① 专家定义对话剧本(用户角色、目标、歧义点与转折点);② 模型分别扮演双方或两名专家对写;③ 在歧义点检查助手是否先澄清再作答;④ 程序核对整段事实一致性 | 消息序列(角色、内容、轮次);剧本标识;歧义点与期望行为;对话终态 | 每轮事实陈述与数据库比对;前后轮次数值与结论不得矛盾 |
| 工具调用 | ① 由任务清单与接口定义程序化组合「任务—调用序列」;② 在沙箱内真实执行并记录返回;③ 依据真实返回写结果解读;④ 加入一定比例的异常样本(参数缺失、信号不存在、返回为空) | 工具定义;用户意图;调用序列(工具名、参数、顺序);真实返回;结果解读;执行环境与接口版本 | 调用序列可在沙箱内重放,不一致者剔除;参数按接口定义自动校验;接口升级后全部自动重放回归 |
长上下文条目中,文本化摘要供语言模型阅读,其所依据的原始数据片段必须 (MUST) 以引用方式随条目保存;只有摘要、不随附原始片段的条目按单模态计。实验侧已有的分析方法经其负责人同意并注册为平台可调用工具后,可以 (MAY) 进入工具清单。
构造方式 (Construction Methods)
表 3 三种构造方式与抽检率。
| 构造方式 | 计划占比 | 适用 | 抽检率 |
|---|---|---|---|
| 程序化构造 | 50% | 数据查询与分析、程序调用、定量计算;以多套模板与改写缓解语言形式单一 | 2% |
| 模型辅助生成 | 45% | 物理问答、实验解读、文献综述、多轮对话 | 10% |
| 专家撰写与精修 | 5% | 放电异常归因、开放性实验解读、对话剧本、模板与少样本「种子」数据 | 100% 互审 |
生成模型的使用约束 (Constraints on Generator Models)
- 按素材级别分路径. 合作级与受限级素材(《聚变科学数据分类分级指南》)必须 (MUST) 只用在数据中心域内部署的模型处理,数据不出域,禁止 (MUST NOT) 调用任何域外在线模型服务。开放级素材可以 (MAY) 调用外部大模型服务,所用服务必须 (MUST) 为依法备案、在境内提供的服务,调用经平台统一出口、只发送开放级内容并全程留痕。
- 输出许可. 所选模型或服务的条款必须 (MUST) 明确允许以其输出训练其他模型;许可文本随数据集归档。
- 记录. 每条生成数据必须 (MUST) 记录生成模型的名称与版本(《聚变实验与模拟数据质量评估规范》判据 A-7)。
- 不混用. 数据集版本迭代时可以 (MAY) 更换模型,但同一批次内禁止 (MUST NOT) 混用。
- 具体模型按上述条件与生成质量对比试验选定,选定结果按第 3 项记录。
物理幻觉防控 (Physics Hallucination Control)
在构造与标注门(《聚变实验与模拟数据质量评估规范》)内执行四项措施:
- 有据生成. 无依据的开放式生成禁止 (MUST NOT) 进入数据集。
- 可复算检查. 含数值结论的条目,抽取已知量、关系式与结果,由脚本独立复算;同时做量纲与单位检查、数量级合理性检查(取值须落在装置可达范围内)。
- 事实核对. 条目中的炮次参数、信号名、诊断名称、装置参数,逐项与平台数据库和统一语义标准词表比对,查无此项或数值不符即剔除。
- 交叉审查与人工抽检. 另一模型的独立审查结论只用于排序抽检优先级,禁止 (MUST NOT) 作为合格依据;最终以人工抽检合格率为准。
前三项为自动校验;未通过的候选不进入抽检队列,其失败原因应当 (SHOULD) 分类统计,用于改进提示与模板。
审核与抽检 (Review & Sampling)
- 分层抽样. 抽检以批次为单位,批内随机抽样,抽检率按 表 3。
- 合格判定. 物理错误、事实错误、依据缺失、答非所问任一项成立即为不合格;表述瑕疵可标「须精修」,不计入不合格。
- 合格率门槛. 批次抽检合格率必须 (MUST) 不低于 95% 方可入集(初值)。
- 不合格批次回退. 合格率低于门槛的批次必须 (MUST) 整体回退,禁止 (MUST NOT) 只剔除被抽中的不合格条目后放行。程序化构造的批次回退到模板,修正后重新生成;模型辅助生成的批次先加倍抽检复核,仍不达标则整批作废或转专家精修,并追溯同一生成配置的其他批次。
- 审核员管理. 审核员必须 (MUST) 具聚变专业背景并经本规范培训;在抽检样本中混入已知答案的校验条目,持续监测审核员判定准确率。
- 产能偏差. 产能不足时应当 (SHOULD) 先增投抽检与撰写人力、再提高程序化构造比例,禁止 (MUST NOT) 以降低抽检率或合格率门槛弥补。
- 记录. 抽检样本、判定结论、不合格原因与回退处置必须 (MUST) 写入条目审核记录与批次质量记录,汇入质量报告。
条目封装 (Entry Packaging)
四类形式共用一套条目封装,必须 (MUST) 含:条目标识、任务类型、形式类型、消息序列、素材来源与许可、构造方式、生成模型及其版本、校验记录、审核记录、所属实验轮次与切分归属。「所属实验轮次与切分归属」保证取材于实验数据的指令条目与基准测试集按同一规则隔离(《聚变领域基准测试数据集构建与评测规范》)。
符合性 (Conformance)
指令数据批次符合本文件,当且仅当:条目封装字段齐备、自动校验通过、批次抽检合格率达到门槛、生成模型满足 生成模型的使用约束 (Constraints on Generator Models) 的约束,且多模态保底条目满足《聚变多模态数据对齐规范》的从严认定。