码上问学问代码之理,学编程之道

标注规范 & 质检报告模板

期末项目要交两份材料:一份告诉别人「怎么标」,一份证明「标得合格」。这两份模板对应课程标准 「标注规范模板与质检报告模板」文本资源,也满足期末考核「标注规范 ≥ 3 页、Kappa ≥ 0.6、质检报告」的硬性要求。 页面可直接打印,带 橙色下划线 的部分是填写区。

模板怎么用:知识地图模块 3「任务设计与规范撰写」讲规范怎么写,模块 9「Kappa / 真值聚合」讲质检怎么算。 这两份是交付件,学生照着填即可;建议配合 金句卡 与 对比表 一起复习。
标注六步流水线:十万条数据不乱,靠的是流程不是拼命 1. 需求设计口径·标签体系2. 采集清洗去噪·去重3. 标注打标签4. 质检蜜罐+Kappa5. 仲裁专家定真值6. 交付数据集入库 每一步都有交付物——管理标注,管的是流程不是人

模板一 · 数据标注规范(Annotation Guideline)

建议 ≥ 3 页

1. 项目基本信息

项目名称:(如:智能音箱语音意图标注)

标注类型:(文本/音频/图像/视频/点云)

负责人 / 团队:(姓名 + 角色)

版本与日期:V1.0 / 2026-xx-xx

2. 标注目标与口径(最重要)

这条数据标出来的标签,最终要喂给什么模型、解决什么问题:(一句话说明下游任务)

边界定义(什么算、什么不算):(用 3 个正例 + 3 个反例写死边界)

3. 标签体系

标签名含义标注规则易错点
标签A含义规则易错
标签B含义规则易错
(按实际标签逐行补充,至少 5 类)

4. 标注流程与工具

使用工具:(Label Studio / CVAT / Doccano / Praat)

六步流水线落点:(采集→清洗→标注→质检→仲裁→交付 每步谁做、产出什么)

5. 质量控制方案

蜜罐题占比:(建议 5%~10%);交叉质检人数:(每人 100 条,双人交叉)

合格线:Cohen's Kappa ≥ 0.6;低于此值的标注者结果需重标或仲裁。

6. 示例与 FAQ

贴 3 张「难判样例 + 标准答案 + 理由」截图,避免口口径漂移。

模板二 · 质检报告(Quality Report)

含 Kappa 判定

1. 项目概况

数据集:名称 / 总量

有效标注条数:(每人 100 条)

标注者:A / B / C…

质检日期:2026-xx-xx

0.72
平均 Kappa
96%
蜜罐正确率
3
需仲裁条数
≥0.6
合格阈值

2. 一致性(Kappa)明细

配对标注条数一致数Cohen's Kappa判定
A–B100820.71合格
A–C100600.52⚠ 不达标,重标
B–C100850.78合格
Cohen's Kappa 判定区间:课程合格线 ≥ 0.6 比随机还差 (<0)轻微一般中等高度几乎一致 ≥0.6 合格线 -1 0 1 课程要求均值 ≥ 0.6 低于此值的标注者结果需重标或仲裁(如 A–C 配对 Kappa 0.52 不达标)

Kappa 取值范围 −1~1:<0 比随机还差;0~0.2 轻微;0.21~0.4 一般;0.41~0.6 中等;0.61~0.8 高度;>0.8 几乎完全一致。课程要求 ≥ 0.6。

3. 蜜罐(态度)检测

埋入 8 道已知答案题,各标注者正确率:A 100%、B 88%、C 75%。 C 正确率偏低,已安排重做其标注批次。

4. 问题与整改

  • 主要分歧集中在 (某标签边界),已在规范第 2 节补充反例。
  • 仲裁 3 条争议数据,最终真值由专家确定。
  • 重标后复测 Kappa 提升至 0.69,达标。

5. 结论

□ 通过(Kappa 均值 ≥ 0.6,可交付) □ 需返工(列明责任人 / 批次)

期末项目交付清单(对照考核标准)