期末项目要交两份材料:一份告诉别人「怎么标」,一份证明「标得合格」。这两份模板对应课程标准 「标注规范模板与质检报告模板」文本资源,也满足期末考核「标注规范 ≥ 3 页、Kappa ≥ 0.6、质检报告」的硬性要求。 页面可直接打印,带 橙色下划线 的部分是填写区。
项目名称:(如:智能音箱语音意图标注)
标注类型:(文本/音频/图像/视频/点云)
负责人 / 团队:(姓名 + 角色)
版本与日期:V1.0 / 2026-xx-xx
这条数据标出来的标签,最终要喂给什么模型、解决什么问题:(一句话说明下游任务)
边界定义(什么算、什么不算):(用 3 个正例 + 3 个反例写死边界)
| 标签名 | 含义 | 标注规则 | 易错点 |
|---|---|---|---|
| 标签A | 含义 | 规则 | 易错 |
| 标签B | 含义 | 规则 | 易错 |
| (按实际标签逐行补充,至少 5 类) | |||
使用工具:(Label Studio / CVAT / Doccano / Praat)
六步流水线落点:(采集→清洗→标注→质检→仲裁→交付 每步谁做、产出什么)
蜜罐题占比:(建议 5%~10%);交叉质检人数:(每人 100 条,双人交叉)
合格线:Cohen's Kappa ≥ 0.6;低于此值的标注者结果需重标或仲裁。
贴 3 张「难判样例 + 标准答案 + 理由」截图,避免口口径漂移。
数据集:名称 / 总量
有效标注条数:(每人 100 条)
标注者:A / B / C…
质检日期:2026-xx-xx
| 配对 | 标注条数 | 一致数 | Cohen's Kappa | 判定 |
|---|---|---|---|---|
| A–B | 100 | 82 | 0.71 | 合格 |
| A–C | 100 | 60 | 0.52 | ⚠ 不达标,重标 |
| B–C | 100 | 85 | 0.78 | 合格 |
Kappa 取值范围 −1~1:<0 比随机还差;0~0.2 轻微;0.21~0.4 一般;0.41~0.6 中等;0.61~0.8 高度;>0.8 几乎完全一致。课程要求 ≥ 0.6。
埋入 8 道已知答案题,各标注者正确率:A 100%、B 88%、C 75%。 C 正确率偏低,已安排重做其标注批次。
□ 通过(Kappa 均值 ≥ 0.6,可交付) □ 需返工(列明责任人 / 批次)