学生最怕的不是概念难，是概念长得像。课程标准要求「每讲一个概念必配一张易混概念对比表」—— 这里把数据标注里最容易混、考试最爱考的 12 组概念两两摆开，配上「一句话区分」与知识点回链。考前集中刷这一页就够了。
| 维度 | 人工标注 | 自动标注（预标注） | 人机协同 |
|---|---|---|---|
| 谁来标 | 人 100% | 模型 100% | 模型先标，人只改错的 |
| 速度 / 成本 | 慢、贵（基准） | 快、便宜 | 介于两者之间，越转越省 |
| 质量风险 | 慢但稳，易疲劳出错 | 会跟着训练数据一起错 | 错漏靠人兜底，但要防人偷懒 |
| 典型占比 | 人工 100% | 人工 0% | 人工占比从 40% 降到 8% |
| 任务 | 回答的问题 | 标注产物 | 细粒度 | 单价量级 |
|---|---|---|---|---|
| 图像分类 | 「图里是什么」 | 1 个标签 | 最粗 | 几毛 |
| 目标检测 | 「有什么、在哪」 | 框 + 类别 | 中 | 几元 |
| 语义分割 | 「每个像素属于哪类」 | 逐像素类别图 | 细 | 十几元 |
| 实例分割 | 「每个物体个体在哪」 | 逐像素 + 区分同一类不同个体 | 最细 | 几十元（差 15 倍） |
| 维度 | 语义分割 | 实例分割 |
|---|---|---|
| 核心区别 | 只分「类」，不区分个体 | 既分「类」，又区分同类的不同个体 |
| 图里有 3 只猫 | 全部标成「猫」一种颜色 | 3 只猫 3 种颜色，能数出有几只 |
| 难度 / 成本 | 较低 | 更高（要逐物体描边） |
| 典型用途 | 可行驶区域、天空地面 | 自动驾驶行人/车辆逐辆计数 |
| 维度 | 监督学习 | 无监督学习 |
|---|---|---|
| 数据要不要标签 | 要（这正是标注存在的理由） | 不要 |
| 学什么 | 输入→输出的映射 | 数据自身的结构 / 聚类 |
| 典型任务 | 分类、检测、分割、NER | 聚类、降维、异常检测 |
| 和本课程关系 | 绝大多数标注任务服务它 | 极少直接标注，但可用于预聚类辅助 |
| 类型 | 特征 | 例子 | 标注难度 |
|---|---|---|---|
| 结构化 | 行列规整、字段固定 | 数据库表、Excel | 低（基本不用标） |
| 半结构化 | 有标签但不强制 schema | JSON、XML、HTML | 中 |
| 非结构化 | 无固定格式 | 文本、图像、音频、视频 | 高（标注主战场） |
| 维度 | 蜜罐 / 金标准题 | 普通任务题 |
|---|---|---|
| 谁已知答案 | 出题方已知（埋进去的） | 出题方也未必逐条核 |
| 目的 | 测「认不认真」（抓作弊/摸鱼） | 真正产出的标注数据 |
| 判定 | 答对率→标注者可信度 | 多人交叉→真值 |
| 占比 | 通常 5%~10% 混入 | 其余 90%+ |
| 角色 | 干什么 | 看什么 | 标准课程对应 |
|---|---|---|---|
| 标注员 | 产出第一版标签 | 原始数据 + Guideline | 模块 4 实操 |
| 质检员 | 抽检标注结果，打回不合格 | 标注结果 | 模块 9 一致性 |
| 仲裁员 | 解决争议、定夺真值 | 多人分歧 | 专家 / 高 Kappa 者 |
| 维度 | 一致性 IAA | 准确率 Accuracy |
|---|---|---|
| 比较对象 | 两个标注者之间 | 标注结果 vs 标准答案 |
| 没有金标准时能算吗 | 能（互相比） | 不能（没参照） |
| 本课用什么指标 | Cohen's / Fleiss Kappa | 一般需金标准题 |
| 含义 | 「两人标得像不像」 | 「标得对不对」 |
| 维度 | Cohen's Kappa | Fleiss Kappa |
|---|---|---|
| 比较人数 | 2 个人 | ≥2 个人（多人） |
| 典型场景 | 一对一交叉质检 | 多人标注同一批数据的整体一致 |
| 课程对应 | 交叉质检（Kappa≥0.6） | 群体一致性评估 |
| 维度 | 被动学习 | 主动学习 |
|---|---|---|
| 选哪些数据标 | 随机 / 全量 | 模型挑「最不确定」的样本先标 |
| 目的 | 简单但费人工 | 用更少标注达到同等精度 |
| 和群智化关系 | — | 主动学习是降本的关键策略 |
| 维度 | 众包 Crowdsourcing | 群智化标注 |
|---|---|---|
| 范围 | 泛指把任务分发给大众（含设计、翻译…） | 众包在「数据标注」这一领域的专门化 |
| 本课语境 | 是手段（平台如 MTurk） | 是方法论（含流水线+质控+人员分层） |
| 聚合方法 | 怎么定真值 | 考虑置信度吗 | 精度 |
|---|---|---|---|
| 多数投票 | 少数服从多数 | 否（一人一票） | 基线 |
| 加权投票 | 按历史可信度加权 | 是（蜜罐得分高权重高） | 较好 |
| Dawid-Skene | EM 迭代估计每人混淆矩阵 | 是（还修正了标注者自身偏差） | 最好 |