《群智化数据标注》期末试卷（A 卷）

适用课程：群智化数据标注 · 码上问学

考试时长：120 分钟 试卷总分：100 分 闭卷作答

注意事项：① 答案写在答题纸上，写在试卷上无效；② 多项选择题多选、错选、漏选均不得分；③ 计算题与案例分析题须写出必要过程，只写结果酌情扣分；④ 命题范围覆盖课程 12 个模块：AI 与标注基础、数据地基、三代演进、三种标注方式、群智化动因、平台与挑战、流水线与角色、质量控制与真值聚合、文本与图像标注、语音视频点云、自动驾驶数据闭环与合规。

一、单项选择题

每题 2 分，共 20 分。每题只有一个正确选项。

1.监督学习的训练集由「数据 x + 标签 y」成对组成。其中标签 y 由谁产出？

A. 模型自动生成
B. 人工标注产出
C. 爬虫自动抓取
D. 算法自动聚类生成

答案：B解析：监督学习的最小单元是 (x, y) 成对样本，y 是人工事先写好的参考答案，模型只负责学习 x→y 的映射。聚类（A、D）只能「分堆」不能「命名」，这正是标注不可替代的原因。

2.「垃圾进，垃圾出（GIGO）」对数据标注工作最重要的启示是：

A. 算法越新，模型一定越准
B. 数据质量决定模型上限
C. 数据量越大，效果一定越好
D. 模型结构决定一切

答案：B解析：GIGO 指输出质量不可能超过输入数据质量。系统性错标会被模型当成规律学走。经验值：训练数据错误率压到 1% 以内，调参才有意义；一句话——数据质量决定上限，算法只在逼近这个上限。

3.数据标注行业三代演进的正确顺序是：

A. 标注工厂 → 专家标注 → 群智化
B. 专家标注 → 标注工厂 → 群智化
C. 群智化 → 标注工厂 → 专家标注
D. 专家标注 → 群智化 → 标注工厂

答案：B解析：1.0 专家标注（准但慢、贵）→ 2.0 标注工厂（规模化、流程化、SOP 管理）→ 3.0 群智化（众包平台、几万人在线协同，成本与产能发生数量级变化）。众包 Crowdsourcing 是进入 3.0 的分水岭。

4.下列各项中，不属于原始数据「四类脏」的是：

A. 重复
B. 噪声
C. 缺失
D. 加密

答案：D解析：四类脏是「重（重复）、噪（噪声）、缺（缺失）、乱（格式/口径不一致）」。加密是数据安全手段，不是数据质量问题。

5.两位标注员对 1000 条数据交叉标注，实际观察一致率 Po = 0.9，随机一致率 Pe = 0.5，则 Cohen's Kappa 为：

A. 0.9
B. 0.8
C. 0.45
D. 0.5

答案：B解析：Kappa = (Po − Pe) / (1 − Pe) = (0.9 − 0.5) / (1 − 0.5) = 0.8。按经验判据 0.8 属于「高度一致」，可进入交付环节。

6.蜜罐（Honeypot）在质量控制中的作用阶段与方式是：

A. 事前——写清规范减少歧义
B. 事中——混入已知答案实时监控
C. 事后——交付前抽检验收
D. 交付后——收集客户反馈

答案：B解析：质量三件套按时间轴分工：规范管事前、蜜罐管事中（把已知答案的题混进任务流，正确率低于阈值立即拦截）、金标准验收管事后。

7.目标检测质检中，某预测框与真值框的 IoU = 0.42，项目阈值定为 0.5，则该框：

A. 合格
B. 不合格
C. 需提交仲裁裁决
D. 无法判断

答案：B解析：IoU = 交集面积 ÷ 并集面积，0.42 < 0.5 未达阈值，判不合格，退回修正。阈值由项目在规范中事先约定。

8.下列方法中，属于「真值聚合算法」的是：

A. Cohen's Kappa
B. IoU 交并比
C. Dawid-Skene
D. 蜜罐抽检

答案：C解析：Dawid-Skene 用 EM 算法同时估计「每个标注员的可靠性」与「每条数据的真值」，是典型的真值聚合算法。A、B 是一致性度量指标，D 是质控手段，都不产出真值。

9.在 Amazon MTurk 平台上，发布者发布的一个基本任务计价单元称为：

A. Job
B. Task
C. HIT
D. Project

答案：C解析：HIT（Human Intelligence Task，人类智能任务）是 MTurk 的基本计价与派发单元；请求者（发布者）、工人（标注者）、平台三方围绕 HIT 完成交易。

10.五层角色（标注员 → 质检 → 仲裁 → 专家 → 项目经理）中，负责对质检环节无法定夺的分歧做最终裁决的是：

A. 标注员
B. 质检员
C. 仲裁
D. 项目经理

答案：C解析：角色分工：标注员打框贴标签，质检按规范复检，仲裁对「质检也定不了」的边界分歧做最终裁决，专家定规则与疑难判定，项目经理管人、进度与质量。

二、多项选择题

每题 2 分，共 10 分。多选、错选、漏选均不得分。

1.原始数据的「四类脏」包括：

A. 重复数据
B. 噪声数据
C. 缺失数据
D. 格式与口径不一致

答案：ABCD解析：四类脏口诀「重、噪、缺、乱」——重复、噪声、缺失、不一致。清洗顺序一般是先去重再处理噪声与缺失，最后统一格式。

2.关于人机协同标注，下列说法正确的有：

A. AI 预标注、人只改错，可显著降低人工占比
B. 「预标注 → 人工复核 → 模型再训练」构成数据飞轮
C. 预标注之后人工可以完全取消
D. 随飞轮转动，人工占比可从约 40% 降到个位数百分比

答案：ABD解析：C 错在「完全取消」：预标注模型的错误有聚集性，复核只能降低人工量，不能清零；且模型对长尾样本仍需人兜底，抽检环节同样不可缺少。

3.一份合格的标注规范（SOP）应当包含：

A. 每个标签的明确定义
B. 正例与反例
C. 边界情况的判定规则
D. 与模型输入匹配的数据格式约定
E. 标注员的薪酬发放表

答案：ABCD解析：SOP 回答「怎么标才算对」：定义防歧义、正反例降培训成本、边界判定（判定树）保一致性、格式契约保证能直接喂给模型。薪酬属项目管理文档，不属于标注规范。

4.下列方法中，可用于「把多人标注结果聚合成一条真值」的有：

A. 多数投票
B. 加权投票
C. Dawid-Skene 算法
D. 逐条只取第一位标注员的答案

答案：ABC解析：三种主流聚合：多数投票（简单稳健）、加权投票（按标注员历史正确率加权）、Dawid-Skene（EM 联合估计）。D 是「只信一个人」，放弃了冗余换质量的设计，不是聚合。

5.数据采集与标注环节中，符合数据安全与合规要求的有：

A. 采集前取得授权并明确告知用途
B. 对人脸、车牌等敏感信息做脱敏处理
C. 遵循最小必要原则，只采与任务相关的数据
D. 数据确需出境时，按规定做数据出境安全评估
E. 先多采一些存着，以后想到用途再用

答案：ABCD解析：E 违反「最小必要」与「目的限定」原则：超范围留存与超目的使用是合规红线。人脸、车牌属敏感个人信息，须脱敏（打码、模糊化）后才可流转。

三、判断题

每题 1 分，共 10 分。正确打「√」，错误打「×」。

1.无监督学习能把数据分成几堆，但不知道每一堆叫什么名字。

答案：√解析：聚类只能发现结构，不能命名；所以凡是要输出「人能懂的名字」的 AI，链路里必须有标注。

2.少量系统性错标比大量随机错标更危险。

答案：√解析：随机错是「噪声」，可被大量正确样本对冲；系统性错标（如所有夜间图都标成「无法通行」）会被模型当成规律精确学走，且越一致越难被发现。

3.ChatGPT 这类大模型的训练完全不需要人工标注。

答案：×解析：预训练确实主要用无标注文本，但让它「会听话、不胡说」的指令微调（SFT）与人类反馈强化学习（RLHF）依赖大量人工示范与偏好排序标注。

4.只要模型结构足够先进，标签体系里没有的类别它也能正确输出。

答案：×解析：标签体系就是模型的世界观，世界观里没有的概念它永远说不出，只会硬塞进最近的类。所以标注不只决定「准不准」，还决定「能不能」。

5.当标注员之间水平差异较大时，加权投票通常比简单多数投票更合理。

答案：√解析：加权投票按历史正确率赋权，让「更靠谱的人」票更重；水平相近时两者差异不大，多数投票更简单。

6.主动学习是让模型先把所有数据都标完，再由人全部复核一遍。

答案：×解析：正好相反：主动学习让模型挑出「最不确定」的少数样本先送人工标注，用最少的标注预算换最大的精度提升。

7.IoU 取值范围是 0~1，越接近 1 说明预测框与真值框越吻合。

答案：√解析：IoU = 交集/并集，完全重合时为 1。常用质检阈值 0.5，更严格的项目用到 0.75。

8.众包任务单价定得越低，项目的综合成本一定越低。

答案：×解析：定价即筛选器：单价过低吸引速度型工人与刷手，错误率与返工率上升，按「每条合格数据」算的综合成本反而更高。定价要倒算工人时薪，给到能留住认真标注者的水平。

9.语义分割需要区分同类物体的不同个体，实例分割不需要。

答案：×解析：说反了。语义分割只管「每个像素属于哪一类」，实例分割还要在同类中区分「这一个和那一个」（如每一辆单独编号的车）。

10.抽检合格率 = 抽检通过数 ÷ 抽检总数。

答案：√解析：这是交付验收的基本口径；抽检要分层（按批次、标注员、难度分层），防止用「平均合格率」掩盖局部烂尾。

四、填空题

每空 1 分，共 10 分。

1.监督学习训练集由数据 x 和人工写好的成对组成。

答案：标签 y解析：(x, y) 成对样本是监督学习的最小单元。

2.GIGO 的中文含义是。

答案：垃圾进，垃圾出（输入质量决定输出质量）解析：1957 年出自美国海军教学材料，至今仍是数据质量的第一定律。

3.标注行业三代演进：专家标注、、群智化标注。

答案：标注工厂（标注 2.0）解析：规模化、流程化、SOP 管理是其关键词。

4.群智化标注的分水岭技术是（英文：Crowdsourcing）。

答案：众包解析：把任务拆小、发包给海量陌生人的协作方式，是 3.0 时代区别于前两代的关键。

5.在人工标注与自动化标注之外，工业界最常用的标注方式是。

答案：人机协同标注（预标注 + 人工复核）解析：AI 干粗活、人改错，取两者之长。

6.IAA 的中文全称是。

答案：标注者间一致性（Inter-Annotator Agreement）解析：衡量不同标注员对同一批数据给出相同答案的程度。

7.Cohen's Kappa 公式 K = (Po − Pe)/(1 − Pe) 中，Po 表示。

答案：实际观察一致率解析：Pe 是随机情况下的期望一致率；Kappa 扣除了「瞎蒙也能蒙对」的部分。

8.目标检测框质检常用指标 IoU，其中文名是。

答案：交并比解析：交集面积除以并集面积。

9.文本标注任务 NER 的中文全称是。

答案：命名实体识别解析：从文本中抽出人名、地名、机构名等实体并标出边界，常用 BIO 标注体系。

10.Amazon MTurk 上发布者与工人交易的基本任务计价单元叫。

答案：HIT（Human Intelligence Task，人类智能任务）解析：每个 HIT 单独定价、限时提交。

五、名词解释

每题 3 分，共 12 分。

1.数据标注

参考答案：对原始数据（文本、图像、语音、视频、点云等）添加类别、边界框、掩码、时间戳、关系等元信息，使其成为监督学习可用的训练样本的过程。给分点：人工参与（1 分）；添加结构化元信息（1 分）；服务于模型训练（1 分）。

2.蜜罐（Honeypot）

参考答案：在标注任务流中混入「已知标准答案」的样本，实时监测标注员对金标准题的作答情况、及时拦截乱标行为的质量控制手段。给分点：混入已知答案（1 分）；事中/实时（1 分）；监控与拦截（1 分）。

3.数据飞轮

参考答案：「模型预标注 → 人工复核修正 → 模型再训练 → 预标注更准」的循环机制；每转一轮，预标注质量提升、人工占比下降（如从约 40% 降到个位数），数据产量与质量同步上升。给分点：循环结构（2 分）；人工占比下降/越转越省（1 分）。

4.Dawid-Skene 算法

参考答案：基于 EM（期望最大化）框架的真值聚合算法：在不知道标准答案的情况下，同时估计每个标注员的可靠性（混淆矩阵）和每条数据的真值概率，迭代收敛后输出聚合结果。给分点：EM 迭代（1 分）；估计标注员可靠性（1 分）；估计真值/聚合（1 分）。

六、简答题

每题 5 分，共 20 分。答出要点即可，须结合课程内容展开。

1.简述「垃圾进，垃圾出（GIGO）」对数据标注工作的启示。

参考答案（要点）： ① 模型输出质量的上限由训练数据质量决定，算法只是逼近这个上限；（1 分） ② 系统性错标比随机错标更致命——它会被模型当成规律学走，且越一致越难发现；（1 分） ③ 质检要前移到数据入口，目标是把错标率压到 1% 以内，而不是事后靠调参补救；（1.5 分） ④ 质量管理需要规范（事前）+ 蜜罐（事中）+ 金标准验收（事后）整套体系，而不是「标完再查」。（1.5 分）

2.为什么说标注规范（SOP）是群智化项目的「第一道质量防线」？一份合格的 SOP 应包含哪些要素？

参考答案（要点）：
为什么：群智化把活发给互不相识的陌生人，唯一的共识载体就是规范。规范把「怎么标才算对」事前写死，能从源头减少歧义——歧义少了，标注者间一致性（Kappa）才上得去，返工与仲裁成本才降得下来；经验上，一份带边界案例库的规范能把一致性从约 0.5 提到约 0.85。（2.5 分）
要素：① 每个标签的明确定义；② 正例与反例；③ 边界情况的判定规则（判定树/优先级）；④ 与模型输入匹配的数据格式契约（类别表、坐标系、导出格式）；⑤ SOP 是活文档，随边界案例积累持续更新。（2.5 分）

3.写出标注项目六步流水线的名称，并说明哪一步出错代价最大、为什么。

参考答案（要点）：
六步：① 需求分析 → ② 任务设计（写 SOP）→ ③ 采集与清洗 → ④ 正式标注 → ⑤ 质量检验 → ⑥ 交付验收。（3 分）
代价最大：前端的需求分析/任务设计。（0.5 分）因为流水线的错误会沿链条放大：标签体系定错，后面每一条数据、每一道工序都在「勤奋地做错事」，发现时往往已投入大量标注工时，只能全量返工；而质检发现的问题修复成本随环节后移逐级上升。（1.5 分）

4.比较多数投票、加权投票、Dawid-Skene 三种真值聚合方法的适用场景与局限。

参考答案（要点）：
多数投票：适用——标注员水平相近、每人独立标注、票数为奇数；局限——会淹没少数派的正确答案（长尾难题），平票难处理，且要求标注员相互独立。（1.5 分）
加权投票：适用——标注员水平差异明显时，按历史正确率赋权；局限——权重估计依赖历史数据，样本少时权重虚高不可靠。（1.5 分）
Dawid-Skene：适用——大规模项目、不知道谁靠谱时，用 EM 自动学习每人混淆矩阵并估计真值；局限——需要足够的重叠标注量才能收敛，冷启动阶段估计不准，且对「共谋/批量刷标」这类相关性噪声不敏感，需配合蜜罐使用。（2 分）

七、计算题

共 8 分。须写出计算过程，只写结果扣一半分。

1.（第 1 问，4 分）两位质检员对 1000 条已标注数据做交叉复核，其中 900 条结论一致。已知两人若完全随机作答，期望一致率为 0.5。求 Cohen's Kappa，并判断该一致性水平能否支持数据交付（经验判据：≥0.8 为高度一致，0.6~0.8 为可接受，<0.6 需回炉）。

参考答案：
Po = 900 / 1000 = 0.9（1 分）
K = (Po − Pe) / (1 − Pe) = (0.9 − 0.5) / (1 − 0.5) = 0.4 / 0.5 = 0.8（2 分）
结论：K = 0.8 达到「高度一致」，一致性不是瓶颈，数据可进入交付验收环节。（1 分）

2.（第 2 问，4 分）某图像分类项目共 10 万条数据。试标测得单条平均标注工时 36 秒，标注员时薪 30 元。报价需计入：质检损耗率 10%、返工率 15%、管理费率 10%。求：① 纯标注单价；② 综合单价；③ 项目总报价，并说明为什么报价不能只按纯标注工时计算。

参考答案：
① 纯标注单价 = 30 元/时 × 36/3600 时 = 0.3 元/条（1 分）
② 综合单价 = 0.3 × (1 + 10% + 15% + 10%) = 0.3 × 1.35 = 0.405 元/条（约 0.41 元）（1 分）
③ 总报价 = 100 000 × 0.405 = 40 500 元（约 4.05 万元）（1 分）
④ 原因：项目真实成本不止「纯标注工时」——还有预标注与数据准备、质检与仲裁人力、返工损耗、沟通与管理成本；只按纯工时报价会导致亏本或以降价牺牲质量。（1 分）

八、案例分析题

共 10 分。结合本课程所学，指出问题并给出改进措施。

1.阅读材料，回答问题。

某初创公司接到一个「街景图车辆检测」项目：10 万张图片，客户要求交付可直接训练的边界框数据。项目经理的执行方案如下——
① 把任务以 0.05 元/张的单价发到众包平台，谁快谁接；
② 每张图由一名标注员独立完成，不安排交叉标注；
③ 标注规范只有一句话：「把图里的车用框框出来」；
④ 标注完成后不做任何抽检，直接打包交付客户；
⑤ 项目启动前不试标、不培训，平台自动派单后立即开工。

问题：（1）指出该方案中至少 5 处问题，并逐条说明风险；（2）针对每处问题给出改进措施。

参考答案（每处问题 1 分：指出问题 0.5 分 + 改进 0.5 分，答满 5 处得满分 10 分，多答不加分）：

问题与风险	改进措施
① 定价过低：0.05 元/张对画框任务远低于合理时薪（倒算时薪可能只有几元），吸引的是速度型工人与刷手，错误率与返工率飙升，综合成本反而更高	按「单条工时 × 时薪 ×（1 + 质检损耗 + 返工 + 管理）」试标倒算定价，先试标 100~200 张测出真实工时再定价
② 单人独立标注、无冗余：一条错误直达交付，无法用聚合纠错	关键/困难样本安排 3 人交叉标注，用多数投票或加权投票聚合真值；简单样本至少抽样复检
③ 规范形同虚设：一句话规范没有标签定义、正反例、边界情况（遮挡车、三轮车算不算车？车标在停车场算不算？）和格式契约（坐标系、导出格式），必然产生大量歧义	编写完整 SOP：定义 + 正反例 + 判定树 + 边界案例库 + 与模型输入匹配的导出格式（如 COCO/VOC），并随疑难案例持续更新
④ 无质检环节：错标直接流向客户，GIGO——模型上限被数据质量锁死，还面临验收拒付	建立三件套：SOP（事前）+ 蜜罐混金标准题（事中，实时拦人）+ 交付前分层抽检算合格率，IoU 达不到 0.5 的框退回修正
⑤ 不试标、不培训、无上岗门槛：标注员对规范的理解参差不齐，一致性无从保证	启动前做小规模试标校准规范与工时；标注员先培训再考金标准测试（如 ≥85% 达标上岗），定期回炉
（可加分）无验收标准：客户「可直接训练」的要求没有被翻译成可验收指标	与客户约定抽检合格率、IoU 阈值、交付格式等验收条款并写入合同

评分说明：只需答出任意 5 处；若能指出「低单价 + 无质控 + 无规范」三者相互放大（低价人群错误率高 → 无聚合纠错 → 无质检兜底 → 全量错标风险）的连锁关系，可在满分内从优评定。

—— 试卷结束 ——
命题依据：孙海龙等《群智化数据标注技术与实践》（北京航空航天大学出版社，2022）；《人工智能数据服务（微课版）》第 1~10 章；本课程 12 模块知识地图。