码上问学问代码之理,学编程之道

代表性行业案例库

按课程标准「案例要有代表性」的要求选取:覆盖文本 / 音频 / 图像 / 视频 / 点云五类数据形态,每个案例都写清「标注任务 → 用什么工具 → 难点在哪 → 质量怎么控」。先建立「标注不是点框,是喂给 AI 的粮食」的实感,再进知识地图学算法。

怎么用这一页:课堂教学时,每讲完一类数据标注(模块 4)就翻开对应的案例;期末标注项目(模块 5 + 期末)立项前,让学生从这里挑一个「缩小版真实场景」作为自己的项目原型。案例里的工具名与知识地图模块 4、模块 2 的群智化平台相互呼应。

六类代表性案例一览

标注类型 / 数据模态 / 工具 / 质控要点,逐一对照
案例数据模态核心标注任务常用工具质控要点
① 自动驾驶感知图像 点云 视频2D/3D 检测、语义分割(可行驶区域)、实例分割、车道线、Corner Case 挖掘CVAT、Label Studio、内部 3D 标注台跨帧 ID 一致、长尾场景抽检、Kappa≥0.6
② 人脸与人体图像人脸框 / 106 关键点、属性(年龄/性别/配饰)、人体姿态 17/18 关键点、行为CVAT、Label Studio、专用关键点工具隐私合规红线、关键点容差 IoU、遮挡处理规范
③ 智能客服语音音频语音转写、时间戳切分、说话人分离、情绪 / 意图标签Praat、Label Studio(音频)、讯飞类平台时间戳对齐、方言覆盖、转写字错率 WER
④ 医学影像图像病灶语义 / 实例分割、CT/MRI 三维标注、长尾病种CVAT、Label Studio、医学专用标注台双医师仲裁、专家标注、Dice 系数
⑤ 内容审核文本文本分类(违规类型)、情感、NER、意图识别、关系抽取Doccano、Label Studio标签体系一致、海量的灰度发布、人机协同
⑥ 电商多模态图像 文本商品检测 / 分割、属性标签、图文匹配、标题 NERCVAT、Label Studio、内部商品台类目树一致、属性穷举、抽检回查

案例详解

每个案例 = 业务背景 + 标注任务 + 工具 + 难点 + 质控

① 自动驾驶感知数据闭环 重点 · 最典型

图像 + 点云 + 视频
自动驾驶数据闭环:为什么它是「最典型」的标注案例① 采集② 标注③ 训练④ 部署⑤ 回流数据飞轮车跑得越多 → 回流数据越多 → 模型越强标注是这条闭环里唯一的人工环节难点:corner case(罕见场景)占比极低却决定安全——所以要主动挖掘、优先标注
业务背景 自动驾驶靠「摄像头 + 激光雷达」理解世界。模型要认出车、人、车道线、红绿灯,并知道每个物体在三维空间的位置。没有高质量标注,车就「看不见」。 标注任务 2D 检测(画框标类别)、3D 检测(点云里画立体框)、语义分割(把「可行驶区域」整片涂色)、实例分割(每辆车单独涂)、车道线、目标跟踪(视频跨帧同一辆车保持同一 ID)。 常用工具 CVAT(图像/视频检测分割主力)、Label Studio(快速验证)、车企内部 3D 标注台(点云)。 难点 ① 遮挡与远小目标难标;② 雨雪夜等极端场景样本极少(长尾);③ 视频跨帧 ID 不能跳变;④ 3D 框要和点云对齐,容错极低。 质量怎么控 金标准蜜罐抽查 + 交叉标注算 Kappa/IoU + 专家仲裁长尾样本 + Corner Case 专项挖掘(把模型认错的样本单独拉出来重新标)。
为什么选它当代表:它把「数据三要素 + 群智化 + 质量控制 + 四类标注」全串起来了——是课程标准里「行业案例」章节的第一主角,也是期末项目最值得模仿的真实形态。

② 人脸识别与人体关键点

图像
业务背景 刷脸支付、门禁、智能相册、AR 试妆、健身动作计数都依赖它。需要标出人脸位置、五官关键点、人体姿态关节点。 标注任务 人脸框 + 106 点关键点(眼睛/眉毛/鼻子/嘴/脸廓)、属性(年龄/性别/是否戴眼镜口罩)、人体 17 或 18 关键点姿态估计、行为动作标签。 常用工具 CVAT、Label Studio,以及厂商自研的关键点标注工具(拖点比画框更吃熟练度)。 难点 大角度侧脸/遮挡(口罩墨镜)关键点易漂;不同人种、年龄分布要均衡,否则模型有偏见;姿态关键点被遮挡时要合理推断。 质量怎么控 隐私合规是红线(模块 12):人脸数据必须授权、脱敏、不可商用外泄;关键点用 IoU/像素距离容差判定,遮挡样本双人复核。
讲透一句话:这个案例最适合讲「数据偏差」——训练集若是某个族群偏多,模型对另一族群就失灵。呼应模块 3 的数据三要素之「多样性」。

③ 智能客服语音转写与时序标注

音频
业务背景 智能客服、会议纪要、字幕生成都靠语音转写。难点不在「写出来字」,而在「谁在什么时候说了什么」。 标注任务 语音转写(逐字)、时间戳切分(每句话起止)、说话人分离(Diarization)、情绪标签、意图标签(咨询/投诉/下单)。 常用工具 Praat(声学细节查看与切分)、Label Studio(音频段标注)、讯飞等平台(转写预标注 + 人工校验)。 难点 方言/口音覆盖;重叠说话(多人同时讲);背景噪声;时间戳要和文字逐字对齐,差几十毫秒都算错。 质量怎么控 字错率 WER 抽检、方言分层抽样、转写 + 意图双任务交叉校验。

④ 医学影像分割

图像
业务背景 CT/MRI/X 光辅助诊断,帮医生圈出病灶。标注质量直接影响诊断结论,所以标准最高。 标注任务 病灶语义分割(整片涂)、实例分割(每个结节单独圈)、三维体素标注(CT 一张图很多层)。 常用工具 CVAT、Label Studio,以及医学专用标注台(支持多层面联动)。 难点 长尾病种样本极少;边界模糊(医生之间也有分歧);标注成本极高,必须专家出手。 质量怎么控 双医师独立标注 + 仲裁(模块 3 的仲裁员角色);用 Dice 系数而非简单 IoU 衡量分割重合度。
动手做:这个案例最能让学生体会「专家标注 1.0 与人机协同」的区别——纯人工太慢、纯自动会跟着错,专家只标最难的,其余交给模型预标注。

⑤ 内容审核与文本理解

文本
业务背景 社交平台、电商评论、政务热线每天产生海量文本,要识别违规、情感、实体、意图。 标注任务 文本分类(违规类型/主题)、情感极性、NER(人名/地名/机构名)、意图识别、关系抽取(谁做了什么)。 常用工具 Doccano(轻量 NLP 标注首选)、Label Studio(多任务一体)。 难点 标签体系(类目树)一旦不一致,模型就学乱;隐晦违规(谐音/黑话)靠人识别;量级太大必须人机协同。 质量怎么控 标签体系先写规范(模块 3 任务设计)→ 灰度小批试标 → Kappa 达标再放量 → 线上持续回查。

⑥ 电商商品多模态标注

图像 + 文本
业务背景 搜索、推荐、审核都依赖商品的结构化信息:图里有什么、标题讲什么、属性对不对。 标注任务 商品图检测/分割、属性标签(颜色/材质/领型)、图文匹配、标题 NER(品牌/品类/型号)。 常用工具 CVAT(图)、Label Studio(图文一体)、电商平台内部商品标注台。 难点 类目树极深(几十万叶子节点);同款不同图;属性要穷举又不能漏;图文不一致要标出来。 质量怎么控 类目树强制选到叶子、属性下拉穷举、抽检回查 + 商户申诉通道。

从案例回到知识点(教学衔接)