数据标注选型与采购指南
这份指南写给准备采购数据标注服务的算法团队与项目负责人。标注项目的多数纠纷不在执行环节,而在开工前的判断失误:任务模态估错、规范缺口未补、质检阈值悬空。以下五个小节按决策顺序展开,供您在签约前逐项自查。
一、先判断任务模态,再谈价格
很多项目在需求描述阶段只说"标一批图片",但模态的差别决定了完全不同的工作量。框选任务按目标数计;语义分割按像素密度和类别数计,一张高分辨率图像的分割工作量可能是框选的十倍以上;点云标注还要叠加远距离稀疏区域的判定成本。选型时请先确认:这批数据训练的是什么模型、输入是什么模态、单条数据的标注密度大概多少。把这三个问题答清楚,再去对照九项服务选择对应条目,而不是让服务方替您猜。
二、规范是成本最低的投资
一份合格的标注规范应包含四部分:类别定义(每个标签是什么、不是什么)、边界判例(易混淆情形的处理结论)、交付格式(文件结构与字段说明)、歧义裁决机制(谁在多长时间内给出最终判定)。实践中最常见的问题是前三项都有、第四项空缺——标注员遇到规范没覆盖的情形只能凭感觉,整批数据的一致性就此失控。采购时务必确认服务方是否提供试标环节:用分歧率检验规范可执行性,是成本远低于整批返修的做法。
三、质检阈值要写成数字
"质量要有保障"不是验收标准。可执行的质检条款至少包含三个数字:抽检比例(如每批抽检百分之几)、合格阈值(错误率低于多少算通过)、返修规则(未达标批次是抽样返修还是整批重标)。三者缺一,出现争议时就没有裁决依据。下表对比两种常见质检强度:
| 维度 | 常规强度 | 高强度 |
|---|---|---|
| 抽检比例 | 每批抽检部分样本 | 逐条复核或双标比对 |
| 适用任务 | 框选、文本分类等分歧低的任务 | 分割、点云等边界敏感任务 |
| 成本影响 | 相对经济,周期较短 | 成本与周期上升,一致性更高 |
| 返修规则 | 抽样不合格整批返修 | 逐条定位修复,留修复对照 |
四、周期与预算的现实预期
标注周期主要受三个变量影响:数据总量、单条标注密度、边界情形比例。框选类任务周转较快;分割与点云通常按阶段分批回传,因为一次性吞吐大体量高密度任务往往以牺牲一致性为代价。预算方面,合理的报价必然建立在看过样例之后——任何脱离样例的每条单价都值得警惕。另一种常见误区是压缩规范与试标环节来省钱,结果是执行阶段的反复返修把节省加倍吐回去。
五、签约前自查清单
- 任务模态与标注密度是否已用样例确认?
- 规范四要素(定义、判例、格式、裁决机制)是否齐备?
- 抽检比例、合格阈值、返修规则是否写进合同?
- 是否约定了分阶段回传与中途抽查节点?
- 源数据的归还或销毁方式是否明确?