地图标注

打开后台，看到最新的评估报告，我盯着那个数字看了半天，有点不敢信。模型在验证集上的准确率从78.3%跳到了84.1%，F1值也涨了将近六个点。这不是算法层面的突破，也不是算力堆出来的结果，就是上个月我们做的那件事——把数据标注规则彻底改了一遍。说起来有点讽刺，之前几个月我们一直在调模型结构、换损失函数，效果都像挤牙膏一样。结果回头去抠数据标注的细节，反倒来了个大飞跃。

这事得从我们标注团队的一次吐槽说起。那天开周会，负责标注的小王提了一嘴，说有些规则写得模棱两可，同一个类别，不同标注员的理解能差出十万八千里。她说的是“模糊区域”这个标签，原本的定义是“目标边缘不清晰、难以判断归属的区域”。听起来挺明白的对吧？但实操的时候，有人把光照不足导致的暗部也算模糊区域，有人觉得只有运动模糊才算，还有人干脆把遮挡一半以上的目标整个标成模糊。我们后来统计了一下，光这一个标签，标注员之间的一致率只有61%。这数据一出来，大家都沉默了。模型训练的时候，等于同一批数据里塞了四成互相矛盾的答案，它能学好才怪。

于是我们决定动手改规则。第一步就是砍掉那些含糊的表述。原来的规则文档有四十多页，写得跟法律条文似的，什么“视具体情况而定”“根据经验判断”，这些话看着给标注员留了灵活度，实际上就是灾难的根源。我们把所有这类词全部删掉，换成具体的、可操作的判断标准。比如说“模糊区域”，现在的定义是“目标物体边缘像素的梯度值低于预设阈值，且该区域面积占目标总面积的20%以上”。标不标，不是靠感觉，是拿数据说话。同时我们还配了一批参考图，正例反例各五十张，每张图下面都写清楚为什么这么标。标注员照着图例做，比读一百条文字规则都管用。

规则改完，第一件事不是急着去训练模型，而是让标注团队把最近一个月的活全部返工重标。这步挺考验人的，等于前面做的部分工作推倒重来。但没办法，旧规则标出来的数据已经带偏了，不清理干净，新规则也发挥不了作用。返工那段时间，标注团队效率掉了一半，有人还跟我抱怨说这样太耽误进度。我理解他们的情绪，但数据质量这事，前期欠的账，后面十倍百倍地还。果然，返工完重新训练，模型收敛速度明显变快了，之前要训两百轮才稳定，现在一百二十轮就差不多了。而且loss曲线的波动也小了，不再像以前那样上蹿下跳。

这里面有个细节特别有意思。我们发现，规则改完之后，标注员之间的分歧率从原来的百分之三十多降到了百分之八。这意味着什么？意味着模型拿到的训练数据，内部逻辑是自洽的。以前那些矛盾样本，相当于在模型脑子里打架，你告诉它这是猫，另一个标注又告诉它这是狗，它只能稀里糊涂地学个四不像。现在打架的声音没了，模型终于能把精力放在真正该学的特征上。有个很直观的例子，之前模型对“货车”和“厢式客车”的区分一直做得不好，我们怀疑是网络结构的问题，折腾了半天。结果这次一看，是标注规则里对“车厢与驾驶室是否连通”这个特征描写得太模糊，标注员自己都分不清。规则改清楚之后，这个类别的识别准确率直接提升了12%。

不过我得说清楚，标注规则调整不是一劳永逸的事。我们这次改的是通用规则，但不同业务场景下，数据的特点千差万别。比如说医疗影像和自动驾驶，对“边界”的定义逻辑完全不一样。好在这次我们搭了一套规则迭代的机制，每次模型评估出来效果不理想，先回头看看是不是标注定义出了问题，而不是一上来就调模型。这套流程跑通之后，团队的工作方式变了，以前是模型工程师主导，标注团队被动执行，现在变成两边坐在一起抠定义，把问题在数据层面就解决掉。

还有一点想提醒做这行的朋友，千万别觉得标注规则调整是件小事。它不像换个模型结构那么有技术含量，也不像买几块GPU那么有面子，但它对结果的影响，往往比那些花哨的操作都大。我们这次改动前后，算力没变，模型结构没变，就改了标注规则和流程，效果提升了将近六个点。这性价比，比什么超参数搜索都高。而且这种提升是实打实的，不是过拟合带来的虚高，在测试集上的表现同样稳定。

回头看整个过程，最关键的转折点其实是我们愿意承认问题出在数据标注上。很多团队遇到效果不好的情况，第一反应是骂模型、骂算法、骂框架，很少有人愿意回头审视那些看起来“差不多”的标注数据。但AI这行，数据就是地基，地基里全是裂缝，你在上面盖多少层楼都是白搭。这次规则调整让我想明白一件事，与其花大价钱去优化模型的上限，不如先把数据质量的下限抬起来。下限高了，模型的天花板自然就跟着往上走。