数据标注准确率为什么不可靠
项目验收里最常出现的一句话是「这批数据标注准确率 99%」。但这句话几乎不含信息量——它衡量的是已标注样本，不是模型学完之后的行为。我们用一个叫 PEN 的框架来解释这件事：正例（Positive）、边界（Edge）、反例（Negative）三类数据各自解决什么问题，以及为什么只靠正例的数据集无法定义模型的行为边界。
数据问题不是「标得准不准」
从一项访谈研究说起Google 的研究者访谈了 53 位在高风险领域（医疗、金融、农业、公共健康等）工作的 AI 从业者，得出一个结论：数据问题很少以「某批标注质量不合格」的形式暴露，而是以级联（cascade）的形式出现——早期在数据定义与采集环节埋下的问题，会贯穿整条流水线，直到部署阶段才集中爆发。
这项研究给出的数字是：92% 的从业者在项目中至少经历过一次数据级联，45.3% 经历过两次以上。
值得注意的是这项研究总结的四个触发因素，其中两个与「标注质量」并无直接关系：物理世界的脆弱性（训练数据干净、生产环境嘈杂）和领域专业度不足（数据定义由不具备领域知识的人完成）。
换句话说，多数数据事故不是「标错了」，而是「一开始就定义错了」。而「准确率」这个指标，恰恰只覆盖了「标错」这一类，对定义层面的问题完全无感。
这就解释了为什么很多项目在验收时指标漂亮，上线后却问题频出：验收测的是数据，出问题的是定义。
准确率衡量的是数据，不是模型
以及它为什么掩盖了真正的问题准确率的定义是「标对的样本数 ÷ 样本总数」。它有两个结构性缺陷。
第一，它是面向已有样本的度量。它描述的是这批数据标得怎么样，不描述模型会遇到什么、也不描述模型在拿不准的时候会怎么选。一个准确率 99% 的数据集，完全可能让模型在边界情况上表现糟糕——因为边界情况在数据集里的占比，和它在准确率里的贡献无关。
第二，它是聚合指标。漏标、误判、单位未归一、格式不一致、无据推断——这些错误的成因和修法完全不同，但在准确率报表里它们合并成同一个数字。结果是：无法定位、无法回归、也无法定价。
「数据冷漠」这个词是数据为中心的 AI（Data-Centric AI）讨论中被反复提到的：把数据当作模型的燃料而非工程对象，只在流程开头做一次「预处理」，之后很少回头系统性地改进它。而数据质量问题的代价，通常要到部署阶段才显现。
所以在这套方法里，我们不看准确率，而看数据集的结构完整性：该覆盖的情况覆盖了没有，该记录的分歧记录了没有，错误有没有按性质分开统计。这就是 PEN 的出发点。
PEN 三类数据
Positive · Edge · Negative一个具体领域：化学结构图识别
PEN 落到真实任务上是什么样PEN 不是抽象框架。拿化学领域最基础的一项任务走一遍——把专利与文献里的结构图还原成机器可读的结构，也就是 OCSR（光学化学结构识别）——三类数据的位置会变得非常清楚。
这个任务之所以关键，是因为化学信息主要以图像形式传播：论文与专利里的化合物大多以结构式画出来，而不是写成可检索的文本。有研究指出，美国专利局是少数会把化学结构以 ChemDraw CDX 或 MDL MOL 文件一并提供的机构，其余来源基本只能靠识别来还原。
自动化工具能做到什么程度？一项基于开源工具搭建的抽取流水线，在 25 篇专利与 17 篇论文上做了评测。按文档形态分层之后，结果是这样的：
注意这组数字的形状——同样是「识别结构」，不同文档形态之间差了接近 20 个百分点。而现实情况是，非表格形态恰恰是专利与论文的常态。
用 PEN 拆开看，这 20 个百分点来自哪里
正例：结构图印刷清晰、排布规整、每个结构紧邻编号与标识符、单个分子、无遮挡。表格类专利大量属于这一类，所以工具在这一层能到约 95%。
边界：不定型结构（聚合物、混合物、晶型未定）、Markush 通式的变量定义、跨页结构、图注与正文分离、取代基被邻行遮挡。这些并不是「画得不清楚」，而是同一种画法可以有两种合理解读，必须靠化学惯例或申请人意图来收敛。
反例在这一层的特殊之处
反例：模型可能输出语法合法、化学价态却不成立的结构，例如五价碳。这类结果不会抛异常，只会安静地进入数据集。而对化学数据来说，一个键画错意味着化合物身份改变，性质预测、结构检索、合成路线会连锁出错。
所以 Negative 在 OCSR 里的作用不只是「纠错」，更是让评测保持分辨能力：如果评测样本全是模型本来就能正确识别的规整结构，那么换什么模型都测不出差异——这正好对应后文关于评测饱和的讨论。
还有一个侧面证据能说明「单一方法无法通吃」：有研究对比了 6 种开源 OCSR 方法在同一批专利图像上的表现，结论是各方法在不同图像类别上互有胜负，整体仍不理想；为此研究者专门训练了一个图像分类器——先判断这张图属于哪一类，再调用在该类别上表现最好的工具。
把这一节压缩成一句话：工具的能力上限，取决于这批文档里正例的占比，而不是工具本身的标称准确率。 这也是为什么在化学这类以图像为主的领域，「谁来判定边界」比「用什么工具识别」更决定最终的数据质量。
这一场景的交付方式，我们在解决方案页里单独展开过：化学结构图识别与修正。
只有正例的数据集，学不会「判定」
模型可能在学你没想到的东西只堆正例会出问题，这一点在自然语言推理（NLI）任务的经典研究里被反复验证过：模型往往不是在做推理，而是在利用标注过程留下的统计痕迹——比如某类标签的样本恰好更短、用词恰好更特定。研究者把这称为「标注痕迹」（annotation artifacts）与「捷径学习」（shortcut learning）。
结果就是：在这些数据集上模型分数很高，换成真实分布或对抗样本就迅速掉下来。
回到我们的框架，可以这样理解：正例教给模型的是「这类样本通常长这样」，而边界样本才教给它「为什么这条归 A 不归 B」。前者是模式识别，后者是判定。
这也是为什么在只含正例的数据集上继续加量，收益会很快递减——新增的每一条正例，都在强化同一个已经学会的模式，而模型真正缺的那部分（边界上的判定依据）一条也没有增加。
边界样本：被当成噪声丢掉的信号
分歧不总是错误多数数据集在汇总标注结果时采用多数投票：只要有分歧，就按票数取多数。这个做法简单、可复现，但它默认「分歧 = 噪声」。近几年的研究对这一点提出了持续质疑。
一项被广泛引用的实证来自斯坦福的 Jury Learning 工作：在毒性判定任务中，平均超过三分之一的标注者与任何「有毒」判定不一致，即使剔除标签噪声之后依然如此；而在虚假信息分类任务中，三名专业事实核查员只在一半的 URL 上完全一致。
如果这三名核查员的分歧里有一半是「噪声」，那么剩下的一半是什么？后续研究给出的答案是把分歧分成两类：
- 噪声型分歧——来自标注者失误或流程缺陷，应当通过规范与培训消除；
- 信号型分歧——来自任务本身的模糊性，反映的是判定标准尚未被写下。这类分歧应当被捕捉而不是被抹平。
这类分歧不只出现在情感、毒性这类主观任务上。有研究明确指出，即使在法律、医疗决策这类相对客观的领域，标注者之间仍然存在真实分歧，而这些分歧蕴含的信息被多数投票流程丢掉了。
更值得注意的是，保留分歧不会拖累主标签的准确率，反而可能有帮助。有研究在对齐任务中对比了两种做法，结论是保留标注分歧不仅改善了对人类判断分布的拟合，还能提升主标签预测性能；在 ChaosNLI 数据集上，传统的多数标签监督把与人类判断分布的 JS 散度从 0.374 推高到 0.477。
把这些结论放回工程语境，Edge 这一层的价值就清楚了：它不是失败的标注，而是判定标准唯一的载体。公开语料记录结论、不记录分歧——论文只写最终选定的答案，专利只写被批准的方案，没有人会把「我们当时为此争论过」一并发表。所以边界数据只能从真实业务里挖出来，无法通过扩大公开语料规模获得。
这同时回答了一个常见疑问：基座模型越强，领域数据服务会不会越没有价值？ 通用能力的提升不会自动解决「同一个问题在两家公司有不同正确答案」这件事。当判定依据属于企业自身时，模型无法替你决定用哪一套。
评测集为什么会失效
分数到顶，不等于模型变好数据集层面的问题，在评测环节会以另一种形式重演。一项对 60 个主流大模型评测基准的系统分析发现：接近一半的基准已经饱和，即头部模型之间的分数差异已无法在统计上区分；而且饱和率随基准的年龄上升。
另外两个发现尤其值得注意：把测试集隐藏起来（公开改私有）对延缓饱和没有帮助；而由专家构建的基准，抗饱和能力明显优于众包构建的基准。
第二条发现在工程上有直接含义：评测集的价值不在于它有多难，而在于它有没有区分度。如果评测用例偏易，分数会长期停在接近满分的位置，此时任何改动的前后对比都会得到「无显著差异」的结论——评测体系看起来在运转，实际上已经失去了分辨能力。
这一点在方法论上也有对应研究：有工作指出，饱和不只是任务分布的性质，也是评测分辨率不足的结果；同一批模型输出，换一种评测协议就能重新拉出区分度。
量化地说，区分度是可以被工程手段改善的。有研究在同一批题目上对比不同指标：在 ARC-Challenge 上，精确匹配（exact match）只能区分出 17% 的模型差异，而引入推理链正确性加权的指标能做到 46%。
把这些问题收拢起来，有研究把它们归纳为三类结构性缺陷：区分度低与分数压缩、天花板效应导致剩余提升空间耗尽、以及流行度与严谨度脱钩——迁移成本低的测试长期占据主流，而真正有余量的难题被边缘化。
所以 Negative 这一层在评测里的作用，和正例在训练里的作用正好相反：反例的存在，是为了让评测保持分辨能力。一批全是「模型早就会做」的题目，无论多大都测不出改进。
三类数据怎么定
以及什么情况下不需要我们不给通用配比。任何直接给出「三类数据各占百分之几」的说法都值得怀疑——因为比例取决于两个变量：这个业务本身的分歧程度，以及一次错误判定的代价。
分歧越密集、错误代价越高、迭代周期越长（基座会换代、规范会更新），Edge 与 Negative 的权重就应该越高；反过来，判定越无歧义，正例的占比自然越大。
不太需要 PEN 的场景：目标明确、判定无歧义、一次交付即结束的任务。这类任务按正例数量生产就够了，强行引入边界与反例会显著抬高成本，却换不来对应价值。
常见问题
合作前常被问到的问题那准确率还看吗？
看，但它只是众多指标之一，而且不该是唯一的验收标准。更合理的做法是按错误性质分别统计：事实性错误、语义判定错误、结构与格式问题、单位量纲问题、无据推断。分类之后才能定位、回归和定价。
标注分歧要怎么处理？
先分清是噪声还是信号。噪声型的通过规范、培训和复核流程消除；信号型的应当被记录成判定条目，写进准则文档，而不是靠多数投票抹平。这正是 Edge 层的构造过程。
三类数据应该各占多少比例？
没有通用比例。比例取决于业务的分歧程度与错误代价，需要按场景评估。我们更倾向于先做一次场景诊断，判断边界主要出现在哪里，再决定投入。
基座模型越来越强，这套框架还有必要吗？
有必要，但作用点在变。通用能力提升会稀释「正例」的价值；而「同一个问题在你公司和他公司有不同正确答案」这件事不会因为基座变强而消失——它属于企业自身，模型无法替你决定。
PEN 这个框架是公开标准吗？
不是。它是我们内部用于组织领域数据集与评测集的框架，写在专栏里是为了让沟通有共同语言。具体到某个行业的判定准则、边界清单与验收方式，属于项目交付内容。
参考资料
本文引用的公开研究- Sambasivan, N. et al. (2021). “Everyone wants to do the model work, not the data work”: Data Cascades in High-Stakes AI. CHI '21. research.google
- Jarrahi, M. H. et al. (2023). The Principles of Data-Centric AI. Communications of the ACM, 66(8). ACM
- Weber, L. et al. Comparing Optical Chemical Structure Recognition Tools. ChemRxiv. ChemRxiv
- Wang, Z. et al. BioChemInsight: An Open-Source Toolkit for Automated Identification and Recognition of Optical Chemical Structures and Activity Data in Scientific Publications. arXiv:2504.10525
- Gordon, M. L. et al. (2022). Jury Learning: Integrating Dissenting Voices into Machine Learning Models. CHI '22. ACM
- Kraus, K. & Kroll, M. (2025). Maximizing Signal in Human-Model Preference Alignment. arXiv:2503.04910
- Leveraging Annotator Disagreement for Text Classification. ICNLSP 2024. ACL Anthology（PDF）
- Wu, J. et al. (2026). SHALA-LLM: Smartly Handling Ambiguous Labels in Aligning LLMs. arXiv:2606.05376
- Akhtar, M. & Reuel, A. et al. (2026). When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation. arXiv:2602.16763
- Chen, J. et al. (2026). SEAL: Can Saturated Benchmarks Be Revived by LLM-as-a-Meta-Judge? arXiv:2605.30104
- Etzine, B. et al. (2025). Revitalizing Saturated Benchmarks: A Weighted Metric Approach. arXiv:2503.05551
- Zhu, L. et al. (2026). Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs. arXiv:2602.11674
继续阅读
相关页面§ 04 那个场景的完整交付方式：从结构图提取到 SMILES / InChI 结构化输出，以及质检与溯源如何落地。
按行业方向与具体任务，查看我们目前提供的全部解决方案与交付物说明。