
视觉模型读一张干净的护照资料页几乎不会出错。然后它遇到运营团队真正会收到的文件:日光灯下斜着拍的照片、订书钉正好穿过日期栏的扫描件、一页上并排放着两份文件、去年改过版、与提示词里那份长得完全不同的表格。
错误是有结构的,不是随机的
这一点很关键。模型在真实文档上的错误是聚集的:同一个字段因为同一个物理原因反复失败。覆膜表面的反光。某种字体下形近的数字。没有标注、两种读法都成立的日期顺序。一旦知道这些聚集点,就可以逐个决定怎么处理——这和试图把一个笼统的准确率数字往上抬,是完全不同的两件事。
确定性那一层放在哪里
- 对一切有结构的内容做格式与校验位验证——证件号、税号、银行账号格式。模型在这里不需要对,因为算术可以验它。
- 单份文档内部的字段一致性。签发日期晚于有效期,这不是需要判断的模糊情形。
- 与业务系统已有信息交叉核对。最强的校验往往根本不在文档内部,而是机构本来就掌握的、关于这个人或这笔交易的记录。
- 置信度阈值,以及低于阈值内容的复核队列——原图与抽取值并排呈现,让人几秒内就能处理完,而不必重新打开整个卷宗。
为什么只看准确率是错的标准
两套系统可以报出相同的准确率,价值却完全不同。在少量样本上笃定地给出错误答案、且不给任何信号的那套是危险的。在略多一些样本上表示不确定、并明确说出来的那套是有用的——因为不确定的部分可以转交给人,其余部分则可以放心采用。
所以我们与客户在开工前约定的不是一个准确率数字,而是一对数字:多大比例无需人工介入即可完成,以及自动完成的那部分里错误率是多少。这两个合在一起才如实描述了系统。单看任何一个,都可以被做得很好看。
如果一份文档 AI 方案只报一个准确率百分比、却没有描述复核路径,那说明复核路径并不存在。
下一篇
所有模型调用只留一道门