模型抽出来的规则只能是草稿:一条上线纪律
上一篇说到客户不愿意手写规则 DSL,把规范文档丢过来让模型抽。这事做了,效果比预期好,但出过一次事故,之后定了一条纪律。
事故
一份企业标准,两个相邻条款:一条说某类尺寸的公差不得大于 0.1,另一条说另一类不得大于 0.5。模型抽出来的两条规则,阈值互换了。
规则本身语法完全正确,校验器通过,上线跑了两天,审出一堆”误判”,客户的工程师看了半天才发现是阈值反了。
为什么会这样
不是模型不行。两个条款结构几乎一样,只有数字不同,抽取时把上下文对错了很正常。人工看规范也会看串行。
问题在于我把模型输出直接当成了规则。
纪律
从那以后,规则模块加了一层:
- 模型抽出的每条规则进草稿箱,状态是”待确认”。
- 每条草稿带原文引用——它是从规范的哪一段抽出来的,原文是什么。
- 每条草稿带校验结果——语法对不对、引用的字段存不存在、阈值是否在合理范围。
- 人工在管理页逐条看原文和规则,点”确认”才生效。可以改,可以驳回。
- 生效的规则记录确认人和时间。
模型的工作从”生成规则”变成”生成规则草稿并附上依据”。人的工作从”写规则”变成”核对规则”。核对比写快得多,客户接受。
界面上的一个细节
草稿页把原文和规则并排放,原文里被引用的那句话高亮。工程师扫一眼就能对上。这个细节让确认速度翻了一倍——之前他们要回去翻规范原文。
推广
这条纪律后来我在别的地方也用:
- 需求文档解析出的条目,进入下游前有一个自检页给人核对。
- 知识库里模型生成的摘要,标注”由模型生成”,检索时降权。
原则一样:模型的输出是建议,进入正式流程前必须过人或过规则。 什么时候能免掉这一步?当模型的错误率低到人工核对的成本高于错误的成本。审核规则这个场景,一条错规则会连续误判几百张图纸,远远没到那个点。
一句话
模型抽规则省的是写的时间,不是判断的责任。责任还在人手上,系统要把这一点做进流程里,而不是靠人记得。