三份实验表摆在一起,第一眼看到的是两个差了一千倍的数:一份写着 0.010,另一份写着 10。前者的单位是 g/L,后者是 mg/L,换成同一单位,它们都是 10 mg/L。
真正的麻烦在后面。同一份导出被重复上传了一次,同一样品测了两次,还有一次测量在两个文件里给出了不同的值。这三种情况长得都像“重复”,处理办法却完全相反。
这里把三份 CSV 和一份自己写的清洗规则一起交给商汤小浣熊。上传的截图如下,四个文件都在输入区里。

三份 CSV 加一份规则说明,规则是手写的,不是让产品自己猜。
8 行记录,6 个测量身份
三份表合计 8 行,但只有 6 次真正的测量。先把身份排清楚,后面才有得谈:
|
测量身份
|
文件里出现的内容
|
该怎么处理
|
|
样品一读数一
|
甲乙两份都是 .010 g/L
|
合并副本,记 10 mg/L
|
|
样品一读数二
|
.011 g/L
|
单独保留,11 mg/L
|
|
样品二读数一
|
.012 与 .021 g/L
|
两个版本都留,冲突待确认
|
|
样品三读数一
|
10 mg/L
|
保留
|
|
样品三读数二
|
ND
|
保留原标记,不填 0
|
|
样品四读数一
|
空白
|
记为缺失
|
这里只有 3 次测量拿到了无争议的数值。另外 3 次分别是一次冲突、一次 ND、一次空白。“6 个测量身份”不等于“6 个有效数值”,这句话我在提交前就写进了规则里。
规则要自己写,任务才能跑的更清楚
这里没有直接说“帮我清洗一下”。清洗规则是这么写的:
统一浓度单位为 mg/L,保留原始值、原始单位与文件名。相同测量身份且内容完全相同的副本可以去重;同一测量身份出现不同值须保留冲突;不同读数是不同测量,不可去重。ND 的定义尚未提供,不填为 0;空白另列。
四条规则,对应四种情况。之所以写得这么细,是因为“去重”这个词本身就模糊:按样品去重,会把样品一的两次读数删掉一次;按内容去重,才只删真正重复的那一条。
第一轮:它做对了四件事
提交之后,产品先给了一份核对报告,再生成报告正文。它给出的结论是:读取 8 条原始记录,统一换算规则 1 g/L = 1000 mg/L;识别出 1 条完全重复副本,去重后不参与统计;样品二读数一存在 12 mg/L 与 21 mg/L 的数值冲突,两条均保留;另有 1 条 ND、1 条空白,均未按 0 处理。

左边是对话,右边是它给出的核对报告:8 条原始记录,5 条可计算。
去重、冲突、ND、空白,四类分开,一条没混。最后它给出 5 条可计算记录,对应 4 个不同测量身份,并把“是否参与统计”和“不参与统计原因”做成了单独的列。这里非常的严谨,原因写在行上,不用回头猜。
有一处要人来定:两条冲突值都进了均值
它算出的均值是 12.8 mg/L。用计算器复核一遍:10、11、12、21、10,五个数平均确实是 12.8,没算错。
问题在于这五个数里,12 和 21 属于同一次测量。产品把两条都标成“冲突值—保留”,也都放进了统计。对“保留”这件事我认同,但“参与统计”是另一个决定:同一次测量的两个版本同时进均值,等于让这次测量在结果里出现了两次。
如果只算没有争议的三条(10、11、10),均值是 10.33。两个数字差了 2.47,相当于一次冲突记录把均值抬高了将近四分之一。
这不是产品的错。规则里我写了“冲突须保留”,没写“冲突是否参与统计”。它按字面执行了,把决定权留在了我这边。真要写进报告,得先补一句:冲突值未确认前不计入均值,只在附注里单列。
追问:单位用错会怎样
第二条追问只有一个目的:看看这个错误在结论上会长成什么样。我问它,如果把 g/L 的数值直接当 mg/L 用,会差多少倍。
它回答的也很直接:1 g/L = 1000 mg/L,把 g/L 的数直接当 mg/L 用,每一条这样的记录都会缩到正确值的千分之一。不过它紧跟着补了一句:这批数据里还有原本就是 mg/L 的记录,整体均值不会被简单缩小一千倍。随后它另开了一张表,把两种口径并排列出来:正确均值 12.8 mg/L,错误口径 2.0108 mg/L;中位数从 11 变成 0.012;最大值从 21 变成 10。
同一批数据,两种口径。最值得看的是范围:错误口径下的最大值是 10,而正确口径下的最小值也是 10。数量级一错,最大值和最小值撞到同一条水平线上,任何靠范围做的判断都会失效。
这一轮商汤小浣熊把结果落成了文件,一个叫“统一明细最终版.xlsx”的工作簿,三个工作表:统一明细、核对与单位说明、单位误用影响。明细表里保留了原始行号,甲乙两份文件里同一条记录分别标了“有效数值”和“重复副本—排除”。
补测一次:把“冲突算不算”写进规则之后
前面说过,真要写进报告得补一句。我把规则改成第二版,加了一条:同一测量身份出现不同值,两条都保留、都标“待确认冲突”,但不参与任何统计。然后同样三份 CSV、同一个产品,重新跑一遍。
数字变了。正式统计只用无争议的 10、11、10 三条,n=3,均值 10.33 mg/L,中位数 10.00,最大值 11.00。同一份报告里另列了对照值:把两条冲突值也算进去,n=5,均值 12.80,比正式口径高 2.47,约合 23.9%。

补测一轮:正式口径 n=3、均值 10.33,对照口径 n=5、均值 12.80,两个数并排列在同一份报告里。
它还写了一句可以直接抄进报告附注的话:“浓度统一换算为 mg/L;内容完全相同的副本去重,同一测量身份的异值记录均保留并标记为待确认冲突,正式统计仅基于无争议有效记录(n=3),冲突、ND 及空白均不纳入计算,且 ND 未按 0 处理。”
这里没有新增任何数据知识,只多了一句更明确的规则。同一批记录、同一个产品,均值差了 2.47,差别全部来自“冲突算不算”这一个决定。
再追问一句“无争议记录的均值是按几条算出来的”,它答 3 条,并把可复用的口径写全:测量身份的唯一键、单位换算、重复判定、冲突裁决、ND 与空白的编码含义,这五项没定之前,冲突、ND、空白都该排除在正式统计之外。
重测:先把三种结果算好,再去测
上一节那条冲突值,取 12 还是 21。我的处理是重测,不过在动手之前,需要先最两件事。
第一件是把两个数并排看。甲表 0.012 g/L 是 12 mg/L,乙表 0.021 g/L 是 21 mg/L。12 和 21,数字顺序正好倒过来。测量波动给出的是连续分布,很少正好落在“把两位写反”这个位置。所以我的判断是:更像其中一份记录抄错了,而不是同一样品测出两个值。
但“更像”不是“就是”。我手上只有两份导出的 CSV,没有原始实验本,也没有仪器打印条。凭数字长得像倒序就宣布哪个是错的,那是把猜测写成结论。
第二件是把重测做成一张表,而不是一个数。规则改到第三版:冲突记录在复测回填前不计入统计,报告标“待复测”;复测结果只能通过复测记录表回填,不接受口头结论。表里除了测量身份和两版读数,其余全是“待填”,复测日期、方法、读数、单位、折算值、复测人、原始记录出处。少了最后一栏,复测回来也只是第三个数字,冲突从两条变三条,问题一点没解决。
第三件最容易被跳过:在测之前,把复测值落在哪一版对应的数先算出来。
|
复测值落在
|
n
|
均值
|
中位数
|
处理方式
|
|
12 mg/L 一版
|
4
|
10.75
|
10.50
|
21 那条标“疑似转录错误”
|
|
21 mg/L 一版
|
4
|
13.00
|
10.50
|
12 那条标“疑似转录错误”
|
|
第三个数
|
3
|
10.33
|
10.00
|
三条并存,再测一次
|
两个分支差 2.25 mg/L。这不足以让结论反转,但足够让“这批浓度大约在 11 左右”和“在 13 左右”变成两句不同的话。先算好,是为了防止等结果回来再定口径,那样谁都挑得动那个好看的数。
产品这一轮有两处值得记。
一处是它没替我填数:报告第一行就是“当前状态为待复测”,两条冲突值都排除在统计外,预登记的三条分支也带着各自的 n、均值、中位数一起给出。

另一处更有意思:它反过来挑了我的错。我填复测表时把甲乙写反了,表里写甲表 0.021、乙表 0.012,而原始文件里甲表是 0.012、乙表是 0.021。它在报告里直接写“甲表/乙表冲突版本疑似写反”,并指出该在“原始记录出处”里指到文件与行号。我回头核了 CSV,确实是我错。同一条记录在两份文件里对不上,正是这批材料最可能的出错方式,而我在填表时又复制了一遍。
它还指出规则漏了一个字段:允许误差没登记,“与某一版本一致”就无从判定,分支会带事后选择的风险。顺着这条往下问,只测一次、没有平行样也不能直接替代原来两条——条件要可比、复测本身要有质控证据,还得事先讲清单次复测算不算裁决值。三条我都认,表里补上了第 15 个字段。
至于倒序能说明什么、不能说明什么,追问的边界划得对:它可以当“疑似数字转置”的调查线索,该去核仪器导出、实验日志、录入人与时间;但它不能证明哪个值对,不能据此删掉一条,也不能把“待确认”改成“已确认”。

追问只问一件事:12 和 21 的倒序算不算证据。回答把它压在“调查线索”这一档,不往上抬。
所以结论没变:n=3,均值 10.33。重测没让数字变好看,它让下一步变清楚了,去翻那一行的原始记录,看写的是 12 还是 21;翻不到,就带上允许误差重测两次。
下次合并数据,先写这四条
这套流程真正能复用的不是这份表,是那四条规则:单位怎么统一、什么算重复、冲突留不留、缺测怎么标。规则写清楚了,换一批数据照样能跑;规则含糊,“清洗干净”的表反而最危险,因为它看起来没有问题。
再加上第五条,把“冲突值是否参与统计”也写进去。这句话只有十几个字,但上面那次补测已经量出来了:写与不写,均值是 10.33 还是 12.80,一份报告里两种说法。
还有第六条:冲突怎么裁决。裁决规则、允许误差、复测记录表,三样都写下来。这一条不是写给自己看的,是写给下一个人。包括三个月后的自己。写清楚了,换谁来跑都是同一套口径;写不清楚,写不清楚,每批数据都会处处有冲突。



















