arXiv 预印本 · 主类 cs.LG,交叉 cs.CY / econ.GN · 2024-01-30 提交,2026-11-04 修订至 v5 · abs 页无期刊或会议录用信息 · 作者分别来自哈佛商学院、迪肯大学、昆士兰大学与(Daniel Martin)独立/高校背景 · 数据为 2005–2009 年 ATP 男子单打官方鹰眼记录

人类如何回应算法纠错:职业网球鹰眼复核的证据

David Almog, Romain Gauriot, Lionel Page 等 4 人 · arXiv 预印本(cs.LG 主类,交叉 cs.CY / econ.GN)· 2024-01-30 首次提交,2026-11-04 第 5 版 · 未注明期刊或会议录用 · 2024 · arXiv: 2401.16754
原题:Human Responses to Algorithmic Correction: Evidence from Centre Court
Open Access 新颖度 0.78

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

职业网球里,球落在边线附近时,司线员必须在零点几秒内喊出界内还是界外。人的眼睛本来就不擅长判断高速移动的小球,误判一直存在。二零零六年起,职业巡回赛开始引入鹰眼复核:球员每盘有两到三次挑战机会,球场大屏会当场画出落点,如果回放推翻了司线员的判罚,这次判罚就在球员、观众和电视镜头前被公开改掉。

这项技术通常被当成一件纯粹的好事:机器比人准,错了就改。但改判并不等于没有代价。作者注意到的第一件事,是两种改判的后果并不对称。把界内球误判成界外,球已经停了,主裁判还得决定这一分是判给谁还是重打,这个裁量本身又可能被质疑。把界外球误判成界内,改判之后这一分的归属通常就直接确定了。

于是问题变成:当裁判知道自己随时可能被当众纠正,他第一次判断时会不会改变尺度。这个问题不只属于体育。税务稽查的复核、低保申请的抽查、执法记录的回看、诊断的第二意见,形态上都接近:人先做决定,系统在后面查,查出来还能推翻。

② 研究问题(要回答什么?)

论文追问的是一件比“机器准不准”更细的事:事后复核会不会改变人第一次判断时的错误结构。

具体拆成四问。第一,引入复核之后,边界附近的误判是变多还是变少,两个方向的误判是不是朝相反方向变化。第二,如果变了,是不是因为裁判在回避某一种更麻烦的改判。第三,裁判会不会把复核当成安全网,反正错了有人兜底,于是第一次判得更潦草。第四,组织在算这笔技术投资值不值时,如果假设人的行为不变,会不会算错。

作者强调,第四问才是落脚点。因为采购复核系统的部门通常拿现有的人工错误率去乘一个改判成功率,得出“能挽回多少错误”。可如果人本身会变,这个乘法就从根上偏了:既要算系统改掉了多少错,也要算它让人少犯或多犯了哪些错。

③ 研究方法(怎么做的?)

研究把三类记录拼在一起:鹰眼逐球记录的落点、赛事方保存的球员挑战记录,以及研究者逐场看比赛录像做的核对。落点数据覆盖二零零五年三月到二零零九年三月的男子单打比赛,共四十七万余次落点;挑战记录覆盖同期三十五站赛事、两千七百八十四次挑战。

最后可用的样本是六百九十八场比赛、九万九千三百三十七分。其中一百零九场发生在引入复核之前,五百八十九场在之后。研究者把每个落点相对边线的距离算出来,按二十毫米一格分成十档,再比较“复核前”和“复核后”同一档里的误判率。判罚有没有错,是用落点数据倒推的,不依赖有没有人挑战。

这不是随机实验,因为哪站赛事装鹰眼不是抽签决定的。作者的处理是:控制球速、比分、局数、盘数和赛事级别,把标准误按赛事聚集;再只用“复核前后都办过”的同一批赛事,加赛事固定效应做一次更严格的比较;最后逐站剔除,看结果是不是被某一站带偏。

另外还做了一层场内的比较:同一场比赛里,一次公开改判之后,裁判接下来的近距离判罚会不会朝避开同类错误的方向挪。这一层不依赖前后两个时期的差异,但挑战由球员发起,因此只能算相关证据。

④ 结果(发现了什么?)

最核心的变化出现在离边线最近的那一格。落点在边线外二十毫米以内时,被误判成界内的比例,引入复核后高了八点六个百分点;这一档原本的误判率约四分之一,相当于涨了三成多。同一距离内落在界内、却被误判成界外的比例,则低了四点一个百分点。

把两边合起来看,边界两侧的差距是十四点五个百分点,统计上站得住。换成更严格的口径,只比较复核前后都办过的同一批赛事,这个差距缩到十点二个百分点,方向不变,但样本小了很多,显著性掉了下来。逐站剔除后,估计在七点七到十二点五个百分点之间,没有哪一站能单独把结果推翻。

还有一个更直接的口径:离边线二十毫米以内的球,判成界内的比例从四成二八升到四成九。

场内的证据方向一致:一次改判之后,裁判接下来的近距离判罚会朝避免重犯同类错误的方向挪,而且“把界内误判成界外”被改判之后的调整更大。

至于“把复核当安全网”的担心,数据并不支持。离边线一百毫米以内的总体误判率估计低了一点一个百分点,不显著;非发球低了二点三个百分点,发球几乎没变,但发球在最近二十毫米内反而更差,说明平均数掩盖了任务之间的差别。

⑤ 讨论(这些发现说明什么?)

怎么解释这种往一个方向偏的变化,作者给的是激励解释,不是能力解释。两种误判被纠正后,裁判承担的东西不一样:把界内球喊成出界,改判之后往往还要主裁再做一次裁量,决定这一分给谁还是重打;把界外球喊成界内,改判通常直接了结。一种错误更容易惹出后续麻烦,裁判在边缘球上就偏向少犯那一种。

这个解释和几条旁证对得上。第一,场内调整是不对称的,被改掉“界内误判成界外”之后,裁判的后续调整更大。第二,真正的改判比“挑战了但维持原判”带来的后续调整更大,说明起作用的不是“被看了一眼”,而是“被当众推翻”。

但作者很克制。这套制度是打包进来的,公开性、即时性、后果同时变了,研究设计分不开是哪一项在起作用,也说不了这是“对算法”还是“对复核”的反应。

最后是把账算清楚。按“人的错误率不变”去算,一百次判罚里预计能改三点六八次、剩十点二零个错;按实际观察到的人的反应算,只能改三点四五次,但剩下的错是九点零二个。改得少了,剩下的错反而更少。

在两种错误损失相同、改判不额外花钱的设定下,考虑人的反应会让组织愿意多花约三成二的钱。但如果“界外误判成界内”的损失超过另一种错误损失的四倍左右,结论就反过来:剩下的错虽然少,加权之后更贵。

⑥ 结论(最终结论 + 启示)

这篇论文最值得公共部门带走的一句话是:算法复核会重塑人工判断本身,它不只是给现有判断打补丁。

过去讨论算法辅助决策,多集中在“事前给建议”这一侧:模型给个分数,人采不采纳。这篇研究的是另一侧,人先做决定,算法在后面查,查出来还能当众推翻。这种安排在公共部门并不陌生:税务稽查的复核、低保审核的抽查、警员执法记录的回看、医生诊断的第二意见,形态上都接近。论文提示,只要纠正的后果对不同类型的错误不对称,前面那个人就会往“少惹麻烦”的方向挪,错误的构成会变,总量却未必变差。

对问责设计的含义是具体的。第一,评价这类系统不能只看错误总数,要看错误构成,否则会把“错误换了个位置”误读成“错误变少了”。第二,某类错误一旦被纠正就会牵出更多裁量争议,它会被系统性地推向另一端,而这部分代价不会出现在“改判成功率”这类指标里。第三,算投资回报时把人的反应当成常数,可能高估也可能低估。

作者也把边界划清楚了:这是职业网球,规则清楚、对错有唯一标准、复核算法误差只有几毫米,而且过程全程在观众眼皮底下。换到目标模糊、信息不对称的公共部门,结论能不能外推需要另行检验,尤其要检验复核本身不那么可靠时,人还会不会这样调整。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

组织越来越多地把算法放在人的决定之后:定价干预被系统筛查,诊断被第二意见复核,执法记录被抽查。这类“事后复核”与既有文献主流的“事前建议”不同——后者由算法提供信息、人决定是否采纳;前者由人先做决定、算法可以推翻它。关于人机决策权配置的研究(Athey 等 2020;Kleinberg 等 2018;Rambachan 2024)多关注把哪些案件分给机器、哪些留给人,却较少处理一个更基本的问题:当人预期自己的决定会被检查并可能被公开纠正时,他第一次决定的行为本身会不会变。

本文用职业网球鹰眼复核的引入回答这个问题。该场景有三项识别上的优势:其一,对错标准唯一且可测——球落在哪里;其二,鹰眼在球员挑战与否的所有球上都记录落点,因此同时观察到被挑战和未被挑战的决定,绕开了“选择性标签”问题;其三,部分赛事在球员获得挑战权之前就已安装鹰眼,同一套基准可在两种制度下使用。

作者的贡献有三。第一,提出并检验“错误再分配”这一行为边际:复核不只改变错误被纠正的比例,还会改变初始错误的构成。第二,给出一个可复用的评价恒等式,把人的行为反应、纠正比例与纠正成本放进同一个投资判断,说明按“人的决定固定”计算会在什么条件下高估或低估复核的价值。第三,提供场内补充证据:公开改判之后,近距离判罚朝避开同类错误的方向移动,且方向性不对称。

与公共管理的关系是类比性的而非直接的。论文本身不研究政府部门,但其结构对应“一线裁量 + 事后监督 + 纠正后果不对称”的治理情境,因而对算法问责的指标设计有直接启示。

I. Theoretical Framework & Hypotheses(理论框架与假设)

理论起点是把复核同时看作监督与补救。监督文献(Nagin 等 2002;Olken 2007;Gosnell 等 2020)表明被检查会改变行为;问责与社会形象文献(Bursztyn 和 Jensen 2017;Almog 2025a, 2025b)表明被看见本身就有代价。算法复核的特殊之处在于把两件事捆在一起:既暴露错误,又当场修好错误。两项功能产生方向相反的激励——兜底可能降低努力,当众推翻可能提高努力或改变努力的方向。

关键的行为边际不是“更努力还是更不努力”,而是“把错误放在哪一边”。网球里两种误判的救济成本不对称:把界外球误判为界内,改判后该分归属通常直接确定;把界内球误判为界外,改判后主裁还须裁量是否影响回球、判分还是重打,这项裁量本身可被质疑。若裁判效用对“引发后续争议”敏感,复核会降低“误判为界外”的相对成本,把判罚门槛推向“多判界内”。

编号可检验含义理论来源经验对应
H1边界附近错误向“误判为界内”方向再分配救济成本不对称下的门槛移动最近界外档 +8.6pp,最近界内档 -4.1pp
H2场内调整跟随最近一次公开改判的方向,且对救济更麻烦的一类更强适应性学习 + 声誉/争议规避改判后调整,界外→界内方向大 8.9pp
H3若复核被当作安全网,初始努力下降、总体准确率恶化道德风险/替代效应100 mm 内 -1.1pp(SE 0.8),未观察到恶化

三点限定。其一,制度是打包引入的,公开性、即时性与后果不对称无法分离,因此 H1、H2 是对“复核制度”的联合检验。其二,H3 是对总体准确率的检验,努力不可直接观测,只能从结果反推。其三,挑战由球员发起且内生,场内证据是条件相关而非干净因果。

M. Materials & Methods(材料与方法)

识别策略属于观察性的制度前后比较,不是随机试验。鹰眼自 2006 年 3 月起逐步进入各站赛事,是否采用由赛事方与巡回赛协商,两个时期的赛事构成因此不同(大师赛占比由 71.4% 降至 46.4%)。作者不寻找外生变异,而把比较压在同一距离档内的条件比较上:以 20 mm 为宽度构造符号距离分箱,估计“复核后”指示变量与各距离箱的交互项,允许复核效应随落点距边线的远近变化。

基准设定为 1(错判)=α0+Σ_b α_b(PostHK×D_b)+βX+γY+ε,共 10 个距离箱;X 含球速高于中位数指示、发球方比分、局数、盘数、抢七指示;Y 含轮次与赛事级别;标准误按赛事版本聚类(35 个聚类),并做 9,999 次 wild cluster bootstrap 推断。样本为 698 场比赛、99,337 分、474,097 次落点;离边线 100 mm 内的判罚 N=16,812(加赛事控制后 16,335)。

初始判罚的重建依赖合并算法:2,108 次挑战中匹配 2,038 次(97%);用 43 场有完整录像的比赛、144 次挑战核对,合并率 99.3%,错并率 4.9%。错判用四条规则判定(每类两条),例如“球员击球被记为出界却仍赢下该分”判为界内错判,“一发被记为界内后仍出现二发”判为界外错判;命中这些规则时,鹰眼落点与记录的比分结构互相校验,避免把挑战成功后的改判误记为初始错判。

稳健性沿三条线:(1) 只用复核前后都出现过的赛事并加赛事固定效应,跨边界对比由 14.5 降至 10.2 个百分点(SE 6.3,p=0.152,17 个赛事版本);(2) 逐站剔除,估计落在 7.7–12.5 个百分点;(3) 逐步加入发球类型、灵活球速控制、击球与接球球员固定效应,以及 Goldsmith-Pinkham 等(2024)建议的一次一个处理回归。场内分析以比赛固定效应吸收稳定的执法环境,把 20 mm 内判为界内的概率对四类历史(界内→界外改判、界外→界内改判、维持界内、维持界外)同时回归,并按 1 次、2 次、3 次及以上设指示变量。

R. Results(结果)

主结果呈现为符号距离上的门槛移动。最近界外档 [-20,0) 的错判率上升 8.6 个百分点(聚类 SE 3.4,wild p=0.034),原始口径为 8.5 个百分点,基线均值约 25.0%,相对升幅 34%;最近界内档 [0,20] 下降 4.1(SE 3.4,p=0.256),第二界内档 (20,40] 下降 7.7(SE 2.7,p=0.028)。跨边界对比(最近界外档减前两界内档均值)为 14.5 个百分点(SE 5.2,95% CI 1.7–25.9,wild p=0.034)。20 mm 内的判界内率由 42.8% 升至 49.0%,月度斜率由 -0.62 转为 +0.61 个百分点,斜率差 1.23(p=0.002)。

结果变量估计(pp)聚类 SEp结论
最近界外档错判为界内+8.63.40.034显著上升
最近界内档错判为界外-4.13.40.256方向为负,不显著
第二界内档错判为界外-7.72.70.028显著下降
跨边界对比+14.55.20.034显著
100 mm 内总体错判率-1.10.8>0.10未观察到恶化
非发球 100 mm 内-2.31.2<0.10下降(基线 13.6%)
发球 20 mm 内+7.32.1<0.01反而更差(基线 32.5%)

场内证据:在 20 mm 内,后续判界内概率随改判历史移动。线性设定下,界外→界内改判引发的调整比界内→界外改判大 8.9 个百分点(SE 4.2,p=0.032);灵活设定下三次比较为 11.5、14.4、10.7 个百分点。与“挑战但维持原判”相比,界内→界外改判额外带来 -6.7 个百分点(SE 3.8,p=0.078)的移出,界外→界内改判额外带来 +11.5 个百分点(SE 4.0,p=0.004)的移入,两者联合检验 p=0.004。

异质性上,早轮次赛事的错误再分配更明显,高级别轮次各箱均不显著;大师赛与低级别赛事的对比看不出相应差异。发球与非发球呈现不同模式:发球主要是错误再分配,非发球是总体错误下降。作者明确说明这些是描述性分组,分别检验显著不等于组间差异显著。

a / D. Discussion & Conclusion(讨论与结论)

机制解释落在“回避救济成本更高的错误”上,与监督、问责和社会形象三条文献线相容,但作者对因果归属保持谨慎:制度是打包引入的,无法把公开性、即时性与后果不对称拆开,也无法区分这是对“算法”的反应还是对“复核”的反应。这一点对公共部门尤其重要,因为多数算法问责改革同样是打包推进的(上线系统、公开结果、追责规则同时变化),单靠上线前后对比难以归因。

投资含义由式 (2)–(4) 给出:每类错误的期望成本为 ℓ_j=(1-η_j)w_j+η_j k_j,两种口径的差额为 Σ(E_j^0-E_j^1)ℓ_j。以 100 mm 内样本校准,E_in 由 5.61% 升至 6.19%,E_out 由 8.28% 降至 6.27%,η_in=33.8%、η_out=21.6%。工程口径(人不变)预测每百次判罚改对 3.68 次、剩 10.20 个错;含人反应口径只改对 3.45 次,却只剩 9.02 个错。损失相等且改判零成本时,每错可承受损失由 2,174 美元降到 1,645 美元,等价于多支持约 32% 的支出;若改判成本等于错误损失,工程口径的净收益为零而含人反应口径为正(约需 5,650 美元/错);若误判为界内的损失超过误判为界外的 4 倍,排序反转(每错门槛由 386 美元升至 435 美元)。

估值设定工程口径含人反应结论
损失相等、改判零成本2,174 美元/错1,645 美元/错支持多支出约 32%
损失相等、改判成本=损失0约 5,650 美元/错工程口径无法立项
损失不等(w_in=10·w_out)386 美元/错435 美元/错工程口径高估价值

外部效度按 List(2020)四项条件自评:选择上,样本是有经验的裁判在公开环境下做快速知觉判断,不能说明反应如何随专业身份变化;损耗上,若厌恶被纠正者先离职,留下的样本会低估反应;自然性上,纠正的可见性极高,而设计无法说明反应如何随可见性变化;可扩展性上,复核在顶级赛事全面推开,熟悉度可能削弱或强化反应,后期子样本的门槛移动更大,但无法与时间趋势分离。

对公共部门算法问责的三点启示,均属外推而非原文结论:其一,评价指标应从“错误总量”转向“错误构成”,否则会把再分配误读为改善;其二,当纠正某类错误会牵出额外裁量程序时,该类错误会被系统性推向另一端,而这一代价不进入“改判成功率”;其三,成本收益分析必须把人的行为反应内生化,方向取决于两类错误的相对损失与改判成本。作者亦提示,鹰眼在此任务上近乎完美(平均误差 3.6 mm,球直径 67 mm),若复核算法本身可争议,人的反应可能完全不同——这恰是多数公共部门算法系统的现实处境。

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((鹰眼复核改变误判结构))
    I 引言
      算法开始复核人的决定
      网球对错标准唯一可测
      两种改判后果不对称
      挑战之外的球也有落点
    R 问题
      复核会改变首次判断吗
      错误总量还是构成变了
      会不会把复核当安全网
      组织回报怎么算才不偏
    M 方法
      四十七万个落点记录
      六百九十八场比赛
      复核前后二十毫米分箱
      同赛事固定效应复核
      逐站剔除与自助检验
      场内改判后的后续判罚
    R 结果
      界外误判界内多八点六
      界内误判界外少四点一
      边界两侧差十四点五
      总体准确率没有变差
      非发球误判降二点三
      发球近线反而更差
    a 讨论
      避开要裁量的那种错
      被当众推翻才有效应
      裁判培训并未改动
      剩余错误更少但更贵
    D 结论
      复核重塑人的判断
      评价要看错误构成
      投资算法要含人反应
      外部效度限于清晰对错

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。