哈佛大学一项研究把高质量人类审稿与 Claude 放在同一批论文上正面对比，结果显示，AI 在整体表现和细分指标上都占优。研究作者是哈佛校级教授、定量社会科学研究所所长 Gary King，以及该所数据科学主任 Steven Worthington。两人在论文中给出的结论很直接：AI 审稿已经超过了状态最好的人工同行评审。
这项研究使用同一批 124 篇论文，让人类专家和 Claude 分别撰写审稿意见，再进行匿名比较。按文中描述，七个审稿维度里，人类没有赢下任何一项。
哈佛搭建对比：付费专家对阵 Claude
研究团队选用的是 rapidPeer，这是一项由哈佛定量社会科学研究所推出、后来也向其他几家机构开放的「投稿前预审」服务。与常见期刊审稿不同，这里的审稿人由领域专家从外校遴选，每审一篇都有报酬，审稿质量高还会继续获得任务。
这些审稿人需要通读全文，提交 1.5 到 2 页的意见，目标是帮助作者修改论文，而不是判断论文是否应该发表。研究提到，74 位作者回复问卷后，88% 认为审稿质量高或很高。几位知名期刊的前编辑在看过这些意见后，也认为它们属于自己见过的高水平审稿。
作者在论文中写道，据他们所知，没有哪一批人类审稿人是在比这更好的条件下完成审稿。最终纳入研究的是 rapidPeer 在 2019 到 2026 年间的全部有效投稿，共 124 篇论文、134 份人类审稿意见，覆盖统计分析、数学建模和纯定性研究等类型。
Claude 分两种模式参赛，裁判为 GPT-5.5
Claude 参赛模型为 Opus 4.8，推理设置开到最高档。研究让它以两种身份参与比较。
- 一种是与人类完全对等的版本，使用同一份 13 条审稿指南，不调用任何外部工具。
- 另一种是调优版，配有专门设计的审稿提示词，并允许联网搜索，平均每篇论文搜索 12.4 次。
这套提示词要求 Claude 读完整篇论文和图表，主动检索作者可能遗漏的既有研究；每条引用都要真实检索到并附上链接，不能凭记忆引用。提示词还要求它区分哪些问题影响整篇论文，优先指出最关键的两三个问题，不说客套话，也不为凑篇幅而堆字数。
评审环节由另一家公司的 GPT-5.5 担任裁判。两份审稿意见会去掉格式和出处，交换顺序各比较一次，只有两次都选中同一份意见，才被记为胜出。除整体优劣外，裁判还会在七个维度上逐项打分，每份意见按 0 到 10 分计分。
整体比较与七个维度，Claude 全面领先
研究作者形容结果「毫不含糊」。在整体比较中，GPT-5.5 没有一次判定人类审稿意见胜出，所有分出胜负的对比都归给了 Claude。
拆分到七个维度后，Claude 在找出论文弱点、评估研究方法、补充文献三项上全部胜出；图表分析的胜率为 99%；理论与想法、论证框架、表达三个维度的胜率各为 92%。
平均分方面，Claude 为 8.7 分，人类为 6.0 分。差距最大的两项，正是审稿中最耗时的部分。
- 补文献：人类专家平均 4.73 分，联网版 Claude 为 9.55 分。不允许联网时，Claude 在这一项只赢下 62%；开启搜索后变为全胜。
- 图表：人类平均 2.95 分，Claude 为 7.57 分，研究称不少人类意见对图表只字未提。
研究还给出一个细节：3 位前编辑彼此判断一致的比例为 80%，而他们与 GPT-5.5 的一致率反而达到 87%。按论文的说法，人类编辑与这位 AI 裁判的看法，比与自己的同行更一致。
前编辑盲选 30 次，26 次选中 Claude
除模型裁判外，研究还邀请了 3 位知名期刊前编辑进行盲选。每位前编辑比较 10 组匿名审稿意见，只看意见文本，不重新阅读论文原文。
30 次选择中，前编辑有 26 次选中了 Claude 的意见。研究还提到，其中一位编辑在自己看到的 10 组意见里，一次都没有选中人类版本。
十类稳健性检查后，结果没有反转
面对这样悬殊的结果，研究作者先从实验设计本身提出质疑，并做了十类稳健性检查。
第一种质疑是，AI 可能靠篇幅更长取胜。研究者只保留字数相近的 44 组意见后，Claude 仍然 44 组全胜。
第二种质疑是，GPT-5.5 可能偏爱 AI 的写作腔调。于是研究者把 134 份人类意见全部改写成 AI 风格，但不改变论点。结果改写后的意见仍然没有赢回任何一组，平均分还从 5.93 分降到 5.87 分。
第三种质疑是，人类样本中可能混入了水平一般的意见。研究者于是只看评分前 40% 的人类意见，再挑出与 AI 最接近的 28 组比较，人类依旧一组未赢，最高分的人类意见也比 AI 低 0.7 分。
第四种质疑是，Claude 训练时可能见过这些论文后来的发表版本。研究按投稿年份拆分后发现，不联网的 Claude 在 2022 年及以前的旧论文上平均 8.2 分，在 2025 到 2026 年的新稿上为 8.1 分，差异很小。
第五种质疑是，只用一家模型和一种裁判，结论可能不稳。研究者于是让 Claude 和 GPT 互相担任审稿人和裁判，共比较 416 次。无论谁做裁判，AI 的胜率都在九成以上，人类意见基本排在五份中的末位。
逐句核查原稿后，人类错误率接近 Claude 的 3 倍
研究没有停留在「写得更像好审稿」这一层。作者又把审稿意见拿回论文原稿逐句核对，检查这些判断到底是否准确。
先看引用。联网版 Claude 在审稿意见中引用了 651 篇带 DOI 或 arXiv 编号的文献。研究者逐篇到数据库核验后称，651 篇里没有一篇是虚构文献；在抽查引用用途时，100 处可判断样本中有 99 处与所讨论问题相符。
更关键的是对论文内容本身的描述核查。这一轮比较的是不联网的 Claude 与人类专家。研究者把审稿意见拆成一句句具体说法，隐去来源后，让模型对照原稿逐条判断正误。判错门槛设得很高，只有原稿中存在直接反证，才算错误。
论文举的例子是，有审稿人批评论文「没做稳健性检验」，但原稿第 5 节明明写了相关内容。
结果显示，人类专家的 956 次核查中，有 152 次被判错，占 15.9%；Claude 的 1039 次核查中有 57 次被判错，占 5.5%。按整份审稿意见计算，64.2% 的人类意见至少包含一处错误，Claude 这一比例为 37.1%。
研究者还检验了这个「核查员」本身是否可靠。人工复核 90 条判断后，87 条与模型结论一致，剩余 3 条分歧都属于模型误判 Claude。研究团队还设置了一个陷阱：在审稿意见中加入 258 句只改动少量词语的反话，结果这些反话全部被识别出来，而数量相同的真话没有一句被误判。
在研究作者看来，这批人类专家已经具备报酬、声誉激励和通读全文的要求，但逐句对照原稿后，错误率仍明显高于 AI。
研究者讨论期刊流程：投稿前先让 AI 审几轮
论文后半部分把重点转向期刊制度。研究指出，不论期刊是否允许，审稿人实际上已经在使用 AI。文中提到，Nature 曾报道，超过一半研究者在用 AI 审稿，其中不少做法违反了相关规定。ICML 2026 的一次随机分组实验也显示，在被分到「禁用 AI」组的受访审稿人中，仍有 22.5% 承认自己用了 AI。
斯坦福大学政治学副教授徐轶青转发这篇论文时表示，禁止审稿使用 AI 的期刊，都应该重新考虑自己的立场。沃顿商学院教授 Ethan Mollick 也在看完研究后转发，呼吁学术界尽快思考，科学研究该如何随 AI 调整。
King 和 Worthington 提出了一套设想中的新流程：期刊先公开一份官方 AI 审稿提示词，作者在投稿前先用它对论文进行多轮审查和修改；正式投稿时，把论文、AI 审稿意见以及作者对每条意见的回应一并提交；编辑部再使用另一套不公开的提示词复审，难以判断的稿件再交由编委或外部专家把关；最终是否发表，仍由编辑决定。
按两位作者的判断，如果采用这套流程，发表决定可能从几个月缩短到几天。
他们也强调，作者回应信在这个流程里不可缺少。因为论文修改到后期，AI 可能会提出过于苛刻的意见。论文举例称，AI 可能会说：「没错，2+2=4，但你从来没定义过+号。」这时作者需要有正式渠道据理回应。
风险部分，作者没有回避。他们提到，每个人单独使用 AI 生成想法时，结果可能更有新意；但把这些结果放在一起，内容却可能越来越相似，逐步向主流和保守方向收敛。因此，他们建议期刊持续跟踪作者与 AI 意见不一致的地方，并不断调整提示词和模型。
编辑判断仍被视为人类职责
研究最后给出的判断是，认真、具体、可执行的审稿意见过去一直是科研中的稀缺资源，往往需要等待数月，还要看是否碰上足够投入的审稿人。如果 AI 能把这类反馈变成随时可得的服务，研究者就能更早收到批评，也能更快完成下一版修改。
不过，两位作者同时认为，哪篇论文适合哪本期刊，最终仍应由人类编辑来决定。
参考资料包括 Gary King 个人页面发布的论文页面，以及 Ethan Mollick 在 X 上的转发内容。本文原始来源为微信公众号「新智元」，作者署名为 ASI 启示录，MarsBit 进行了转载。