Lynch Lab 于台北时间 10 月 25 日公布的一项对照测试显示，在 200 例经病理确认的皮肤病灶样本中，Google 于 2015 年发表、后续经皮肤科公开影像微调的 Inception v3，在「六选一第一诊断」任务上的正确率为 125/200，即 62%；GPT-6 Astra 与 Claude Fable 5.1 分别答对 84 例和 85 例，约为 42%。
测试中，一处耳部病灶被两款大型语言模型都判断为无害的脂溢性角化，并给出可出院的结论；同一病例中，卷积神经网络依据皮肤镜图像识别为黑色素瘤。
测试范围限定在 200 例病理确认病灶
作者 Dr Magnus Lynch 为 Guy’s Hospital 顾问皮肤科与 Mohs 外科医生，同时担任 King’s College London Honorary Reader。文中说明，这次比较基于随机抽取的 200 个病理确认病灶，考察的是六选一场景下的第一诊断是否准确，并不是在宣布哪一套系统可以取代门诊。
病灶样本来自 2025 年公开的 MILK10k。每个病例同时包含临床近拍照片与皮肤镜图像。200 例中，100 例不宜直接出院，包括黑色素瘤 30 例、基底细胞癌 25 例、鳞状细胞癌含 Bowen 氏病 25 例、光化性角化病 20 例；另 100 例可出院，包括良性痣 50 例、脂溢性角化症 50 例。全部病例都经过切片确认，作者也指出，这意味着样本本身偏难。
旧版 CNN 在首选和次选指标上都领先
在第一诊断结果上，Inception v3 的正确数为 125/200，GPT-6 Astra 为 84/200，Claude Fable 5.1 为 85/200。按文中说法，专用小模型大约多答对了两成案例。
两款 LLM 接收的是同一组双图和相同提示，需要给出第一选择、信心、第二选择，以及是否可以安全出院。CNN 则使用 ISIC Archive 的 68,011 张图像进行全层微调，训练耗时为单颗 H100 约 20 分钟。测试病灶及同一患者照片已事先从训练集和验证集中剔除。
如果把第一选择或第二选择命中都算作正确，CNN 的正确病例数升至 173 例，GPT-6 Astra 和 Claude Fable 5.1 分别为 134 例和 138 例。单看黑色素瘤的第一选择，CNN 为 13/30，GPT-6 Astra 为 8/30，Claude Fable 5.1 为 11/30。文中还提到，差距不只出现在恶性病灶，在良性痣和脂溢性角化上，专用 CNN 同样更准确。
两款大模型的误判方向并不相同
从失败模式看，GPT-6 Astra 明显偏向将病灶判断为基底细胞癌，共作出 75 次此类判断，而实际样本中只有 25 例基底细胞癌，其中还包含 14 例真实为黑色素瘤的病例。Claude Fable 5.1 则更偏向光化性角化病。
CNN 在误判黑色素瘤时，更常把结果偏向痣或脂溢性角化。文中指出，这种误判方向的差异，也意味着风险结构并不一样。
讨论焦点集中在专用模型与通用模型的比较方式
这篇文章在 Hacker News 引发讨论。截至约台北时间 10 月 26 日，相关帖文已有约 500 余分和逾 200 则留言。讨论主轴多集中在「专用小模型赢过通用大模型并不意外」，也有人质疑，使用同领域数据微调的 CNN，与未做同类专项训练的 LLM 直接比较，公平性并不完全一致。
作者列出多项限制，未将结果上升为临床证明
文中同时列出多项限制。首先，样本量只有 200 例，其中黑色素瘤仅 30 例，不确定性较大。其次，每个案例中的 LLM 只运行一次，答案可能存在波动。再次，全部病例都经过切片，属于较难案例。
作者还提到，MILK10k 自 2025 年公开，理论上 LLM 可能见过其中内容；如果确实见过，反而会对 LLM 更有利。相比之下，CNN 可以确认没有见过测试集。
文中也明确表示，Inception v3 并不代表当前最强的皮肤癌 AI。现阶段该领域更多采用 vision transformer 集成方案，受监管产品的表现也更好。因此，这项测试更接近于一次对账：通用大模型不会自动胜过专用模型；它并不能证明旧版 CNN 已经可以直接用于临床。
阈值设置会改变风险结果
在默认阈值下，对于 100 例不宜出院的病例，CNN 只「留住」了 77 例；将阈值调整到可比水平后，这一数字可提升到 98 至 99 例。
如果改从患者视角，只提供临床照片并询问「要不要看医生」，两款 LLM 几乎对每个案例都建议就医。文中还提到，在另一组 100 例病理确认黑色素瘤中，两款模型分别有 99 例和 98 例建议就医，显示通用模型在这类提问下偏保守。
现阶段能确认的结论仍限于这组样本
就这组病理确认案例而言，经过约 20 分钟微调的旧版 CNN，在第一诊断准确率上明显高于两款前沿 LLM。至于这一结果能否外推到产品选型，文中认为仍需更大样本、可复现的阈值设计，以及真正受监管的专用影像系统表现，当前测试尚未回答这些问题。