10 年历史的 Inception v3 CNN 在皮肤癌诊断中胜过 GPT-6 Astra 和 Claude Fable 5.1

I am a dermatologist. I tested the ability of GPT-6 Astra and Claude Fable 5.1 to diagnosis skin cancer and found that they were less accurate than I expected. I compared to a 10-year old CNN and to my surprise found that this was superior.

This is a melanoma.

Clinical photograph: Invasive melanoma on the ear, under 0.8 mm thick. — **Figure 1.** Invasive melanoma on the ear, under 0.8 mm thick. Both LLMs called it a seborrhoeic keratosis and said it could be discharged. The CNN called it a melanoma. Clinical photograph on the left, dermoscopic image on the right. Images: MILK10k, MILK study team, CC BY-NC.

Dermoscopic image: Invasive melanoma on the ear, under 0.8 mm thick. — **Figure 1.** Invasive melanoma on the ear, under 0.8 mm thick. Both LLMs called it a seborrhoeic keratosis and said it could be discharged. The CNN called it a melanoma. Clinical photograph on the left, dermoscopic image on the right. Images: MILK10k, MILK study team, CC BY-NC.

I showed these two images - a clinical photograph and a dermoscopic (skin microscope) image - to GPT-6 Astra and Claude Fable 5.1, two of the most capable AI models available in October 2026. Both said it was a seborrhoeic keratosis, a harmless warty growth, and that the patient could be discharged. I then showed them to fine-tuned version of Inception v3, a convolutional neural network (CNN) first published by Google in 2015 and fine-tuned here on public dermatology images. The CNN got the right answer based on the dermoscopy view.

It was one of 200 biopsy-proven lesions I gave to all three. The CNN named the right diagnosis (out of 6 possiblities) for 125 of them (62%). The two frontier LLMs named it for 84 and 85 (42%). A ten-year-old network, fine-tuned for about twenty minutes, beat both of them at recognising skin cancer.

The test#

The lesions come from MILK10k, a public dataset released through the International Skin Imaging Collaboration in 2025, in which each lesion is photographed twice: a clinical close-up and a dermoscopic image taken through the illuminated magnifying lens dermatologists use. I drew 200 lesions at random, all confirmed by histopathology:

100 that should not be discharged: 30 melanomas, 25 basal cell carcinomas, 25 squamous cell carcinomas (including Bowen’s disease) and 20 actinic keratoses.
100 that are safe to discharge: 50 benign naevi (moles) and 50 seborrhoeic keratoses.

Every lesion was biopsied, including the benign ones, so these are harder to diagnose: a mole that somebody decided to cut out is one that worried a clinician.

Clinical photograph: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly. — **Figure 2.** Three more of the 200 test lesions. Clinical photograph on the left, dermoscopic image on the right. Images: MILK10k, MILK study team, CC BY-NC.

Dermoscopic image: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly. — **Figure 2.** Three more of the 200 test lesions. Clinical photograph on the left, dermoscopic image on the right. Images: MILK10k, MILK study team, CC BY-NC.

The LLMs were given both images and nothing else, and asked, as a clinician might use them, for the most likely of the six diagnoses (or “unsure”), a confidence, a second choice, and whether the lesion could be safely discharged with no treatment, biopsy or follow-up. Both models got the same prompt at default settings, and neither refused a case.

该 CNN刻意没有采用最先进的技术。我使用了在日常照片上预训练的 Inception v3，随后在来自 ISIC Archive 的 68,011 张皮肤镜图像和临床图像上，用单块 H100 GPU 微调了所有层。这 200 个测试病灶，以及同一病灶或患者的其他所有照片，均在训练前从其数据中移除（包括验证集），因此模型从未见过它们；它们也没有被用于选择模型或设定阈值。它对每个病灶的两张图像分别评分，再将两者合并，其中皮肤镜图像占大部分权重，最后从同样的六种诊断中选择。

你可以亲自试用这个 CNN。出人意料的是，这个模型足够小，完全可以在手机浏览器中通过 WebGPU 运行。不会上传任何内容，其随机抽样按钮会从上述同样的 200 个病灶中抽取。

诊断：62% 对 42%#

图 3。两个 LLM 和 CNN 的首选诊断正确情况；CNN 同样从六种诊断中选择。标签显示答对数量，分母为具有该组织学类型的病灶数。

总体而言以及在大多数诊断上，CNN 答对的次数更多。允许选择第二诊断后，它答对 200 个中的 173 个，另外两个模型分别为 134 个和 138 个。它正确识别了 30 个黑色素瘤中的 13 个，另外两个模型分别为 8 个和 11 个。差距最大的是无害病灶：它正确识别出 50 个痣中的 37 个和 50 个脂溢性角化病中的 26 个；GPT-6 Astra 分别为 16 个和 13 个，Claude Fable 5.1 分别为 33 个和 6 个。在基底细胞癌方面，它比 GPT-6 Astra 少答对一个；在日光性角化病方面，它落后于两个 LLM。

这些模型的失败方式各不相同。每个 LLM 都有一种偏爱的答案：GPT-6 Astra 将 75 个病灶误判为基底细胞癌，而实际只有 25 个，其中包括 30 个黑色素瘤中的 14 个；Claude Fable 5.1 将 53 个病灶误判为日光性角化病，而实际只有 20 个。CNN 对黑色素瘤的误判则恰好相反：在它误诊的 17 个黑色素瘤中，有 8 个被判为痣，6 个被判为脂溢性角化病。

结果汇总于一张表中#

	GPT-6 Astra	Claude Fable 5.1	CNN (Inception v3)
诊断正确数（共 200 个）	84 (42%)	85 (42%)	125 (62%)
首选或第二选择正确	134	138	173
首选为黑色素瘤（共 30 个）	8	11	13
保留的不安全病灶（共 100 个）	97	96	按其预设阈值保留 77 个；匹配后为 98 个或 99 个
放行的安全病灶（共 100 个）	32	22	按其预设阈值放行 76 个
放行的黑色素瘤（共 30 个）	3	4	按其预设阈值放行 18 个；匹配后为 2 个或 1 个

注意事项#

样本量小。200 个病灶足以显示这一模式，但不足以对接近的结果进行排名；而 30 个黑色素瘤也让最重要的指标存在很大的不确定性。各 LLM 病例均仅运行一次；不同运行之间的答案会有所差异。
困难病例。所有病灶均接受了活检。在存档库的普通图像上，CNN 对应放行与不应放行的病灶区分得好得多（ROC 曲线下面积为 0.96，而这里为 0.86）。
数据污染。MILK10k 自 2025 年起就已公开，因此 LLM 在训练中可能见过它；如果有什么影响，那也只会帮助它们。CNN 则肯定没有见过它。
并非最先进技术。Inception v3 只是一个基线。最先进的皮肤癌诊断 AI 使用在更多数据上训练的图像 Transformer 集成；基于这些模型构建的受监管产品表现要好得多。

作为患者提问#

改为以患者身份提问，仅提供临床照片并询问“我需要去看医生吗？”，两个 LLM 几乎在所有病例中都建议去看医生，包括无害病灶：对于另外 100 个经活检证实的黑色素瘤，它们分别有 99 个和 98 个建议就医。

结论#

一个小型、陈旧且专用的网络，在识别皮肤病变方面远胜于两款前沿 LLM。

亲自运行#

病例、提示词、每一条 LLM 回复以及评分代码都集中在一个下载包中，CNN 则在这里。

我设计了这个测试，并作出了临床判定。分析和初稿使用 Claude Code（Anthropic 的编程工具）完成，该工具运行在 Claude 模型上；接受测试的两款 LLM 中也有一款来自 Anthropic。评分由脚本对照组织学检查结果完成。

图片来自 MILK10k 数据集（MILK 研究团队、International Skin Imaging Collaboration），依据 CC BY-NC 许可使用。

Dr Magnus Lynch 是 Guy's Hospital 的顾问皮肤科医生和莫氏外科医生，也是 King's College London 的荣誉讲师（相当于副教授）。他的临床工作涵盖皮肤癌、莫氏手术和面部重建手术以及激光治疗；他的研究涵盖皮肤癌和瘢痕的细胞生物学，以及人工智能在皮肤科中的应用。完整个人简介。