CNN spécialisés vs LLM pour la classification d'images

Un dermatologue a récemment soumis 200 lésions cutanées confirmées par biopsie à deux LLM de pointe et à une copie affinée d'Inception v3, un réseau convolutif publié par Google il y a une décennie. Le CNN a posé le bon diagnostic dans 62 % des cas. Les LLM, eux, ont atteint 42 % chacun. Sur le mélanome en particulier, le diagnostic qu'on veut surtout ne pas rater, le vieux réseau l'emporte aussi. Si votre travail implique de la classification d'images à une échelle quelconque, ce résultat devrait changer votre façon d'aborder le choix entre modèle spécialisé et LLM, car ce n'est pas vraiment une histoire de médecine. C'est une histoire de choix du bon outil.

Le problème : la classification semble facile pour les LLM, et ne l'est pas

Voici le piège dans lequel tombent sans cesse les ingénieurs malins. Les modèles de pointe écrivent du code, résument des contrats et réussissent l'examen du barreau, alors il semble presque insultant de suggérer qu'ils ne savent pas regarder une photo et choisir l'une de six étiquettes. La classification est le « hello world » du machine learning : les plus gros modèles devraient bien savoir le faire.

Mais regardez ce que la classification est réellement. Vous avez un espace d'étiquettes fixe, généralement réduit. Vous avez une distribution d'entrées répétable. Et vous avez besoin d'une frontière de décision qui place les cas subtils et à fort enjeu du bon côté, de façon constante, à chaque fois. C'est ce dernier point qui fait s'effondrer les LLM multimodaux. Ils n'ont pas été entraînés à faire des distinctions fines dans un domaine visuel étroit ; ils ont été entraînés à dire quelque chose de plausible sur presque toute image jamais publiée en ligne.

Les résultats sur le cancer de la peau rendent cela concret, et de façon inconfortable. Un LLM a diagnostiqué 75 lésions sur 200 comme carcinome basocellulaire alors qu'elles n'étaient que 25, dont 14 mélanomes sur 30. L'autre a développé un faible pour la kératose actinique, qu'il a annoncée 53 fois contre 20 cas réels. Ce ne sont pas des erreurs aléatoires. C'est la signature d'un modèle qui a beaucoup lu sur la dermatologie, a vu les images de lésions présentes dans les données d'entraînement à l'échelle du web, et qui reproduit la réponse la plus vraisemblable plutôt que de la calculer.

Un modèle qui a lu tous les manuels n'est pas la même chose qu'un modèle qui a vu 68 000 exemples étiquetés de la chose exacte sur laquelle vous l'interrogez.

Première tentative échouée : demander directement au modèle de pointe

Le premier réflexe est celui qu'a tenté le dermatologue : donner les images au LLM, demander un diagnostic, un score de confiance et un second choix. C'est un test légitime, exactement ainsi qu'un clinicien utiliserait ces outils. Et les modes d'échec sont instructifs.

D'abord, la confiance ne veut rien dire. Dans un cas, un LLM a qualifié un mélanome invasif fin et peu pigmenté de carcinome basocellulaire avec 95 % de confiance. Ce chiffre est généré de la même façon que le diagnostic : de façon plausible. Il n'existe aucune probabilité calibrée derrière. Si votre logique en aval utilise un seuil sur la confiance, et c'est le cas de la plupart des logiques de tri, vous appliquez un seuil sur de la fiction.

Ensuite, les erreurs ne sont pas prudentes. Chaque exécution n'a lieu qu'une fois, et les réponses varient d'une exécution à l'autre, ce qui compte énormément pour tout ce qui entre dans un pipeline. Un classifieur spécialisé donne les mêmes logits pour la même entrée à chaque fois ; un LLM vous donne un échantillon d'une distribution de réponses. Pour un outil d'aide à la décision, le non-déterminisme est un handicap, pas une bizarrerie.

Troisièmement, et c'est le point le plus subtil, les LLM excellaient sur la tâche voisine. Posée comme par un patient, « dois-je voir un médecin ? », ils ont répondu oui pour 98 à 99 mélanomes sur 100 confirmés par biopsie, et pour presque chaque lésion bénigne aussi. C'est le comportement d'un modèle entraîné sur des textes médicaux : pécher par excès de prudence, toujours renvoyer chez le médecin. Utile pour un écran de triage de chatbot. Inutile pour la discrimination, qui est la tâche réelle.

Deuxième tentative échouée : supposer que plus gros signifie meilleur en tout

Il y a ici un échec plus profond, absent de l'expérience elle-même : l'hypothèse que l'échelle peut remplacer l'adéquation. Un LLM de pointe a, de façon conservatrice, des milliers de fois plus de paramètres qu'Inception v3 et ses ~24 millions. Aucune de ces capacités n'est allouée à distinguer une kératose séborrhéique d'un carcinome épidermoïde au niveau du pixel. Pour le modèle, la dermatologie n'est qu'une goutte dans un océan de données d'entraînement, et les images dermoscopiques, la modalité qui porte l'essentiel du signal diagnostique, sont encore plus rares.

C'est la même raison pour laquelle un réseau Go de 30 millions de paramètres bat n'importe quel LLM au Go avec une marge absurde. C'est aussi pourquoi les benchmarks continuent d'induire les équipes en erreur sur les domaines où les LLM apportent vraiment de la valeur en production, un point que nous avons abordé en étudiant pourquoi les benchmarks IA passent à côté de l'essentiel du travail réel. Une capacité au sens modal (« le modèle peut parfois le faire ») n'est pas une capacité au sens de l'ingénierie (« le modèle le fait assez fiablement pour qu'on construise dessus »).

Une heuristique utile se cache dans les discussions autour de cette expérience : un LLM de pointe a de bonnes chances d'être réellement bon sur une tâche si elle est massivement surreprésentée dans le pré-entraînement (le code, l'anglais courant) ou si elle a fait l'objet d'un post-entraînement spécifique par apprentissage par renforcement. Sinon, attendez-vous à la performance d'un généraliste brillant qui a lu quelques livres et qui est tout de même sûr de lui. Le diagnostic visuel de maladies rares relève clairement de la seconde catégorie.

Ce qui fonctionne vraiment : un petit modèle affiné sur la distribution exacte

Passons maintenant à la partie qui devrait gêner quiconque pense que les modèles spécialisés exigent un laboratoire de recherche. Le CNN gagnant n'était pas à l'état de l'art. C'était Inception v3, une architecture de référence, pré-entraînée sur des photographies ordinaires, puis affinée de bout en bout sur 68 011 images dermatologiques provenant d'une archive publique, sur un seul H100, en une vingtaine de minutes. Le soin a été pris de retirer des données d'entraînement toutes les photos des lésions testées et de leurs patients. Le résultat tourne dans le navigateur d'un téléphone via WebGPU, sans rien envoyer en ligne.

Vingt minutes sur un seul GPU. Comparez avec le coût d'un modèle multimodal de pointe appliqué à votre corpus d'images en production, image par image, indéfiniment. Le modèle spécialisé n'est pas seulement plus précis : il coûte moins cher de plusieurs ordres de grandeur, il est déterministe, auditable, et assez petit pour être embarqué sur des appareils en périphérie. Si vous pouvez formuler votre problème comme N étiquettes sur une distribution d'entrées stable, et que vous disposez (ou pouvez obtenir) des données étiquetées, le classifieur affiné l'emporte sur presque tous les axes qui comptent en production.

La version moderne de cette approche ne nécessite même pas un vieux CNN. Les petits transformeurs de vision, les modèles d'embeddings comme les encodeurs d'images médicales de Google, ou une tête affinée sur un backbone pré-entraîné vous mèneront plus loin. Le propos n'est pas la nostalgie d'Inception v3 ; c'est qu'une architecture de 2015 suffit déjà à battre des modèles disposant de quatre ordres de grandeur de calcul en plus, ce qui indique où se trouve réellement le goulot d'étranglement. C'est l'adéquation à la tâche, et non la taille du réseau, qui compte.

# The specialist path in miniature: a frozen backbone + a small head
import torch
import torch.nn as nn
from torchvision import models
# A decade-old backbone is fine. Seriously.
backbone = models.inception_v3(weights="IMAGENET1K_V1")
in_features = backbone.fc.in_features
backbone.fc = nn.Linear(in_features, 6)  # your six labels
# Fine-tune everything on your labelled domain images.
# On one H100, tens of thousands of images: tens of minutes.
optimizer = torch.optim.AdamW(backbone.parameters(), lr=1e-4)
loss_fn = nn.CrossEntropyLoss()  # a *calibrated* probability lives here

Et si votre espace d'étiquettes est fixe mais que vous préférez garder un LLM dans la boucle pour le reste du workflow, la manière honnête de le faire consiste à contraindre sa sortie à une décision plutôt que de faire confiance à sa prose, la même logique qui sous-tend le décodage contraint pour transformer les LLM en modèles de décision. Mais pour la classification elle-même, une tête entraînée l'emporte toujours.

Un cadre de décision : quand le spécialiste gagne, quand le LLM gagne

Après quelques années à voir des équipes trancher ce choix de travers, voici le cadre que je défendrais réellement. Posez quatre questions :

1. L'espace des étiquettes est-il fixe et réduit ? Si vous pouvez énumérer les réponses, un classifieur est presque toujours la bonne forme. Les LLM justifient leur place quand l'espace de sortie est ouvert : résumés, explications, dialogue, code.
2. La distribution des entrées est-elle stable ? Un modèle affiné sur des images de dermoscopie est excellent sur ces images, mais perdu face à une photo contenant un tatouage, une règle et une tasse de café. Si vos entrées sont hétérogènes, la robustesse d'un généraliste a une vraie valeur.
3. Avez-vous des données étiquetées, ou pouvez-vous en obtenir ? C'est la vraie bifurcation. Avec plus de 10 000 exemples étiquetés, l'affinage ne coûte presque rien et dominera. Sans aucune donnée, la supposition zero-shot du LLM peut être votre meilleur point de départ, mais traitez-la comme un outil d'amorçage pour l'étiquetage, pas comme la réponse de production.
4. Combien coûte une erreur, et avez-vous besoin de calibration ? Les décisions à fort enjeu et soumises à seuil ont besoin de probabilités réelles et de sorties déterministes. Cela exclut les appels LLM classiques, point final.

Passons le cas du cancer de la peau dans ce cadre : espace fixe de six étiquettes, pipeline d'imagerie clinique stable, 68 000 images publiques étiquetées, erreurs qui peuvent être vitales. Quatre sur quatre. Le LLM n'avait aucune chance, et la surprise n'est pas qu'il ait perdu, c'est que quelqu'un ait pu s'attendre au contraire.

Les réserves honnêtes, car le pragmatisme se retourne aussi

Je vous rendrais un mauvais service si je m'arrêtais à « les petits modèles gagnent ». Les forces du classifieur affiné sont aussi sa fragilité. Il a été comparé à un généraliste non affiné, sur des données tirées exactement de la distribution d'entraînement. Mettez-le en conditions réelles (autres appareils photo, tons de peau sous-représentés dans l'archive, images avec occlusions ou annotations) et ses performances se dégradent d'une façon que la vaste formation du LLM gère parfois mieux. Le généraliste échoue de façon prévisible à l'intérieur d'une distribution ; le spécialiste échoue catastrophiquement en dehors.

Il existe aussi une tâche que le classifieur ne peut pas accomplir du tout : le reste de la médecine. Le résultat secondaire le plus intéressant de la même expérience était que les LLM, disposant de notes de journal, de l'historique du patient et de la possibilité de poser des questions, pouvaient raisonnablement contribuer à l'interprétation, à la communication et à la prise en charge, c'est-à-dire tout ce qui se situe en aval de l'étiquette. Un CNN produit six logits. Il n'expliquera jamais son raisonnement à un patient inquiet, et ne remarquera pas que la lettre d'adressage contredit l'image.

Notez aussi la franchise de l'étude : l'IA dermatologique de pointe n'est pas un Inception v3 isolé, ce sont des ensembles de transformeurs de vision entraînés sur bien plus de données, et les produits réglementés construits ainsi font nettement mieux. La tendance du domaine va vers des modèles spécialisés plus grands, pas vers des généralistes, ce qui renforce le propos plutôt que de le contredire.

L'idée centrale : les LLM servent à construire le classifieur, pas à en être un

L'observation la plus pointue de toute cette affaire, sur laquelle je reviens sans cesse, est que les LLM ont fait tomber vers zéro le coût de construction de classifieurs dédiés. Écrire le script d'affinage, nettoyer le jeu de données, construire le harnais d'évaluation, générer l'interface d'étiquetage : ce sont exactement les tâches que les LLM accélèrent de façon véritablement surhumaine. Même l'analyse du dermatologue a été produite avec un outil de codage IA. Le généraliste a construit et évalué l'expérience que le spécialiste a remportée.

C'est l'architecture que je recommande désormais par défaut : un LLM dans la boucle pour le développement, le travail sur les données, le triage des cas limites et la couche d'explication destinée à l'humain ; un petit modèle affiné pour la décision elle-même, répétée, à fort volume et à fort enjeu. On observe la même logique côté efficacité : l'histoire intéressante n'est souvent pas le modèle phare mais le modèle d'entrée de gamme qui fait un vrai travail, comme avec les modèles de gamme flash et l'efficacité d'inférence. Adaptez le modèle à la forme du problème, et la plupart des plaintes du type « l'IA ne marche pas » s'évaporent.

Une calculatrice surpasse tous les LLM en division, et personne n'écrit d'articles enflammés à ce sujet. Un classifieur affiné qui bat un chatbot en classification, c'est la même histoire avec plus de paramètres. Si cela surprend, c'est seulement parce qu'on nous répète depuis deux ans que l'échelle dissout le besoin de spécialisation. Ce n'est pas le cas. Elle rend simplement la spécialisation moins coûteuse à construire, à condition d'accepter de prendre l'outil ennuyeux.