Spezial-CNNs vs. Frontier-LLMs: Bildklassifikation im Test

Ein Dermatologe hat kürzlich 200 bioptisch gesicherte Hautläsionen zwei Frontier-LLMs und einer feinabgestimmten Kopie von Inception v3 vorgelegt, einem Convolutional Network, das Google vor zehn Jahren veröffentlicht hat. Das CNN lag bei 62 % der Diagnosen richtig. Die LLMs kamen jeweils auf 42 %. Beim Melanom, der Diagnose, die man auf keinen Fall übersehen will, gewann das alte Netz ebenfalls. Wenn du in irgendeinem Umfang Bildklassifikation betreibst, sollte dich dieses Ergebnis bei der Frage Spezialmodell oder LLM neu kalibrieren, denn es ist eigentlich keine Geschichte über Medizin. Es ist eine Geschichte über die Wahl des richtigen Werkzeugs.

Das Problem: Klassifikation wirkt für LLMs einfach, ist es aber nicht

Hier tappen kluge Ingenieure immer wieder in dieselbe Falle. Frontier-Modelle schreiben Code, fassen Verträge zusammen und bestehen Anwaltsexamen, also wirkt es fast beleidigend zu behaupten, sie könnten ein Foto nicht einem von sechs Labels zuordnen. Klassifikation ist das „Hello World“ des Machine Learning. Die größten Modelle sollten das doch hinbekommen.

Schau dir aber an, was Klassifikation tatsächlich ist. Du hast einen festen, meist kleinen Label-Raum. Du hast eine wiederholbare Eingabeverteilung. Und du brauchst eine Entscheidungsgrenze, die subtile Fälle mit hohem Risiko zuverlässig auf die richtige Seite legt, jedes Mal aufs Neue. Genau dort scheitern multimodale LLMs. Sie wurden nicht darauf trainiert, feine Unterschiede innerhalb eines engen visuellen Bereichs herauszuarbeiten. Sie wurden darauf trainiert, zu fast jedem Bild, das je online gestellt wurde, etwas Plausibles zu sagen.

Die Hautkrebs-Ergebnisse machen das auf unangenehme Weise greifbar. Ein LLM diagnostizierte 75 von 200 Läsionen als Basalzellkarzinom, obwohl es nur 25 waren, darunter 14 der 30 Melanome. Das andere entwickelte eine Vorliebe für die aktinische Keratose und stufte sie 53-mal ein, bei nur 20 tatsächlichen Fällen. Das sind keine zufälligen Fehler. Sie sind die Handschrift eines Modells, das viel über Dermatologie gelesen hat, alle Läsionsbilder gesehen hat, die im webweiten Trainingsdatensatz zufällig vorkamen, und auf die Antwort zusteuert, die am plausibelsten klingt, statt sie tatsächlich zu berechnen.

Ein Modell, das jedes Lehrbuch gelesen hat, ist nicht dasselbe wie ein Modell, das 68.000 gelabelte Beispiele genau des Dings gesehen hat, nach dem du fragst.

Fehlversuch eins: einfach das Frontier-Modell fragen

Der naheliegende erste Schritt ist der, den der Dermatologe versucht hat: dem LLM die Bilder geben, eine Diagnose, einen Konfidenzwert und eine zweite Wahl verlangen. Das ist ein fairer Test, so würde ein Kliniker solche Werkzeuge tatsächlich nutzen. Und die Fehlermuster sind aufschlussreich.

Erstens: Die Konfidenz ist bedeutungslos. In einem Fall stufte ein LLM ein dünnes, pigmentarmes invasives Melanom mit 95 % Sicherheit als Basalzellkarzinom ein. Die Zahl entsteht auf dieselbe Weise wie die Diagnose: plausibel. Dahinter steckt keine kalibrierte Wahrscheinlichkeit. Wenn deine nachgelagerte Logik auf Konfidenz schwellenwertbasiert entscheidet, und das tut die meiste Triage-Logik, dann arbeitest du mit Fiktion.

Zweitens sind die Fehler nicht konservativ. Jeder Lauf passiert einmal, und die Antworten variieren zwischen den Läufen, was bei allem, was du in eine Pipeline einbauen willst, enorm wichtig ist. Ein spezialisierter Klassifikator liefert für dieselbe Eingabe jedes Mal dieselben Logits; ein LLM liefert eine Stichprobe aus einer Verteilung möglicher Antworten. Bei einem Entscheidungsunterstützungstool ist Nichtdeterminismus eine Belastung, keine Eigenart.

Drittens, und das ist der subtilere Punkt, waren die LLMs hervorragend in der angrenzenden Aufgabe. Als Patient gefragt „Muss ich zum Arzt?“, sagten sie bei 98 bis 99 von 100 bioptisch bestätigten Melanomen ja, und ebenso bei fast jeder harmlosen Läsion. Das ist das Verhalten eines Modells, das mit Texten über Medizin trainiert wurde: im Zweifel immer zum Arzt. Für einen Chatbot-Triage-Screen nützlich. Für Unterscheidung, also die eigentliche Aufgabe, nutzlos.

Fehlversuch zwei: annehmen, dass größer in allem besser ist

Dahinter steckt ein tieferer Fehler, der im Experiment gar nicht vorkommt: die Annahme, dass Skalierung ein Ersatz für Passung ist. Ein Frontier-LLM hat vorsichtig geschätzt tausendfach mehr Parameter als die rund 24 Millionen von Inception v3. Nichts davon ist auf Pixelebene dafür reserviert, eine seborrhoische Keratose von einem Plattenepithelkarzinom zu unterscheiden. Für das Modell ist Dermatologie ein Tropfen im Ozean der Trainingsdaten, und dermatoskopische Bilder, die Modalität, die den größten Teil des diagnostischen Signals trägt, sind noch seltener.

Aus demselben Grund schlägt ein Go-Netz mit 30 Millionen Parametern jedes LLM im Go-Spiel mit absurd großem Abstand. Außerdem führen Benchmarks Teams immer wieder in die Irre, wenn es darum geht, wo LLMs in der Produktion tatsächlich helfen, ein Punkt, den wir bei der Frage, warum KI-Benchmarks den größten Teil echter Arbeit verfehlen, aufgegriffen haben. Fähigkeit im modalen Sinn („das Modell kann das manchmal“) ist nicht dasselbe wie Fähigkeit im Ingenieurssinn („das Modell macht das zuverlässig genug, um darauf aufzubauen“).

In der Diskussion um dieses Experiment steckt eine nützliche Faustregel: Ein Frontier-LLM ist mit hoher Wahrscheinlichkeit wirklich gut in einer Aufgabe, wenn diese im Pretraining massiv überrepräsentiert ist (Code, Alltagsenglisch) oder gezielt per Reinforcement Learning nachtrainiert wurde. Ansonsten erwarte die Leistung eines cleveren Generalisten, der ein paar Bücher gelesen hat und trotzdem selbstsicher auftritt. Die visuelle Diagnose seltener Erkrankungen gehört klar in die zweite Kategorie.

Was tatsächlich funktioniert: ein kleines Modell, feinabgestimmt auf genau diese Verteilung

Jetzt zu dem Teil, der jeden beschämen sollte, der glaubt, Spezialmodelle bräuchten ein Forschungslabor. Das gewinnende CNN war nicht State of the Art. Es war Inception v3, eine Baseline-Architektur, vortrainiert auf gewöhnlichen Fotos und dann End-to-End feinabgestimmt auf 68.011 Dermatologie-Bilder aus einem öffentlichen Archiv, auf einer einzigen H100, in etwa zwanzig Minuten. Es wurde sorgfältig darauf geachtet, jedes Foto der Testläsionen und ihrer Patienten aus den Trainingsdaten zu entfernen. Das Ergebnis läuft über WebGPU im Browser eines Smartphones, ohne dass irgendetwas hochgeladen wird.

Zwanzig Minuten auf einer GPU. Vergleiche das mit den Kosten, ein Frontier-Multimodal-Modell über deinen Bildbestand im Produktionsbetrieb laufen zu lassen, pro Bild, dauerhaft. Das Spezialmodell ist nicht nur genauer; es ist um Größenordnungen günstiger, deterministisch, nachvollziehbar und klein genug, um auf Edge-Geräte ausgeliefert zu werden. Wenn du dein Problem als N Labels über eine stabile Eingabeverteilung formulieren kannst und gelabelte Daten hast (oder beschaffen kannst), gewinnt der feinabgestimmte Klassifikator in fast jeder Dimension, die im Produktivbetrieb zählt.

Die moderne Version dieses Vorgehens braucht nicht einmal ein altes CNN. Kleine Vision Transformer, Embedding-Modelle wie Googles medizinische Bild-Encoder oder ein feinabgestimmter Kopf auf einem vortrainierten Backbone bringen dich weiter. Es geht nicht um Nostalgie für Inception v3; entscheidend ist, dass eine Architektur von 2015 bereits ausreicht, um Modelle mit vier Größenordnungen mehr Rechenleistung zu schlagen. Das zeigt, wo der Engpass tatsächlich liegt: in der Passung zur Aufgabe, nicht in der Größe des Netzes.

# The specialist path in miniature: a frozen backbone + a small head
import torch
import torch.nn as nn
from torchvision import models
# A decade-old backbone is fine. Seriously.
backbone = models.inception_v3(weights="IMAGENET1K_V1")
in_features = backbone.fc.in_features
backbone.fc = nn.Linear(in_features, 6)  # your six labels
# Fine-tune everything on your labelled domain images.
# On one H100, tens of thousands of images: tens of minutes.
optimizer = torch.optim.AdamW(backbone.parameters(), lr=1e-4)
loss_fn = nn.CrossEntropyLoss()  # a *calibrated* probability lives here

Und wenn dein Label-Raum fest ist, du aber lieber ein LLM für den umgebenden Workflow im Spiel halten willst, besteht der ehrliche Weg darin, seine Ausgabe auf eine Entscheidung zu beschränken, statt seinem Fließtext zu vertrauen. Dasselbe Denken steckt hinter Constrained Decoding, um LLMs in Entscheidungsmodelle zu verwandeln. Für die Klassifikation selbst gewinnt aber trotzdem ein trainierter Kopf.

Ein Entscheidungsrahmen: Wann das Spezialmodell gewinnt, wann das LLM

Nachdem ich ein paar Jahre zugesehen habe, wie Teams diese Entscheidung schlecht treffen, ist hier der Rahmen, den ich tatsächlich verteidigen würde. Stell dir vier Fragen:

1. Ist der Label-Raum fest und klein? Wenn du die Antworten aufzählen kannst, ist ein Klassifikator fast immer die richtige Form. LLMs verdienen ihr Geld, wenn der Ausgaberaum offen ist: Zusammenfassungen, Erklärungen, Dialoge, Code.
2. Ist die Eingabeverteilung stabil? Ein auf Dermatoskopie-Bilder feinabgestimmtes Modell ist auf Dermatoskopie-Bildern hervorragend und verloren bei einem Foto mit Tattoo, Lineal und Kaffeetasse. Wenn deine Eingaben wild sind, hat die Robustheit eines Generalisten echten Wert.
3. Hast du gelabelte Daten, oder kannst du sie beschaffen? Das ist die eigentliche Weichenstellung. Mit 10.000+ gelabelten Beispielen ist Feinabstimmung nahezu kostenlos und wird dominieren. Ohne Daten ist die Zero-Shot-Vermutung des LLMs vielleicht dein bester Startpunkt. Behandle sie aber als Werkzeug zum Bootstrapping des Labelings, nicht als Produktionsantwort.
4. Was kostet ein Fehler, und brauchst du Kalibrierung? Entscheidungen mit hohem Einsatz und Schwellenwerten brauchen echte Wahrscheinlichkeiten und deterministische Ausgaben. Das schließt klassische LLM-Aufrufe schlicht aus.

Schick den Hautkrebs-Fall durch diesen Rahmen: feste Sechs-Label-Menge, stabile klinische Bildgebung, 68.000 gelabelte öffentliche Bilder, Fehler mit Folgen für Leben und Tod. Vier von vier. Das LLM hatte nie eine Chance, und die Überraschung ist nicht, dass es verloren hat, sondern dass irgendjemand etwas anderes erwartet hat.

Die ehrlichen Einschränkungen, denn Pragmatismus wirkt in beide Richtungen

Ich würde dir einen schlechten Dienst erweisen, wenn ich es bei „kleine Modelle gewinnen“ belassen würde. Die Stärken des feinabgestimmten Klassifikators sind zugleich seine Sprödigkeit. Er wurde gegen einen nicht feinabgestimmten Generalisten auf Daten getestet, die genau aus der Verteilung stammten, auf der er trainiert wurde. Bringst du ihn in die freie Wildbahn, mit anderen Kameras, im Archiv unterrepräsentierten Hauttönen und Bildern mit Verdeckungen oder Markierungen, sinkt die Leistung auf eine Weise, die die breite Ausbildung des LLMs manchmal besser abfängt. Der Generalist scheitert innerhalb einer Verteilung vorhersehbar; der Spezialist scheitert außerhalb katastrophal.

Außerdem gibt es eine Aufgabe, die der Klassifikator gar nicht leisten kann: der Rest der Medizin. Das interessanteste Nebenergebnis desselben Experiments war, dass LLMs, mit Arztbriefen, Anamnese und der Möglichkeit, Fragen zu stellen, plausibel zu Interpretation, Kommunikation und Management beitragen konnten, also allem, was nach dem Label kommt. Ein CNN gibt sechs Logits aus. Es wird einem besorgten Patienten nie seine Überlegungen erklären oder bemerken, dass der Überweisungsbrief im Widerspruch zum Bild steht.

Und die Studie ist selbst ehrlich: Dermatologie-KI auf dem neuesten Stand ist kein einzelnes Inception v3, sondern Ensembles aus Vision Transformern, trainiert auf weit mehr Daten, und regulierte Produkte, die so gebaut sind, schneiden deutlich besser ab. Die Entwicklung im Feld geht in Richtung größerer Spezialmodelle, nicht Generalisten, was den Punkt eher bestärkt als untergräbt.

Die eigentliche Erkenntnis: LLMs sollen den Klassifikator bauen, nicht selbst sein

Die schärfste Beobachtung aus der ganzen Episode, zu der ich immer wieder zurückkomme: LLMs haben die Kosten für den Bau dedizierter Klassifikatoren gegen null gedrückt. Das Fine-Tuning-Skript schreiben, den Datensatz bereinigen, das Evaluierungs-Framework bauen, die Labeling-Oberfläche generieren: Genau bei dieser Arbeit sind LLMs wirklich übermenschlich beim Beschleunigen. Sogar die Analyse des Dermatologen entstand mit einem KI-Coding-Tool. Der Generalist hat das Experiment gebaut und bewertet, das der Spezialist gewonnen hat.

Das ist die Architektur, die ich inzwischen standardmäßig empfehle: ein LLM im Loop für Entwicklung, Datenarbeit, Triage von Sonderfällen und die menschenorientierte Erklärungsebene; ein kleines feinabgestimmtes Modell für die wiederkehrende, massenhafte Entscheidung mit hohem Einsatz selbst. Dasselbe Muster sehen wir unter Effizienzgesichtspunkten. Die spannende Geschichte ist oft nicht das Flaggschiff-Modell, sondern die günstige Klasse, die echte Arbeit erledigt, wie bei Flash-Modellen und Inferenzeffizienz. Passe das Modell an die Form des Problems an, und die meisten Klagen über „KI funktioniert nicht“ lösen sich auf.

Ein Taschenrechner schlägt jedes LLM bei der Division, und niemand schreibt euphorische Posts darüber. Ein feinabgestimmter Klassifikator, der einen Chatbot bei der Klassifikation übertrifft, ist dieselbe Geschichte, nur mit mehr Parametern. Dass das überhaupt jemanden überrascht, liegt nur daran, dass uns zwei Jahre lang erzählt wurde, Skalierung mache Spezialisierung überflüssig. Das tut sie nicht. Sie macht Spezialisierung nur günstiger zu bauen, wenn du bereit bist, zum langweiligen Werkzeug zu greifen.