CNN specializzate vs LLM per la classificazione di immagini

Un dermatologo ha recentemente sottoposto 200 lesioni cutanee confermate da biopsia a due LLM di frontiera e a una copia fine-tuned di Inception v3, una rete convoluzionale che Google ha pubblicato dieci anni fa. La CNN ha azzeccato il 62% delle diagnosi. Gli LLM si sono fermati al 42% ciascuno. Anche sul melanoma, la diagnosi che meno vorresti mancare, la vecchia rete ha vinto. Se il tuo lavoro prevede image classification su qualsiasi scala, questo risultato dovrebbe ricalibrare il modo in cui pensi alla scelta tra modello specializzato e LLM, perché non è davvero una storia di medicina. È una storia di scegliere lo strumento giusto.

Il problema: la classificazione sembra facile per gli LLM, e non lo è

Ecco la trappola in cui continuano a cadere gli ingegneri più svegli. I modelli di frontiera scrivono codice, riassumono contratti e superano esami di abilitazione, quindi suggerire che non sappiano guardare una foto e scegliere una di sei etichette sembra quasi un insulto. La classificazione è l'« hello world » del machine learning: di sicuro i modelli più grandi sanno farla.

Ma guarda cos'è davvero la classificazione. Hai uno spazio di etichette fisso e di solito piccolo. Hai una distribuzione di input ripetibile. E ti serve un confine decisionale che collochi i casi sottili e ad alto rischio dalla parte giusta, in modo coerente, ogni volta. Quest'ultima parte è dove gli LLM multimodali crollano. Non sono stati addestrati a tracciare distinzioni fini all'interno di un dominio visivo ristretto; sono stati addestrati a dire qualcosa di plausibile su praticamente qualsiasi immagine mai pubblicata online.

I risultati sul tumore della pelle lo rendono concreto in modo scomodo. Un LLM ha diagnosticato 75 lesioni su 200 come carcinoma basocellulare, quando in realtà erano solo 25, inclusi 14 dei 30 melanomi. L'altro ha sviluppato una predilezione per la cheratosi attinica, segnalandola 53 volte contro 20 casi reali. Non sono errori casuali. Sono la firma di un modello che ha letto moltissimo di dermatologia, ha visto qualunque immagine di lesioni capitasse nei dati di addestramento su scala web, e fa pattern matching sulla risposta che suona più probabile invece di calcolarne una.

Un modello che ha letto ogni manuale non è la stessa cosa di un modello che ha visto 68.000 esempi etichettati esattamente della cosa che gli stai chiedendo.

Primo tentativo fallito: chiedere direttamente al modello di frontiera

La prima mossa naturale è quella che ha provato il dermatologo: dare all'LLM le immagini, chiedere una diagnosi, un punteggio di confidenza e una seconda scelta. È un test equo, perché è esattamente così che un clinico userebbe questi strumenti. E le modalità di fallimento sono istruttive.

Primo, la confidenza non significa nulla. In un caso un LLM ha classificato un melanoma invasivo sottile e poco pigmentato come carcinoma basocellulare con il 95% di confidenza. Quel numero è generato nello stesso modo della diagnosi: in modo plausibile. Non c'è alcuna probabilità calibrata sotto. Se la tua logica a valle applica soglie sulla confidenza, e la maggior parte della logica di triage lo fa, stai applicando soglie su finzione.

Secondo, gli errori non sono prudenti. Ogni esecuzione avviene una sola volta e le risposte cambiano tra un'esecuzione e l'altra, il che conta moltissimo per qualsiasi cosa finisca in una pipeline. Un classificatore specializzato ti dà gli stessi logit per lo stesso input ogni volta; un LLM ti dà un campione da una distribuzione di risposte. Per uno strumento di supporto alle decisioni, il non determinismo è una responsabilità, non una stranezza.

Terzo, ed è quello sottile: gli LLM erano eccellenti nel compito adiacente. Interrogati come pazienti, « ho bisogno di vedere un medico? », hanno risposto sì per 98–99 melanomi su 100 confermati da biopsia, e quasi per ogni lesione innocua. È il comportamento di un modello addestrato su testi di medicina: meglio consultare il medico, sempre. Utile per un chatbot di triage. Inutile per la discriminazione, che è il compito reale.

Secondo tentativo fallito: presumere che più grande significhi migliore in tutto

C'è un fallimento più profondo che non compare affatto nell'esperimento: l'idea che la scala sostituisca l'adattamento. Un LLM di frontiera ha, prudentemente stimando, migliaia di volte più parametri dei circa 24 milioni di Inception v3. Nulla di quella capacità è dedicato a distinguere una cheratosi seborroica da un carcinoma a cellule squamose a livello di pixel. Per il modello, la dermatologia è una goccia in un oceano di dati di addestramento, e le immagini dermoscopiche, la modalità che porta gran parte del segnale diagnostico, sono ancora più rare.

È lo stesso motivo per cui una rete Go da 30 milioni di parametri batte qualsiasi LLM a Go con un margine assurdo. È anche il motivo per cui i benchmark continuano a trarre in inganno i team su dove gli LLM servano davvero in produzione, un punto che abbiamo trattato parlando di perché i benchmark dell'IA non colgono la maggior parte del lavoro reale. La capacità nel senso modale (« il modello a volte sa farlo ») non è capacità nel senso ingegneristico (« il modello lo fa in modo abbastanza affidabile da costruirci sopra »).

C'è un'euristica utile nascosta nella discussione intorno a questo esperimento: un LLM di frontiera è probabilmente davvero bravo in un compito se quel compito è massicciamente sovrarappresentato nel pretraining (codice, inglese quotidiano) oppure se è stato specificamente post-addestrato su di esso con reinforcement learning. Altrimenti, aspettati le prestazioni di un generalista brillante che ha letto qualche libro e si dice comunque sicuro di sé. La diagnosi visiva di cose rare sta saldamente nel secondo gruppo.

Cosa funziona davvero: un piccolo modello fine-tuned sulla distribuzione esatta

Ora la parte che dovrebbe mettere in imbarazzo chiunque pensi che i modelli specializzati richiedano un laboratorio di ricerca. La CNN vincente non era lo stato dell'arte. Era Inception v3, un'architettura di base, pre-addestrata su fotografie ordinarie e poi fine-tuned end-to-end su 68.011 immagini dermatologiche da un archivio pubblico, su una singola H100, in circa venti minuti. Si è fatta attenzione a rimuovere dal training ogni foto delle lesioni di test e dei loro pazienti. Il risultato gira nel browser di un telefono via WebGPU senza caricare nulla.

Venti minuti su una GPU. Confrontalo con il costo di far girare un modello multimodale di frontiera sul tuo corpus di immagini a volume di produzione, per ogni immagine, per sempre. Il modello specializzato non è solo più accurato: costa ordini di grandezza in meno, è deterministico, verificabile e abbastanza piccolo da essere distribuito su dispositivi edge. Se riesci a inquadrare il problema come N etichette su una distribuzione di input stabile, e hai (o puoi ottenere) dati etichettati, il classificatore fine-tuned vince su quasi tutti gli assi che contano in produzione.

La versione moderna di questo playbook non richiede nemmeno una vecchia CNN. Piccoli vision transformer, modelli di embedding come gli encoder di immagini mediche di Google, o una testa fine-tuned su un backbone pre-addestrato ti porteranno più lontano. Il punto non è la nostalgia per Inception v3; è che un'architettura del 2015 è già sufficiente per battere modelli con quattro ordini di grandezza in più di calcolo, il che ti dice dove sia davvero il collo di bottiglia. Conta l'adattamento al compito, non la dimensione della rete.

# The specialist path in miniature: a frozen backbone + a small head
import torch
import torch.nn as nn
from torchvision import models
# A decade-old backbone is fine. Seriously.
backbone = models.inception_v3(weights="IMAGENET1K_V1")
in_features = backbone.fc.in_features
backbone.fc = nn.Linear(in_features, 6)  # your six labels
# Fine-tune everything on your labelled domain images.
# On one H100, tens of thousands of images: tens of minutes.
optimizer = torch.optim.AdamW(backbone.parameters(), lr=1e-4)
loss_fn = nn.CrossEntropyLoss()  # a *calibrated* probability lives here

E se la tua etichetta è fissa ma preferisci mantenere un LLM nel flusso per il workflow circostante, il modo onesto per farlo è vincolare il suo output a una decisione invece di fidarti della sua prosa, la stessa logica dietro la constrained decoding per trasformare gli LLM in modelli decisionali. Ma per la classificazione vera e propria, una testa addestrata continua a vincere.

Un framework decisionale: quando vince lo specialista, quando vince l'LLM

Dopo qualche anno a vedere team prendere male questa decisione, ecco il framework che difenderei davvero. Poni quattro domande:

1. Lo spazio delle etichette è fisso e piccolo? Se puoi elencare tutte le risposte, un classificatore è quasi sempre la forma giusta. Gli LLM si guadagnano il posto quando lo spazio di output è aperto: riassunti, spiegazioni, dialoghi, codice.
2. La distribuzione degli input è stabile? Un modello fine-tuned su immagini dermoscopiche è eccellente su immagini dermoscopiche e perso davanti a una foto con un tatuaggio, un righello e una tazza di caffè. Se i tuoi input sono selvaggi, la robustezza di un generalista ha un valore reale.
3. Hai dati etichettati, o puoi ottenerli? È la vera biforcazione. Con 10k+ esempi etichettati, il fine-tuning è quasi gratis e domina. Senza nessuno, la previsione zero-shot dell'LLM potrebbe essere il punto di partenza migliore, ma trattala come uno strumento di bootstrap per l'etichettatura, non come la risposta di produzione.
4. Quanto costa un errore, e serve la calibrazione? Le decisioni ad alto rischio con soglie hanno bisogno di probabilità reali e output deterministici. Questo esclude le chiamate LLM standard, punto e basta.

Applica il caso del tumore della pelle: spazio fisso di sei etichette, pipeline di imaging clinico stabile, 68k immagini pubbliche etichettate, errori che sono questione di vita o di morte. Quattro su quattro. L'LLM non ha mai avuto una possibilità, e la sorpresa non è che abbia perso, ma che qualcuno si aspettasse il contrario.

Le oneste avvertenze, perché il pragmatismo taglia in entrambi i sensi

Ti farei un torto se mi fermassi a « i modelli piccoli vincono ». I punti di forza del classificatore fine-tuned sono anche la sua fragilità. È stato confrontato con un generalista non fine-tuned su dati estratti esattamente dalla distribuzione su cui è stato addestrato. Portalo nel mondo reale, con fotocamere diverse, toni della pelle sottorappresentati nell'archivio, immagini con occlusioni o annotazioni, e le prestazioni si degradano in modi che l'ampio addestramento dell'LLM a volte gestisce meglio. Il generalista fallisce in modo prevedibile all'interno di una distribuzione; lo specialista fallisce in modo catastrofico al di fuori di essa.

C'è anche un compito che il classificatore non può affatto svolgere: il resto della medicina. Il risultato secondario più interessante dello stesso esperimento è stato che gli LLM, con note di riviste, anamnesi del paziente e la possibilità di fare domande, potevano plausibilmente contribuire all'interpretazione, alla comunicazione e alla gestione, cioè tutto ciò che viene dopo l'etichetta. Una CNN produce sei logit. Non spiegherà mai il proprio ragionamento a un paziente preoccupato né si accorgerà che la lettera di impegnativa contraddice l'immagine.

E nota l'onestà dello studio: la dermatologia AI allo stato dell'arte non è un singolo Inception v3, ma ensemble di vision transformer addestrati su molti più dati, e i prodotti regolamentati costruiti così performano sensibilmente meglio. La direzione del settore è verso modelli specialistici più grandi, non verso i generalisti, il che rafforza il punto invece di minarlo.

La vera intuizione: gli LLM servono a costruire il classificatore, non a essere il classificatore

L'osservazione più acuta dell'intera vicenda è una a cui continuo a tornare: gli LLM hanno portato il costo di costruire classificatori dedicati verso zero. Scrivere lo script di fine-tuning, pulire il dataset, costruire l'harness di valutazione, generare l'interfaccia di etichettatura: è esattamente il lavoro che gli LLM accelerano in modo davvero sovrumano. Persino l'analisi del dermatologo è stata prodotta con uno strumento di coding basato su IA. Il generalista ha costruito e valutato l'esperimento che lo specialista ha vinto.

È l'architettura che ormai raccomando di default: LLM nel flusso per lo sviluppo, il lavoro sui dati, il triage dei casi limite e lo strato di spiegazione rivolto agli umani; un piccolo modello fine-tuned per la decisione ripetuta, ad alto volume e ad alto rischio. Vediamo lo stesso schema in termini di efficienza: la storia interessante spesso non è il modello di punta ma il livello economico che fa un lavoro reale, come nel caso dei modelli flash-tier e l'efficienza dell'inferenza. Abbina il modello alla forma del problema, e gran parte delle lamentele del tipo « l'IA non funziona » svaniscono.

Una calcolatrice batte ogni LLM nelle divisioni, e nessuno scrive post entusiasti al riguardo. Un classificatore fine-tuned che batte un chatbot nella classificazione è la stessa storia con più parametri. L'unico motivo per cui sorprende qualcuno è che per due anni ci hanno detto che la scala dissolve la necessità di specializzazione. Non è così. Rende solo la specializzazione più economica da costruire, se sei disposto a usare lo strumento noioso.