CNN especializadas vs LLM en clasificación de imágenes

Un dermatólogo puso hace poco 200 lesiones de piel confirmadas por biopsia frente a dos LLMs de frontera y una copia ajustada (fine-tuned) de Inception v3, una red convolucional que Google publicó hace una década. La CNN acertó el 62% de los diagnósticos. Los LLMs, un 42% cada uno. En melanoma, el diagnóstico que menos te puedes permitir pasar por alto, la red antigua también ganó. Si tu trabajo implica clasificación de imágenes a cualquier escala, este resultado debería recalibrar cómo piensas la decisión entre modelo especializado y LLM, porque en realidad no va de medicina. Va de elegir la herramienta adecuada.

El problema: clasificar parece fácil para los LLMs, y no lo es

Aquí está la trampa en la que caen una y otra vez los ingenieros listos. Los modelos de frontera escriben código, resumen contratos y aprueban exámenes de abogacía, así que suena casi insultante sugerir que no pueden mirar una foto y elegir una de seis etiquetas. La clasificación es el «hello world» del machine learning; seguro que los modelos más grandes pueden hacerlo.

Pero fíjate en lo que es realmente clasificar. Tienes un espacio de etiquetas fijo y normalmente pequeño. Tienes una distribución de entradas repetible. Y necesitas una frontera de decisión que ponga los casos sutiles y de alto riesgo en el lado correcto, de forma consistente, siempre. Esa última parte es donde los LLMs multimodales se desmoronan. No fueron entrenados para trazar distinciones finas dentro de un dominio visual estrecho; fueron entrenados para decir algo plausible sobre prácticamente cualquier imagen publicada en internet.

Los resultados del cáncer de piel lo hacen concreto de una forma incómoda. Un LLM diagnosticó 75 de 200 lesiones como carcinoma basocelular cuando solo 25 lo eran, incluidos 14 de los 30 melanomas. El otro le cogió cariño a la queratosis actínica: la diagnosticó 53 veces frente a 20 casos reales. No son errores aleatorios. Son la firma de un modelo que ha leído mucho sobre dermatología, ha visto las imágenes de lesiones que casualmente había en sus datos de entrenamiento a escala web, y que tira por el patrón que suena más probable en lugar de calcular la respuesta.

Un modelo que se ha leído todos los libros de texto no es lo mismo que un modelo que ha visto 68.000 ejemplos etiquetados exactamente de aquello que le estás preguntando.

Primer intento fallido: simplemente preguntarle al modelo de frontera

El primer movimiento natural es el que probó el dermatólogo: darle al LLM las imágenes, pedirle un diagnóstico, un nivel de confianza y una segunda opción. Es una prueba justa, que es realmente como un clínico usaría estas herramientas. Y los modos de fallo son instructivos.

Primero, la confianza no significa nada. En un caso, un LLM llamó a un melanoma invasivo, fino y con poca pigmentación, carcinoma basocelular con un 95% de confianza. Ese número se genera igual que el diagnóstico: de forma plausible. No hay ninguna probabilidad calibrada debajo. Si tu lógica posterior aplica umbrales sobre la confianza (y la mayoría de la lógica de triaje lo hace), estás aplicando umbrales sobre ficción.

Segundo, los errores no son conservadores. Cada ejecución ocurre una vez y las respuestas varían entre ejecuciones, lo que importa muchísimo para cualquier cosa que vayas a meter en un pipeline. Un clasificador especializado te da los mismos logits para la misma entrada cada vez; un LLM te da una muestra de una distribución de respuestas. Para una herramienta de apoyo a la decisión, el no determinismo es un pasivo, no una rareza.

Tercero, y este es el más sutil: los LLMs fueron excelentes en la tarea adyacente. Preguntados como paciente, «¿necesito ver a un médico?», dijeron que sí en 98–99 de cada 100 melanomas confirmados por biopsia, y también en casi todas las lesiones inofensivas. Es el comportamiento de un modelo entrenado con texto sobre medicina: errar siempre hacia el médico. Útil para un chatbot de triaje. Inútil para discriminar, que es la tarea real.

Segundo intento fallido: asumir que más grande significa mejor en todo

Hay un fallo más profundo que ni siquiera aparece en el experimento: la suposición de que la escala sustituye al ajuste. Un LLM de frontera tiene, de forma conservadora, miles de veces más parámetros que los unos 24 millones de Inception v3. Nada de esa capacidad está asignada a distinguir una queratosis seborreica de un carcinoma de células escamosas a nivel de píxel. Para el modelo, la dermatología es una gota en un océano de datos de entrenamiento, y las imágenes dermatoscópicas, la modalidad que lleva la mayor parte de la señal diagnóstica, son aún más raras.

Es la misma razón por la que una red de Go de 30 millones de parámetros supera a cualquier LLM jugando al Go por un margen absurdo. También es la razón por la que los benchmarks siguen engañando a los equipos sobre dónde ayudan realmente los LLMs en producción, un punto que tratamos al revisar por qué los benchmarks de IA no capturan la mayor parte del trabajo real. La capacidad en sentido modal («el modelo a veces puede hacer esto») no es la capacidad en sentido de ingeniería («el modelo lo hace de forma fiable como para construir sobre ello»).

Hay una heurística útil escondida en la discusión alrededor de este experimento: un LLM de frontera probablemente sea realmente bueno en una tarea si esa tarea está masivamente sobrerrepresentada en el preentrenamiento (código, inglés cotidiano) o si fue específicamente post-entrenado en ella con aprendizaje por refuerzo. Si no, espera el rendimiento de un generalista brillante que ha leído unos cuantos libros y aun así está seguro de sí mismo. El diagnóstico visual de cosas raras cae de lleno en el segundo grupo.

Lo que realmente funciona: un modelo pequeño ajustado a la distribución exacta

Ahora la parte que debería avergonzar a cualquiera que crea que los modelos especializados requieren un laboratorio de investigación. La CNN ganadora no era de vanguardia. Era Inception v3, una arquitectura base, preentrenada con fotografías corrientes y después ajustada de extremo a extremo con 68.011 imágenes de dermatología de un archivo público, en una sola H100, en unos veinte minutos. Se tuvo cuidado de eliminar de los datos de entrenamiento cualquier foto de las lesiones de prueba y de sus pacientes. El resultado se ejecuta en el navegador del móvil mediante WebGPU sin subir nada.

Veinte minutos en una GPU. Compáralo con el coste de ejecutar un modelo multimodal de frontera sobre tu corpus de imágenes a volumen de producción, por imagen, para siempre. El modelo especializado no solo es más preciso; es más barato en órdenes de magnitud, determinista, auditable y lo bastante pequeño como para enviarlo a dispositivos edge. Si puedes plantear tu problema como N etiquetas sobre una distribución de entrada estable, y tienes (o puedes conseguir) datos etiquetados, el clasificador ajustado gana en casi todos los ejes que importan en producción.

La versión moderna de esta receta ni siquiera requiere una CNN antigua. Los pequeños transformers de visión, los modelos de embeddings como los codificadores de imágenes médicas de Google, o un head ajustado sobre un backbone preentrenado te llevarán más lejos. El punto no es la nostalgia por Inception v3; es que una arquitectura de 2015 ya basta para superar a modelos con cuatro órdenes de magnitud más de cómputo, lo que te dice dónde está realmente el cuello de botella. Es el ajuste a la tarea, no el tamaño de la red.

# The specialist path in miniature: a frozen backbone + a small head
import torch
import torch.nn as nn
from torchvision import models
# A decade-old backbone is fine. Seriously.
backbone = models.inception_v3(weights="IMAGENET1K_V1")
in_features = backbone.fc.in_features
backbone.fc = nn.Linear(in_features, 6)  # your six labels
# Fine-tune everything on your labelled domain images.
# On one H100, tens of thousands of images: tens of minutes.
optimizer = torch.optim.AdamW(backbone.parameters(), lr=1e-4)
loss_fn = nn.CrossEntropyLoss()  # a *calibrated* probability lives here

Y si tu espacio de etiquetas es fijo pero prefieres mantener un LLM en el flujo de trabajo que rodea a la tarea, la forma honesta de hacerlo es restringir su salida a una decisión en lugar de confiar en su prosa, la misma idea detrás de la decodificación restringida para convertir LLMs en modelos de decisión. Pero para la clasificación en sí, un head entrenado sigue ganando.

Un marco de decisión: cuándo gana el especialista, cuándo gana el LLM

Tras unos años viendo cómo los equipos toman mal esta decisión, este es el marco que de verdad defendería. Hazte cuatro preguntas:

1. ¿El espacio de etiquetas es fijo y pequeño? Si puedes enumerar las respuestas, un clasificador casi siempre es la forma correcta. Los LLMs se ganan su sitio cuando el espacio de salida es abierto: resúmenes, explicaciones, diálogo, código.
2. ¿La distribución de entrada es estable? Un modelo ajustado con imágenes de dermatoscopia es excelente con imágenes de dermatoscopia y pierde pie ante una foto con un tatuaje, una regla y una taza de café. Si tus entradas son caóticas, la robustez de un generalista tiene un valor real.
3. ¿Tienes datos etiquetados, o puedes conseguirlos? Esta es la bifurcación real. Con más de 10.000 ejemplos etiquetados, el ajuste fino es casi gratis y dominará. Sin ninguno, la estimación zero-shot del LLM quizá sea tu mejor punto de partida, pero trátala como una herramienta de arranque para etiquetar, no como la respuesta de producción.
4. ¿Cuánto cuesta un error, y necesitas calibración? Las decisiones de alto riesgo con umbrales necesitan probabilidades reales y salidas deterministas. Eso descarta las llamadas a un LLM sin más.

Aplica el caso del cáncer de piel: espacio fijo de seis etiquetas, pipeline de imagen clínica estable, 68.000 imágenes públicas etiquetadas, errores que pueden costar una vida. Cuatro de cuatro. El LLM nunca tuvo opciones, y lo sorprendente no es que perdiera, sino que alguien esperara otra cosa.

Las advertencias honestas, porque el pragmatismo corta en ambos sentidos

Te haría un flaco favor si me quedara en «los modelos pequeños ganan». Las fortalezas del clasificador ajustado son también su fragilidad. Se evaluó frente a un generalista sin ajustar, con datos extraídos exactamente de la distribución en la que se entrenó. Llévalo al mundo real (cámaras distintas, tonos de piel infrarrepresentados en el archivo, imágenes con oclusiones o anotaciones) y el rendimiento se degrada de formas que la amplia formación del LLM a veces gestiona mejor. El generalista falla de forma predecible dentro de una distribución; el especialista falla de forma catastrófica fuera de ella.

Hay además una tarea que el clasificador no puede hacer en absoluto: el resto de la medicina. El resultado secundario más interesante del mismo experimento fue que los LLMs, con notas de revistas, historial del paciente y la capacidad de hacer preguntas, podían contribuir de forma plausible a la interpretación, la comunicación y el manejo del caso: todo lo que viene después de la etiqueta. Una CNN devuelve seis logits. Nunca le explicará su razonamiento a un paciente preocupado ni notará que la carta de derivación contradice la imagen.

Y fíjate en la honestidad del propio estudio: la dermatología con IA de última generación no es un Inception v3 solitario, sino conjuntos de transformers de visión entrenados con muchos más datos, y los productos regulados construidos así rinden considerablemente mejor. La dirección que sigue el campo son especialistas más grandes, no generalistas, lo que refuerza el argumento en lugar de socavarlo.

La idea clave: los LLMs sirven para construir el clasificador, no para ser el clasificador

La observación más aguda de todo este episodio es una en la que sigo volviendo: los LLMs han empujado el coste de construir clasificadores dedicados hacia cero. Escribir el script de ajuste fino, limpiar el dataset, montar el arnés de evaluación, generar la interfaz de etiquetado: exactamente el trabajo que los LLMs aceleran de forma realmente sobrehumana. Incluso el análisis del dermatólogo se produjo con una herramienta de programación con IA. El generalista construyó y puntuó el experimento que ganó el especialista.

Esa es la arquitectura que ahora recomiendo por defecto: un LLM en el flujo para desarrollo, trabajo con datos, triaje de casos límite y la capa de explicación para las personas; y un pequeño modelo ajustado para la decisión repetida, de alto volumen y alto riesgo en sí. Hemos visto el mismo patrón en términos de eficiencia: la historia interesante a menudo no es el modelo insignia, sino el nivel barato haciendo trabajo real, como con los modelos de nivel flash y la eficiencia de inferencia. Ajusta el modelo a la forma del problema y la mayoría de las quejas de «la IA no funciona» se evaporan.

Una calculadora supera a cualquier LLM dividiendo, y nadie escribe posts entusiastas sobre ello. Un clasificador ajustado que supera a un chatbot clasificando es la misma historia con más parámetros. Lo único que sorprende es que llevamos dos años escuchando que la escala disuelve la necesidad de especialización. No la disuelve. Solo hace que la especialización sea más barata de construir, si estás dispuesto a recurrir a la herramienta aburrida.