Artículos en profundidad sobre la tecnología que da forma al futuro.

Modelos pequeños en bucle: 5 errores a evitar en producción

Los modelos en bucle y la cuantización NVFP4 cambiaron lo que hacen los modelos pequeños. Cinco errores comunes al elegir uno para producción.

Una pequeña máquina de latón tejiendo un complejo tapiz que da tres vueltas sobre sí mismo, simbolizando un modelo en bucle.
Pequeño ya no significa superficial: las pasadas internas repetidas permiten que los modelos compactos superen con creces su número de parámetros.

Un equipo al que asesoré el año pasado gastaba unos 4.000 dólares al mes para enviar consultas sencillas de triaje de tickets a una API de frontera. La carga de trabajo consistía en clasificación y resúmenes breves. Un modelo de lenguaje pequeño ejecutándose en una sola GPU habría bastado, pero nadie del equipo lo creía, porque la última vez que evaluaron un modelo de menos de 30B parámetros fracasó en sus tareas de razonamiento complejo y nunca volvieron a mirar.

Ese punto ciego se está volviendo caro muy rápido. El reciente lanzamiento de Inkling 2 Mini —un modelo de mezcla de expertos con pesos abiertos de 26.4B parámetros que repite tres veces sus capas intermedias por cada token— obtuvo en programación agéntica puntuaciones por encima de cualquier modelo abierto de menos de 100B parámetros, y cabe en unos 20GB de memoria. Un modelo que funciona sin conexión en un portátil acaba de superar en tareas tipo SWE-bench a modelos varias veces más grandes. La distancia entre «pequeño» y «capaz» se ha reducido tanto que la mayoría de las reglas sobre el dimensionamiento de modelos que la gente arrastra desde hace tiempo ya no sirven. Estos son los cinco errores que veo con más frecuencia y qué hacer en su lugar.

Error 1: Tratar el número de parámetros como el techo de capacidad

El modelo mental que heredamos la mayoría es simple: los parámetros son el presupuesto, y la capacidad escala con ese presupuesto. Nunca fue del todo cierto, porque los datos de entrenamiento y el cómputo importan muchísimo, pero funcionó como heurística útil hasta que la arquitectura empezó a hacer un trabajo real. Los bucles son el ejemplo más claro. Inkling 2 Mini ejecuta sus 12 capas intermedias (dos bloques de seis, de un total de 24) tres veces por cada token, mientras que el primer y el último bloque se ejecutan una sola vez. La intuición es que las capas iniciales y finales se limitan sobre todo a traducir entre embeddings y representaciones internas, mientras que las intermedias concentran el razonamiento abstracto. Así que gastas el cómputo donde ocurre el razonamiento.

El estudio de ablación publicado merece tu atención: repetir las 12 capas intermedias superó a repetir las 12 últimas en 27 de 28 evaluaciones, y una línea base sin bucles necesitaba un cómputo estimado de entre 1,5 y 1,9 veces mayor para igualar la pérdida del modelo con bucle intermedio. No es un truco de ajuste marginal. Es una estrategia distinta de asignación de cómputo, y rompe la heurística ingenua del número de parámetros en una dirección concreta y predecible.

La solución: al evaluar un modelo pequeño, pregúntate dónde va el cómputo por token, no solo cuántos pesos tiene. Un modelo de 26B con 3.4B de parámetros activos y capas intermedias en bucle se parece más a «un modelo pequeño que piensa más tiempo» que a «un modelo pequeño» sin más. Esto conecta con algo que ya he comentado: el razonamiento se entrena en los modelos, no se extrae con prompts, y ahora también se diseña en su arquitectura.

Error 2: Confundir razonamiento con conocimiento

Aquí está la parte de la historia de los modelos en bucle que los profesionales suelen saltarse, y que te va a morder. Los bucles mejoran el razonamiento. No crean conocimiento. Los hechos viven en los pesos, y el número de pesos es el que es. El equipo de Inkling 2 Mini es admirablemente franco al respecto: en AA-Omniscience, un benchmark de factualidad, el modelo obtiene resultados en línea con otros modelos de su tamaño. Su variante de investigación con bucles variables mejoró en benchmarks de razonamiento serial y de contexto largo a medida que se añadían bucles, hasta diez, el doble de lo que se entrenó, pero los benchmarks intensivos en conocimiento como SimpleQA no se movieron con más pasadas.

Vi a un amigo depurar exactamente esta confusión en producción. Había cambiado un modelo grande por uno pequeño con fuerte énfasis en el razonamiento para un bot de soporte, vio cómo subía la calidad del razonamiento y lo desplegó. Dos semanas después: códigos de producto inventados y detalles de políticas falsos. El modelo razonaba muy bien sobre hechos que simplemente no contenía. Un primer evaluador de Hacker News se topó con el mismo muro en dos prompts: al pedir un plugin de WordPress que usara rincones oscuros de una API, obtuvo código con total seguridad, bien estructurado y erróneo.

La solución no es «usa un modelo más grande». Es arquitectónica: combina el pequeño razonador con recuperación de información y herramientas. Cabe destacar que Inkling 2 Mini supera a modelos abiertos comparables en BrowseComp y DeepSearchQA, benchmarks que miden búsqueda y uso de herramientas. Un modelo pequeño con buena disciplina en el uso de herramientas suele superar a un modelo grande que recuerda datos desactualizados, porque el contexto recuperado es actual y auditable. Mi regla: si los fallos de tu carga de trabajo son de razonamiento, un modelo pequeño con bucles ayuda. Si son de conocimiento, arregla tu sistema de recuperación, no el número de parámetros.

Error 3: Descartar la cuantización de bajo bit sin mirarla

Hace cinco años, «lo cuantizamos a 4 bits» era casi una disculpa. Aceptabas una pérdida real de calidad a cambio de caber en hardware más pequeño, y todo lo que estuviera por debajo de 4 bits era un experimento de laboratorio. Esa suposición ahora le cuesta a la gente un presupuesto real de hardware. Inkling 2 Mini se entrenó de extremo a extremo en NVFP4 y se despliega de forma nativa en NVFP4, con solo las últimas cuatro capas en MXFP8. La cuantización no es un paso de compresión posterior, sino parte de la receta de entrenamiento. El resultado: una huella de unos 20GB con una calidad comparable a sus pares en BF16.

Grandes libros densos comprimidos en un pequeño conjunto de volúmenes finos y brillantes, simbolizando el entrenamiento consciente de la cuantización.
La entrenamiento consciente de la cuantización hace que la huella pequeña no sea un compromiso, sino el objetivo de diseño desde el primer día.

El efecto en cadena es llamativo. El equipo de Unsloth, que conoce los problemas de la cuantización mejor que nadie, observó que estos modelos nativamente de bajo bit responden inusualmente bien a una cuantización adicional, manteniendo según los informes alrededor de un 90% de acuerdo top-1 incluso a 1 bit. Hubo una versión GGUF en Hugging Face pocos días después del lanzamiento, y ya hay gente ejecutándolo en un MacBook Pro en un avión (el equipo incluso mostró cómo construía un simulador de vuelo jugable sin conexión a mitad de vuelo) y en GPUs de consumo como la 7900XTX.

La solución: deja de tratar la cuantización como degradación y empieza a preguntarte si un modelo fue entrenado con baja precisión. Si lo fue, el artefacto de 4 bits (o menos) es la versión de primera clase, y tus cálculos de «necesitamos 80GB de VRAM» hay que rehacerlos. Si estás explorando lo que esto habilita para despliegues sin conexión, cubrimos los patrones arquitectónicos en cómo construir un LLM que funcione sin conexión y el lado del hardware en cómo ejecutar LLMs en tu propio hardware.

Error 4: Evaluar una sola vez y congelar la elección del modelo

El error más caro no es técnico, sino de procedimiento. Los equipos hacen una comparativa cuando construyen una funcionalidad, eligen un modelo y tratan esa decisión como permanente. Pero la frontera de capacidad por parámetro avanza más rápido que la mayoría de los ciclos de compras. Inkling 2 Mini obtuvo 48,2% en DeepSWE v1.1 y 46,5% en Vals Index v2.2, liderando a todos los modelos abiertos de menos de 100B de parámetros totales, y además decodifica más rápido que modelos de rendimiento similar, porque un MoE con 3.4B activos lee muchos menos pesos por token que un denso de 27B. Una elección de modelo hecha hace nueve meses ya no es una decisión: es un hábito que nadie ha revisado.

Pero volver a evaluar de forma ingenua también es una trampa. Las tablas públicas miden lo que los autores de benchmarks consideraron interesante, no lo que hace tu producto. Este es el problema central detrás de por qué los benchmarks de IA no capturan la mayor parte del trabajo real, y los modelos pequeños lo empeoran porque su perfil es más irregular: Inkling 2 Mini es el mejor de su clase en programación agéntica, pero obtiene un discreto 50,0% en MultiChallenge y 33,4% en ComplexConstraints, por detrás de Qwen3.8-27B en ambos. Si tu carga de trabajo son conversaciones multituno llenas de restricciones, los números estrella de programación no te sirven de nada.

La solución: mantén un conjunto de evaluación pequeño y versionado, construido con tu tráfico de producción: entre 200 y 500 casos reales con respuestas correctas conocidas, y ejecuta los nuevos lanzamientos contra él cada trimestre. Es más barato de lo que parece y detecta sorpresas en ambas direcciones: modelos mejores de lo que sugieren sus benchmarks (un comentarista señaló que Inkling 2 Small «se sentía mejor de lo que sugerían los benchmarks») y modelos que brillan en las tablas pero fallan en tus prompts llenos de restricciones. Dedica un día por trimestre. Se pagará solo la primera vez que te permita bajar de nivel de modelo.

Error 5: Ignorar el lado del coste en el balance

Las conversaciones sobre la selección de modelos se obsesionan con la precisión y tratan el coste como un añadido. En producción eso es al revés, porque la curva de costes determina qué es siquiera viable. El Hazy Research Lab de Stanford hizo mediciones iniciales de inteligencia por julio sobre Inkling 2 Mini y obtuvo 0,703, frente a 0,430 de Qwen3.6-35B-A3B, 0,159 de Gemma-4-26B-A4B y 0,036 de Qwen3.5-27B. No es un par de puntos porcentuales mejor, es otro régimen. Y se acumula: un modelo que llega a las respuestas con menos tokens (la propuesta completa de los bucles es razonar sin escribir el razonamiento) gasta menos en cómputo y latencia por tarea.

La consecuencia práctica que más me entusiasma es la densidad multiagente. Como es un MoE pequeño, puedes meter varias cachés KV de agentes en la VRAM de una sola GPU. La demo de 20 aldeanos simulados alimentados por un MacBook sin conexión es vistosa, pero la versión seria es una docena de agentes de producción en un DGX Spark o una estación de trabajo, en lugar de una flota de llamadas a API con facturación por token y salida de datos. Hemos escrito sobre el cambio más amplio hacia este nivel en por qué los LLM de nivel flash son la verdadera historia de la eficiencia en inferencia, y los modelos pequeños en bucle refuerzan considerablemente ese argumento.

La solución: construye tu modelo de costes en torno al coste por tarea completada, no al coste por token. Los bucles añaden tiempo de reloj por token (esas capas intermedias se ejecutan tres veces, y las cuentas de ancho de banda de memoria implican lecturas repetidas), así que las comparaciones ingenuas de tokens por segundo pueden engañar en cualquier dirección. Mide de extremo a extremo: ¿se resolvió la tarea?, ¿cuántos tokens hizo falta?, ¿cuánta energía y latencia consumió? Un modelo que es un 20% más lento por token pero resuelve la tarea con la mitad de tokens y menos reintentos gana siempre.

Una pequeña lámpara iluminando una miniatura de aldea con casas brillantes, simbolizando muchos agentes en un mismo dispositivo.
Un modelo pequeño y eficiente puede sostener una flota completa de agentes en una sola máquina, sin contador de API en marcha.

Qué hacer realmente el lunes

  1. Audita tu gasto en API por tipo de tarea. Todo lo que sea clasificación, extracción, enrutamiento o bucles agénticos cortos es candidato a un modelo local de menos de 30B. Calcula cuánto costaría.
  2. Divide tu conjunto de evaluación entre fallos de razonamiento y fallos de conocimiento. Los modelos pequeños en bucle arreglan los primeros. La recuperación de información arregla los segundos. No los mezcles.
  3. Comprueba si tu modelo candidato se entrenó con baja precisión. Si es así, prueba primero el artefacto de 4 bits en lugar de dejarlo para el final, porque es su forma nativa.
  4. Evalúa con tu propio tráfico, cada trimestre. Las puntuaciones públicas sirven para filtrar, no para decidir.
  5. Prototipa una carga de trabajo multiagente en hardware local. La economía de los agentes persistentes cambia por completo cuando no hay un contador por token.

El cambio más grande no está en un modelo concreto. Está en que las líneas de investigación de los laboratorios de frontera (los bucles, el entrenamiento consciente de la cuantización, la poda agresiva de expertos con recuperación) llegan ahora a los pesos abiertos en cuestión de meses, dimensionados para hardware que ya tienes. Los profesionales que ganen los próximos años no serán los que tengan los presupuestos de API más grandes. Serán los que revisen sus suposiciones sobre modelos con regularidad, porque esas suposiciones caducan antes que el código.

Un modelo pequeño que razona bien y recupera información con honestidad supera a un modelo grande que recuerda con confianza y razona con pereza, en coste, en latencia y, a menudo, en precisión.