Зацикленные малые модели: 5 ошибок в продакшене
Зацикленные трансформеры и квантование NVFP4 изменили возможности малых моделей. Пять ошибок при выборе модели для продакшена.

Команда, с которой я консультировал в прошлом году, платила около $4 000 в месяц за то, чтобы отправлять простые промпты для сортировки тикетов через API фронтирной модели. Нагрузка — классификация и короткая суммаризация. Небольшая языковая модель, запущенная на одной GPU, справилась бы с этим, но никто в команде в это не верил: в последний раз, когда они тестировали модель до 30B параметров, она провалила задачи, требующие рассуждений, и к ней больше не возвращались.
Этот слепой пункт становится дорогим очень быстро. Недавний релиз Inkling 2 Mini — открытая модель с весами на 26,4 млрд параметров, построенная по архитектуре mixture-of-experts, которая трижды прогоняет средние слои на каждом токене, — показала в агентном кодинге результаты лучше всех открытых моделей до 100 млрд параметров и при этом помещается примерно в 20 ГБ памяти. Модель, которая работает офлайн на ноутбуке, обошла в задачах в духе SWE-bench модели в несколько раз больше себя. Разрыв между «маленькой» и «способной» так сократился, что большинство правил о размере модели, которыми пользуются практики, уже устарели. Вот пять ошибок, которые я вижу чаще всего, и что делать вместо них.
Ошибка 1: считать количество параметров потолком возможностей
Модель мышления, которую большинство из нас унаследовало, проста: параметры — это бюджет, а возможности растут вместе с бюджетом. Это никогда не было полностью верно — огромное значение имеют данные для обучения и вычислительные ресурсы, — но как эвристика это работало, пока архитектура не начала делать реальную работу. Зацикливание — самый наглядный пример. Inkling 2 Mini прогоняет свои средние 12 слоёв (два блока по шесть из 24 общих) трижды на каждый токен, тогда как первый и последний блоки выполняются один раз. Интуиция такая: ранние и поздние слои в основном переводят между эмбеддингами и внутренними представлениями, а средние слои несут абстрактное рассуждение. Поэтому вычисления тратятся там, где происходит рассуждение.
Опубликованная абляция стоит внимания: зацикливание средних 12 слоёв обогнало зацикливание последних 12 в 27 из 28 оценок, а базовой модели без зацикливания для достижения того же лосса модели со средним зацикливанием потребовалось примерно в 1,5–1,9 раза больше вычислений. Это не маргинальный трюк настройки. Это другая стратегия распределения вычислений, и она ломает наивную эвристику по числу параметров в конкретном, предсказуемом направлении.
Совет: оценивая малую модель, спрашивайте, куда уходят вычисления на каждый токен, а не только сколько есть весов. Модель на 26B с 3,4B активных параметров и зацикленными средними слоями ближе к «маленькой модели, которая думает дольше», чем к просто «маленькой модели». Это связано с мыслью, которую я уже высказывал: рассуждение встраивается в модели при обучении, а не вытягивается промптами — и теперь всё чаще оно закладывается и в архитектуру.
Ошибка 2: путать рассуждение со знаниями
Вот та часть истории про зацикленные модели, которую практики постоянно пропускают, и она вас укусит. Зацикливание улучшает рассуждение. Оно не создаёт знания. Факты живут в весах, а количество весов — величина фиксированная. Команда Inkling 2 Mini на удивление прямолинейна: на AA-Omniscience, бенчмарке фактологичности, модель показывает результаты, сопоставимые с другими моделями того же размера. Их исследовательский вариант с переменным числом циклов улучшался на бенчмарках последовательных рассуждений и длинного контекста по мере добавления циклов — вплоть до десяти, вдвое больше, чем на обучении, — но бенчмарки, ориентированные на знания, вроде SimpleQA, от дополнительных проходов не сдвинулись.
Я наблюдал, как мой знакомый разбирался с этой путаницей в продакшене. Он заменил большую модель на малую, ориентированную на рассуждение, в боте поддержки, увидел, как качество рассуждений выросло, и выкатил. Через две недели: галлюцинированные артикулы товаров, выдуманные детали политики. Модель блестяще рассуждала о фактах, которых у неё просто не было. Один из ранних тестировщиков на Hacker News столкнулся с той же стеной за два промпта: запрос на плагин WordPress, использующий малоизвестные углы API, дал уверенный, хорошо структурированный и неверный код.
Решение — не «взять модель побольше». Оно архитектурное: соедините малый reasoner с поиском и инструментами. Показательно, что Inkling 2 Mini опережает сопоставимые открытые модели на BrowseComp и DeepSearchQA — бенчмарках, которые измеряют поиск и использование инструментов. Малая модель с хорошей гигиеной работы с инструментами часто обыгрывает большую модель, которая вспоминает устаревшие факты, потому что извлечённый контекст актуален и поддаётся проверке. Моё правило: если ошибки вашей нагрузки связаны с рассуждением, зацикленная малая модель поможет. Если — со знаниями, чините retrieval, а не количество параметров.
Ошибка 3: отметать низкобитное квантование с порога
Пять лет назад фраза «мы квантовали в 4 бита» звучала как извинение. Вы соглашались на реальную потерю качества ради того, чтобы поместиться в более скромное железо, а всё ниже 4 бит было научным экспериментом. Это допущение сейчас стоит людям реального бюджета на железо. Inkling 2 Mini обучена целиком в NVFP4 и развёрнута в NVFP4 нативно, только последние четыре слоя — в MXFP8. Квантование здесь не этап сжатия после обучения, а часть рецепта обучения. Результат: footprint около 20 ГБ при качестве, сопоставимом с BF16-аналогами.

Последствия впечатляют. Команда Unsloth, которая знает боль квантования лучше всех, отметила, что эти нативно низкобитные модели необычно хорошо переносят дальнейшее квантование: по сообщениям, они сохраняют около 90% совпадения top-1 даже при 1 бите. GGUF-сборка появилась на Hugging Face в течение нескольких дней после релиза, и практики уже запускают её на MacBook Pro в самолёте (команда буквально демонстрировала, как модель в полёте создаёт играбельный симулятор полёта офлайн) и на потребительских GPU вроде 7900XTX.
Совет: перестаньте считать квантование деградацией и спросите, была ли модель обучена в низкой точности. Если да, артефакт в 4 бита (или ниже) — полноправный основной вариант, а ваши расчёты «нам нужно 80 ГБ VRAM» надо переделать. Если вам интересно, что это открывает для офлайн-развёртываний, мы разбирали архитектурные паттерны в статье как построить LLM, которая работает офлайн, а аппаратную сторону — в статье запуск LLM на собственном железе.
Ошибка 4: провести бенчмарк один раз и заморозить выбор модели
Самая дорогая ошибка не техническая, а процедурная. Команды устраивают сравнение моделей при первой разработке фичи, выбирают одну и считают решение окончательным. Но граница «возможности на параметр» движется быстрее, чем большинство закупочных циклов. Inkling 2 Mini набрала 48,2% на DeepSWE v1.1 и 46,5% на Vals Index v2.2, опередив все открытые модели до 100 млрд общих параметров, и при этом декодирует быстрее моделей с похожими результатами, потому что MoE с 3,4B активных параметров читает за токен гораздо меньше весов, чем плотная 27B. Выбор модели, сделанный девять месяцев назад, — уже не решение, а непроверенная привычка.
Но наивный повторный бенчмарк — отдельная ловушка. Публичные лидерборды измеряют то, что авторы бенчмарков сочли интересным, а не то, что делает ваш продукт. Это основная проблема, о которой мы говорили в статье почему AI-бенчмарки не видят большую часть реальной работы, и малые модели усугубляют её, потому что их профиль более неровный: Inkling 2 Mini лучшая в классе агентного кодинга, но посредственные 50,0% на MultiChallenge и 33,4% на ComplexConstraints — позади Qwen3.8-27B в обоих случаях. Если ваша нагрузка — многоходовой чат с множеством ограничений, громкие цифры по кодингу для вас не имеют значения.
Совет: поддерживайте небольшой версионированный набор оценок, собранный из вашего продакшн-трафика, — 200–500 реальных кейсов с эталонными ответами — и прогоняйте через него новые релизы моделей раз в квартал. Это дешевле, чем кажется, и ловит сюрпризы в обоих направлениях: модели, которые лучше, чем предсказывают бенчмарки (один комментатор написал, что Inkling 2 Small «ощущается лучше, чем показывали бенчмарки»), и модели, которые блистают в лидербордах, но проваливаются на ваших промптах с ограничениями. Закладывайте на это день в квартал. Окупится в первый же раз, когда позволит понизить уровень модели.
Ошибка 5: игнорировать денежную сторону
Разговоры о выборе модели зациклены на точности, а стоимость воспринимается как запоздалая мысль. В продакшене это неверно: кривая стоимости определяет, что вообще осуществимо. Исследовательская группа Hazy Research из Стэнфорда провела ранние замеры «интеллекта на джоуль» для Inkling 2 Mini и получила 0,703 — против 0,430 у Qwen3.6-35B-A3B, 0,159 у Gemma-4-26B-A4B и 0,036 у Qwen3.5-27B. Это не на несколько процентов лучше, а другой режим. И эффект накапливается: модель, которая приходит к ответу меньшим числом токенов (весь смысл зацикливания — рассуждать, не записывая рассуждение), тратит меньше и на вычисления, и на задержку на задачу.
Практическое следствие, которое меня волнует больше всего, — плотность мультиагентности. Поскольку это малый MoE, вы можете разместить KV-кэши нескольких агентов в VRAM одной GPU. Демо с 20 симулированными жителями деревни, которых питает один офлайн MacBook, милое, но серьёзный вариант — это дюжина продакшн-агентов на одном DGX Spark или одной рабочей станции вместо парка API-вызовов с оплатой за токен и передачей данных наружу. Мы писали о более широком сдвиге к этому классу моделей в статье почему LLM класса flash — настоящая история эффективности инференса, и зацикленные малые модели заметно усиливают этот аргумент.
Совет: строите модель стоимости вокруг стоимости завершённой задачи, а не стоимости токена. Зацикливание добавляет реальное время на каждый токен (средние слои выполняются трижды, а математика пропускной способности памяти включает повторные чтения), поэтому наивные сравнения токенов в секунду могут вводить в заблуждение в обе стороны. Измеряйте сквозь весь путь: была ли задача решена, сколько токенов ушло, сколько энергии и задержки потрачено. Модель, которая на 20% медленнее на токен, но решает задачу вдвое меньшим числом токенов и с меньшим количеством повторов, побеждает всегда.

Что конкретно сделать в понедельник
- Проаудитируйте расходы на API по типам задач. Всё, что относится к классификации, извлечению, маршрутизации или коротким агентным циклам, — кандидат на локальную модель до 30B. Посчитайте стоимость.
- Разделите набор оценок на ошибки рассуждения и ошибки знаний. Зацикленные малые модели исправляют первые. Retrieval — вторые. Не смешивайте их.
- Проверьте, обучалась ли кандидат-модель в низкой точности. Если да, тестируйте 4-битный артефакт первым, а не последним — это её родная форма.
- Прогоняйте бенчмарк на собственном трафике раз в квартал. Публичные результаты — инструмент для отбора, а не решение.
- Прототипируйте одну мультиагентную нагрузку на локальном железе. Экономика постоянных агентов меняется полностью, когда нет счётчика оплаты за токен.
Главный сдвиг здесь не в какой-то одной модели. Исследовательские направления фронтирных лабораторий — зацикливание, обучение с учётом квантования, агрессивное прореживание экспертов с последующим восстановлением — теперь за несколько месяцев попадают в открытые веса, рассчитанные на железо, которое у вас уже есть. Практики, которые выиграют следующие несколько лет, будут не теми, у кого самые большие бюджеты на API. Они будут пересматривать свои предположения о моделях по расписанию, потому что эти предположения живут меньше, чем код.
Малая модель, которая хорошо рассуждает и честно извлекает данные, побеждает большую модель, которая уверенно что-то помнит и лениво рассуждает — по стоимости, задержке и часто по точности.


