Подробные статьи о технологиях, определяющих будущее.

Зацикленные малые модели: 5 ошибок в продакшене

Зацикленные трансформеры и квантование NVFP4 изменили возможности малых моделей. Пять ошибок при выборе модели для продакшена.

Маленькая латунная машина ткёт сложный гобелен, который трижды проходит по собственному узору, символизируя зацикленную модель.
Маленькое больше не значит поверхностное: повторные внутренние проходы позволяют компактным моделям намного превосходить свой размер по числу параметров.

Команда, с которой я консультировал в прошлом году, платила около $4 000 в месяц за то, чтобы отправлять простые промпты для сортировки тикетов через API фронтирной модели. Нагрузка — классификация и короткая суммаризация. Небольшая языковая модель, запущенная на одной GPU, справилась бы с этим, но никто в команде в это не верил: в последний раз, когда они тестировали модель до 30B параметров, она провалила задачи, требующие рассуждений, и к ней больше не возвращались.

Этот слепой пункт становится дорогим очень быстро. Недавний релиз Inkling 2 Mini — открытая модель с весами на 26,4 млрд параметров, построенная по архитектуре mixture-of-experts, которая трижды прогоняет средние слои на каждом токене, — показала в агентном кодинге результаты лучше всех открытых моделей до 100 млрд параметров и при этом помещается примерно в 20 ГБ памяти. Модель, которая работает офлайн на ноутбуке, обошла в задачах в духе SWE-bench модели в несколько раз больше себя. Разрыв между «маленькой» и «способной» так сократился, что большинство правил о размере модели, которыми пользуются практики, уже устарели. Вот пять ошибок, которые я вижу чаще всего, и что делать вместо них.

Ошибка 1: считать количество параметров потолком возможностей

Модель мышления, которую большинство из нас унаследовало, проста: параметры — это бюджет, а возможности растут вместе с бюджетом. Это никогда не было полностью верно — огромное значение имеют данные для обучения и вычислительные ресурсы, — но как эвристика это работало, пока архитектура не начала делать реальную работу. Зацикливание — самый наглядный пример. Inkling 2 Mini прогоняет свои средние 12 слоёв (два блока по шесть из 24 общих) трижды на каждый токен, тогда как первый и последний блоки выполняются один раз. Интуиция такая: ранние и поздние слои в основном переводят между эмбеддингами и внутренними представлениями, а средние слои несут абстрактное рассуждение. Поэтому вычисления тратятся там, где происходит рассуждение.

Опубликованная абляция стоит внимания: зацикливание средних 12 слоёв обогнало зацикливание последних 12 в 27 из 28 оценок, а базовой модели без зацикливания для достижения того же лосса модели со средним зацикливанием потребовалось примерно в 1,5–1,9 раза больше вычислений. Это не маргинальный трюк настройки. Это другая стратегия распределения вычислений, и она ломает наивную эвристику по числу параметров в конкретном, предсказуемом направлении.

Совет: оценивая малую модель, спрашивайте, куда уходят вычисления на каждый токен, а не только сколько есть весов. Модель на 26B с 3,4B активных параметров и зацикленными средними слоями ближе к «маленькой модели, которая думает дольше», чем к просто «маленькой модели». Это связано с мыслью, которую я уже высказывал: рассуждение встраивается в модели при обучении, а не вытягивается промптами — и теперь всё чаще оно закладывается и в архитектуру.

Ошибка 2: путать рассуждение со знаниями

Вот та часть истории про зацикленные модели, которую практики постоянно пропускают, и она вас укусит. Зацикливание улучшает рассуждение. Оно не создаёт знания. Факты живут в весах, а количество весов — величина фиксированная. Команда Inkling 2 Mini на удивление прямолинейна: на AA-Omniscience, бенчмарке фактологичности, модель показывает результаты, сопоставимые с другими моделями того же размера. Их исследовательский вариант с переменным числом циклов улучшался на бенчмарках последовательных рассуждений и длинного контекста по мере добавления циклов — вплоть до десяти, вдвое больше, чем на обучении, — но бенчмарки, ориентированные на знания, вроде SimpleQA, от дополнительных проходов не сдвинулись.

Я наблюдал, как мой знакомый разбирался с этой путаницей в продакшене. Он заменил большую модель на малую, ориентированную на рассуждение, в боте поддержки, увидел, как качество рассуждений выросло, и выкатил. Через две недели: галлюцинированные артикулы товаров, выдуманные детали политики. Модель блестяще рассуждала о фактах, которых у неё просто не было. Один из ранних тестировщиков на Hacker News столкнулся с той же стеной за два промпта: запрос на плагин WordPress, использующий малоизвестные углы API, дал уверенный, хорошо структурированный и неверный код.

Решение — не «взять модель побольше». Оно архитектурное: соедините малый reasoner с поиском и инструментами. Показательно, что Inkling 2 Mini опережает сопоставимые открытые модели на BrowseComp и DeepSearchQA — бенчмарках, которые измеряют поиск и использование инструментов. Малая модель с хорошей гигиеной работы с инструментами часто обыгрывает большую модель, которая вспоминает устаревшие факты, потому что извлечённый контекст актуален и поддаётся проверке. Моё правило: если ошибки вашей нагрузки связаны с рассуждением, зацикленная малая модель поможет. Если — со знаниями, чините retrieval, а не количество параметров.

Ошибка 3: отметать низкобитное квантование с порога

Пять лет назад фраза «мы квантовали в 4 бита» звучала как извинение. Вы соглашались на реальную потерю качества ради того, чтобы поместиться в более скромное железо, а всё ниже 4 бит было научным экспериментом. Это допущение сейчас стоит людям реального бюджета на железо. Inkling 2 Mini обучена целиком в NVFP4 и развёрнута в NVFP4 нативно, только последние четыре слоя — в MXFP8. Квантование здесь не этап сжатия после обучения, а часть рецепта обучения. Результат: footprint около 20 ГБ при качестве, сопоставимом с BF16-аналогами.

Большие плотные книги, сжатые в небольшой светящийся набор тонких томов, символизирующий обучение с учётом квантования.
Обучение с учётом квантования означает, что компактный размер — не компромисс, а целевая метрика с первого дня.

Последствия впечатляют. Команда Unsloth, которая знает боль квантования лучше всех, отметила, что эти нативно низкобитные модели необычно хорошо переносят дальнейшее квантование: по сообщениям, они сохраняют около 90% совпадения top-1 даже при 1 бите. GGUF-сборка появилась на Hugging Face в течение нескольких дней после релиза, и практики уже запускают её на MacBook Pro в самолёте (команда буквально демонстрировала, как модель в полёте создаёт играбельный симулятор полёта офлайн) и на потребительских GPU вроде 7900XTX.

Совет: перестаньте считать квантование деградацией и спросите, была ли модель обучена в низкой точности. Если да, артефакт в 4 бита (или ниже) — полноправный основной вариант, а ваши расчёты «нам нужно 80 ГБ VRAM» надо переделать. Если вам интересно, что это открывает для офлайн-развёртываний, мы разбирали архитектурные паттерны в статье как построить LLM, которая работает офлайн, а аппаратную сторону — в статье запуск LLM на собственном железе.

Ошибка 4: провести бенчмарк один раз и заморозить выбор модели

Самая дорогая ошибка не техническая, а процедурная. Команды устраивают сравнение моделей при первой разработке фичи, выбирают одну и считают решение окончательным. Но граница «возможности на параметр» движется быстрее, чем большинство закупочных циклов. Inkling 2 Mini набрала 48,2% на DeepSWE v1.1 и 46,5% на Vals Index v2.2, опередив все открытые модели до 100 млрд общих параметров, и при этом декодирует быстрее моделей с похожими результатами, потому что MoE с 3,4B активных параметров читает за токен гораздо меньше весов, чем плотная 27B. Выбор модели, сделанный девять месяцев назад, — уже не решение, а непроверенная привычка.

Но наивный повторный бенчмарк — отдельная ловушка. Публичные лидерборды измеряют то, что авторы бенчмарков сочли интересным, а не то, что делает ваш продукт. Это основная проблема, о которой мы говорили в статье почему AI-бенчмарки не видят большую часть реальной работы, и малые модели усугубляют её, потому что их профиль более неровный: Inkling 2 Mini лучшая в классе агентного кодинга, но посредственные 50,0% на MultiChallenge и 33,4% на ComplexConstraints — позади Qwen3.8-27B в обоих случаях. Если ваша нагрузка — многоходовой чат с множеством ограничений, громкие цифры по кодингу для вас не имеют значения.

Совет: поддерживайте небольшой версионированный набор оценок, собранный из вашего продакшн-трафика, — 200–500 реальных кейсов с эталонными ответами — и прогоняйте через него новые релизы моделей раз в квартал. Это дешевле, чем кажется, и ловит сюрпризы в обоих направлениях: модели, которые лучше, чем предсказывают бенчмарки (один комментатор написал, что Inkling 2 Small «ощущается лучше, чем показывали бенчмарки»), и модели, которые блистают в лидербордах, но проваливаются на ваших промптах с ограничениями. Закладывайте на это день в квартал. Окупится в первый же раз, когда позволит понизить уровень модели.

Ошибка 5: игнорировать денежную сторону

Разговоры о выборе модели зациклены на точности, а стоимость воспринимается как запоздалая мысль. В продакшене это неверно: кривая стоимости определяет, что вообще осуществимо. Исследовательская группа Hazy Research из Стэнфорда провела ранние замеры «интеллекта на джоуль» для Inkling 2 Mini и получила 0,703 — против 0,430 у Qwen3.6-35B-A3B, 0,159 у Gemma-4-26B-A4B и 0,036 у Qwen3.5-27B. Это не на несколько процентов лучше, а другой режим. И эффект накапливается: модель, которая приходит к ответу меньшим числом токенов (весь смысл зацикливания — рассуждать, не записывая рассуждение), тратит меньше и на вычисления, и на задержку на задачу.

Практическое следствие, которое меня волнует больше всего, — плотность мультиагентности. Поскольку это малый MoE, вы можете разместить KV-кэши нескольких агентов в VRAM одной GPU. Демо с 20 симулированными жителями деревни, которых питает один офлайн MacBook, милое, но серьёзный вариант — это дюжина продакшн-агентов на одном DGX Spark или одной рабочей станции вместо парка API-вызовов с оплатой за токен и передачей данных наружу. Мы писали о более широком сдвиге к этому классу моделей в статье почему LLM класса flash — настоящая история эффективности инференса, и зацикленные малые модели заметно усиливают этот аргумент.

Совет: строите модель стоимости вокруг стоимости завершённой задачи, а не стоимости токена. Зацикливание добавляет реальное время на каждый токен (средние слои выполняются трижды, а математика пропускной способности памяти включает повторные чтения), поэтому наивные сравнения токенов в секунду могут вводить в заблуждение в обе стороны. Измеряйте сквозь весь путь: была ли задача решена, сколько токенов ушло, сколько энергии и задержки потрачено. Модель, которая на 20% медленнее на токен, но решает задачу вдвое меньшим числом токенов и с меньшим количеством повторов, побеждает всегда.

Одна маленькая лампа питает миниатюрную деревню из светящихся домов, символизируя множество агентов на одном устройстве.
Одна эффективная малая модель может обслуживать целый парк агентов на одной машине — без счётчика API.

Что конкретно сделать в понедельник

  1. Проаудитируйте расходы на API по типам задач. Всё, что относится к классификации, извлечению, маршрутизации или коротким агентным циклам, — кандидат на локальную модель до 30B. Посчитайте стоимость.
  2. Разделите набор оценок на ошибки рассуждения и ошибки знаний. Зацикленные малые модели исправляют первые. Retrieval — вторые. Не смешивайте их.
  3. Проверьте, обучалась ли кандидат-модель в низкой точности. Если да, тестируйте 4-битный артефакт первым, а не последним — это её родная форма.
  4. Прогоняйте бенчмарк на собственном трафике раз в квартал. Публичные результаты — инструмент для отбора, а не решение.
  5. Прототипируйте одну мультиагентную нагрузку на локальном железе. Экономика постоянных агентов меняется полностью, когда нет счётчика оплаты за токен.

Главный сдвиг здесь не в какой-то одной модели. Исследовательские направления фронтирных лабораторий — зацикливание, обучение с учётом квантования, агрессивное прореживание экспертов с последующим восстановлением — теперь за несколько месяцев попадают в открытые веса, рассчитанные на железо, которое у вас уже есть. Практики, которые выиграют следующие несколько лет, будут не теми, у кого самые большие бюджеты на API. Они будут пересматривать свои предположения о моделях по расписанию, потому что эти предположения живут меньше, чем код.

Малая модель, которая хорошо рассуждает и честно извлекает данные, побеждает большую модель, которая уверенно что-то помнит и лениво рассуждает — по стоимости, задержке и часто по точности.