Мифы о механистической интерпретируемости: проверка

Долгое время общепринятым мнением в механистической интерпретируемости был мрачный взгляд: нейронные сети — это запутанные клубки, и прежде чем что-то понять, нужно сначала поручить другой модели их распутать. Это убеждение задавало направление исследований, оправдывало целые поднаправления, построенные на разреженных автоэнкодерах, и незаметно убедило многих инженеров, что заглядывать внутрь LLM — занятие бессмысленное. Один из исследователей, который сам помогал формировать этот пессимизм, во многом от него отказался. Согласны ли вы с самой сильной версией его тезиса или нет, сейчас хороший момент пересмотреть то, что мы считаем известным о внутреннем устройстве моделей. Давайте проверим пять распространённых убеждений по фактам.

Миф 1: нейроны безнадёжно полисемантичны

Фундаментальная легенda современной интерпретируемости — полисемантичный нейрон, то есть одна единица, которая срабатывает и на кошачьи морды, и на передние части автомобилей, между которыми нет очевидной связи. Если нейроны регулярно объединяют несвязанные понятия, рассуждала эта логика, то понимать сеть нейрон за нейроном бессмысленно. Этот пример сыграл огромную риторическую роль. Это был главный аргумент, который оправдывал всю картину мира «сети — это узлы».

Новый тезис состоит в том, что этот аргумент был понят неверно. Когда исследователи проследили реальную схему, стоящую за знаменитым нейроном «автомобиль-собака», оказалось, что ни один последующий слой никогда не считывал именно эту комбинацию. Нейрон не провозил признак «автомобиль» через несвязанную территорию; он занимался обычным обобщением и композицией. А самый запутанный слой любимой модельной «лабораторной крысы» ранней эпохи — последний слой InceptionV1, который когда-то считали почти полностью непонятным, — после обычных архитектурных исправлений оказывается на 99–100% понятным, без изменения размера модели и обучающих данных. Узел во многом оказался артефактом измерения.

Языковые модели демонстрируют ту же картину в другом масштабе. Аудиты 2023 года поставили медианному нейрону небольшого трансформера ноль по рубрике интерпретируемости, а большой автоматизированный проект по объяснимости нашёл понятными примерно 1,7% нейронов. Предварительные аудиты современных моделей на 32 миллиарда параметров с более совершенными инструментами оценивают, что около 90% полюсов нейронов выполняют одну основную задачу, ещё около 7% имеют две связанные задачи, и лишь несколько процентов остаются по-настоящему загадочными. Оставшаяся «полисемантичность» часто исчезает при внимательном рассмотрении: нейрон, который, похоже, распознаёт и суффикс, и целую фразу вроде «сделай сам», не объединяет несвязанные вещи — он вырос из одного в другое.

Мой вывод: убеждение мертво, но хоронить его стоит скромно. Один скептически настроенный комментатор напомнил, что постепенное усложнение признаков известно ещё со времён эпохи CNN, а сжатые, несемантические представления задокументированы и в других местах. Утверждение «нейроны менее полисемантичны, чем мы боялись» хорошо подтверждено. Утверждение «нейроны никогда не бывают полисемантичными» не доказано.

Миф 2: суперпозиция — фундаментальный принцип обучения

Суперпозиция была элегантной теорией, которая объясняла беспорядок: когда у сети заканчиваются нейроны, она перестаёт группировать похожее и начинает складывать несвязанные вещи в одну единицу, используя геометрию многомерных пространств, чтобы они не мешали друг другу. По этой теории то, какие понятия делят один нейрон, почти ничего не говорит — складывание произвольно, это одна из многих одинаково хороших конфигураций. Чтобы изучать сеть, её сначала нужно развернуть.

Альтернативное предложение почти разочаровывающе простое: существует только один принцип обучения, и это обобщение. То, что выглядело как складывание, на самом деле является рекурсивным обобщением — нейроны обрастают отростками так же, как ветка дерева обрастает ветвями поменьше. Нейрон, который детектирует «iy», растёт до распознавания «diy», а затем всей концепции «сделай сам». Каждое расширение идёт в соседнюю семантическую область, а не в случайную. А когда модель уменьшают, она не меняет стратегию: нейроны просто становятся грубее, и один нейрон «автомобиль» покрывает много видов машин вместо того, чтобы специализироваться. Если масштабировать модель в диапазоне размеров в 300 раз, та же понятность сохраняется — нейроны дифференцируются, а не запутываются.

Это важно, потому что меняет смысл группировки нейрона. При суперпозиции нейрон, срабатывающий на две разные вещи, — это шум. При рекурсивном обобщении это гипотеза о иерархии понятий модели: есть что узнать о том, почему эти вещи живут вместе. Кроме того, объяснения могут быть фрактальными: начинаете с грубой метки и приближаетесь, когда нужны детали. Для инженеров это разница между шестнадцатеричным дампом и стек-трейсом с именами символов.

На столе лежали две версии: обобщение группирует похожие вещи, суперпозиция группирует несвязанные. Область сделала ставку на неправильную.

Одну оговорку, которую энтузиасты обходят стороной: суперпозиция как математический феномен, когда признаки представлены в меньшем числе измерений, чем их самих, хорошо установлена на игрушечных моделях. Спорно то, является ли она верным объяснением для типичных запутанных нейронов в реальных сетях. Это разные утверждения, и их смешивание приводит к тому, что результат либо переоценивают, либо отвергают без причины.

Миф 3: чтобы что-то увидеть, нужен разреженный автоэнкодер

Практическим следствием теории узлов стала методологическая установка: изучайте не сеть, а её разложение. Обучите разреженный автоэнкодер, который аппроксимирует «развёрнутую» сеть, а затем интерпретируйте выученные им признаки, а не исходные нейроны. Так появилась целая индустрия конвейеров — словарное обучение, функции реконструкции, панели признаков — и несколько действительно впечатляющих результатов, например монософтные признаки, которые Anthropic извлекла из моделей масштаба Claude.

Но обратите внимание, что подход с автоэнкодерами предполагает: исходная сеть неразборчива, а истина скрыта в аппроксимации. Если сети уже чистые, это предположение переворачивается. Собственные нейроны и схемы сети становятся основным объектом изучения, а автоэнкодер в лучшем случае превращается в инструмент сжатия — полезный для обобщения и опасный, если принять сводку за систему. У автоэнкодеров есть собственные режимы отказа: они могут выдумывать признаки, которые хорошо реконструируют активации, но не соответствуют никакому реальному механизму, а ошибки реконструкции именно такого рода и мешают при анализе, критичном для безопасности.

Альтернативный рабочий процесс больше похож на обычную отладку. Выберите нейрон. Посмотрите на его самые сильные активации, а потом на слабые (слабые активации оказываются информативными: знаменитый «нейрон Титаника» слабо срабатывает на вещи той же эпохи, например на паровые двигатели, и это обобщение, а не путаница). Проследите, с чем он связан дальше по сети. В моделях mixture-of-experts проверьте, на чём специализируется его эксперт. Понимание накапливается, как в кроссворде: каждый расшифрованный нейрон ограничивает соседние. Ни для чего из этого не нужно обучать вторую модель.

• Начните с сильных активаций одного нейрона, затем изучите слабые активации, чтобы найти границу обобщения.
• Проследите связи вниз по сети, чтобы увидеть, что на самом деле считывает выход нейрона: многие «загадки» разрешаются именно здесь.
• Используйте окружающую схему и специализацию экспертов как перекрёстные проверки, как вы бы использовали вызывающие и вызываемые функции в профилировщике.
• Обращайтесь к автоэнкодерам, когда нужно сжатие или поиск, а не как к истине о механизме.

Миф 4: маленькие модели рассказывают, как работают большие

Большинство пессимистичных классических результатов получено на маленьких или упрощённых моделях — однослойных трансформерах, ранних сетях для компьютерного зрения. Здесь есть удобная ирония: маленьким моделям действительно не хватает места, и поэтому суперпозиция выглядела естественным объяснением их поведения. Но сеть, которой не хватает места, не меняет принципов обучения; её нейроны просто становятся шире. Широкие нейроны для примитивных инструментов выглядят как произвольные смеси. Когда модель масштабируют, эти широкие нейроны дифференцируются в чистые и специфичные.

То же относится и к инструментам. Автоматические объяснители эпохи 2023 года не могли вести цикл гипотеза–проверка: они порождали гипотезу по активациям и оценивали её симуляцией, а это вознаграждало правдоподобно звучащие объяснения, а не верные. Современные агентные инструменты умеют вмешиваться: править активации, отключать нейрон, предсказывать эффект, проверять результат. Именно такой замкнутый цикл превратил «1,7% понятны» в «около 90% с одной основной задачей» больше, чем какое-либо свойство самих моделей. Нам стоит быть скромнее в оценке того, сколько литературы измеряет наши инструменты, а не сети.

Здесь есть параллель с другими случаями, когда разрыв между спецификацией и работающей системой скрывал настоящее поведение: разрыв между спецификацией и реализацией — это место, где живут баги, и здесь же жили фантомные баги интерпретируемости. Веса модели всегда были истиной; наши описания этих весов были багованной спецификацией.

Миф 5: интерпретируемость не меняет способ разработки

Даже практики, которые следили за литературой по интерпретируемости, часто относили её к разряду «исследования безопасности, актуально когда-нибудь». Сейчас это неверно, какими бы ни были ваши взгляды на самые сильные утверждения. Если нейроны и схемы — понятные строительные блоки, они становятся рычагами: управляемыми признаками, которые можно зафиксировать, усилить или отключить во время инференса. Управление признаками — усиление направления «правдивость» и подавление направления «угодничество» — уже работающая техника, и она заметно принципиальнее, когда признак соответствует реальному механизму, а не артефакту реконструкции автоэнкодера.

Для отладки главная выгода — предвидение. Когда модель ведёт себя неправильно на классе входных данных, текущая практика — это археология промптов и гадание на ощущениях. Понятная схема даёт нечто ближе к профилировщику: какие признаки сработали, что их считало, где на самом деле было принято решение. Это дополняет поведенческие методы, а не заменяет их: если вы формируете выходы модели для продакшена, ограниченное декодирование отвечает за контракт вывода, а интерпретируемость — за вопрос «почему». А для агентов, действующих автономно, внутренняя наблюдаемость добавляет измерение, которого не дают внешние ограничители: мы уже писали о сдерживании и мониторинге ИИ-агентов, и мониторинг становится заметно сильнее, когда можно наблюдать механизм, а не только поведение.

Ещё одно следствие заслуживает внимания, и оно касается доступа. Вся эта исследовательская программа зависит от открытых весов. Схемы в модели, доступной только через API, аудировать нельзя. Если понимание внутреннего устройства — необходимое условие доверия всё более автономным системам, а я думаю, что так и есть, то открытость весов — не идеологическое пожелание, а фундамент всей истории об отладке.

Что на самом деле взять из всего этого

Если убрать хайп, защищаемая суть такова: классические доказательства того, что сети произвольно запутаны, не выдержали пересмотра; современные модели с современными инструментами выглядят заметно понятнее, чем предполагала литература 2023 года; а оставшийся беспорядок имеет структуру — фрактальное обобщение, — которую можно использовать, а не распутывать. Сильная версия тезиса, «интерпретируемость по сути решена, осталось лишь масштабировать», звучит знакомо тем, кто видел первую волну энтузиазма по автоэнкодерам, и заслуживает того скепсиса, который она получает.

Для инженеров, которые работают с этим каждый день, мой совет конкретный: перестаньте по умолчанию считать внутренности модели чёрным ящиком. Инструменты для зондирования активаций, управления признаками и трассировки схем быстро взрослеют, а концептуальный барьер — «всё равно это произвольные узлы» — никогда не был таким несущим, как казалось. Нейронные сети, возможно, не чистые так, как наш код. Но они гораздо ближе к понятным системам, чем к магии, а понятные системы — то, с чем мы умеем инженерить.