메카니스틱 해석 가능성의 다섯 가지 통념을 검증하다

몇 년 동안 메카니스틱 해석 가능성 분야의 통념은 암울했습니다. 신경망은 얽힌 매듭이라서, 이해하려면 먼저 또 다른 모델을 고용해 그것을 풀어야 한다는 것이었죠. 이 믿음은 연구 방향을 정했고, 희소 오토인코더(sparse autoencoder)를 중심으로 한 하위 분야 전체를 정당화했으며, 많은 엔지니어에게 LLM 내부를 들여다보는 일은 헛수고라는 인식을 조용히 심어 주었습니다. 그런데 이 비관론을 만든 연구자 중 한 명이 이제 그 주장을 상당 부분 철회했습니다. 가장 강한 버전의 주장을 그대로 믿든 말든, 모델 내부에 대해 우리가 안다고 생각했던 것을 다시 따져 볼 좋은 시점입니다. 흔한 통념 다섯 가지를 근거에 비추어 검증해 보겠습니다.

통념 1: 뉴런은 희망 없이 다의적(polysemantic)이다

현대 해석 가능성 연구의 출발점이 된 전설은 다의적 뉴런입니다. 고양이 얼굴과 자동차 앞면에 모두 반응하는, 아무 관련이 없어 보이는 두 대상에 동시에 발화하는 단일 유닛이죠. 뉴런이 관련 없는 개념들을 습관적으로 묶는다면, 뉴런 하나씩 들여다보는 방식은 처음부터 불가능하다는 논리였습니다. 이 사례는 수사적으로 엄청난 역할을 했습니다. '신경망은 매듭이다'라는 세계관을 정당화한 증거 1번이었으니까요.

새로운 주장은 증거 1번을 잘못 읽었다는 것입니다. 연구자들이 그 유명한 자동차-개 뉴런 뒤에 있는 실제 회로를 추적했더니, 하류의 어떤 것도 그 특정 조합을 다시 읽어 가지 않았습니다. 이 뉴런은 자동차 특징을 무관한 영역에 몰래 숨긴 것이 아니라, 평범한 일반화와 합성을 수행하고 있었던 겁니다. 게다가 초기 연구가 가장 애용한 모델 실험체인 InceptionV1의 마지막 계층은 해석 가능한 뉴런이 거의 없다고 여겨졌는데, 일반적인 아키텍처 수정만으로 99~100%가 깔끔하게 해석 가능한 것으로 나타났습니다. 모델 크기나 학습 데이터는 전혀 바뀌지 않았고요. 매듭은 상당 부분 측정 과정이 만들어 낸 착시였던 셈입니다.

언어 모델에서도 같은 패턴이 다른 규모로 나타납니다. 2023년 감사에서는 작은 트랜스포머의 중간 뉴런이 해석 가능성 평가 기준에서 0점을 받았고, 대규모 자동 설명 프로젝트는 뉴런의 약 1.7%만 읽을 수 있다고 판정했습니다. 더 나은 도구로 진행된 최신 32B 파라미터 모델 예비 감사에서는 뉴런 극(pole)의 약 90%가 주된 역할 하나를 가지고, 약 7%는 서로 관련된 역할 두 개를 가지며, 정말로 불가해한 것은 몇 퍼센트에 그친다고 추정합니다. 남은 '다의성'도 들여다보면 상당수가 사라집니다. 접미사와 'do it yourself' 같은 완전한 구절에 모두 반응하는 것처럼 보이는 뉴런은 무관한 것들을 뭉친 것이 아니라, 하나에서 다른 하나로 자라난 것입니다.

제 생각은 이렇습니다. 이 통념은 죽었지만 장례식은 조촐해야 합니다. 한 회의적인 댓글 작성자는 CNN 시절부터 특징의 복잡도가 점진적으로 높아진다는 사실이 알려져 있었고, 의미 중심이 아닌 압축된 표현도 다른 곳에서 이미 기록되어 있다고 지적했습니다. '우리가 걱정했던 것보다 덜 다의적이다'는 충분히 뒷받침되지만, '결코 다의적이지 않다'는 아직 증명되지 않았습니다.

통념 2: 중첩(superposition)은 근본적인 학습 원리다

중첩은 그 혼란을 설명해 준 우아한 이론이었습니다. 네트워크가 뉴런을 다 써 버리면 비슷한 것끼리 묶기를 그만두고, 고차원 공간의 기하학을 이용해 서로 간섭하지 않도록 무관한 것들을 한 유닛에 겹쳐 넣기 시작한다는 것이죠. 이 이론에 따르면 어떤 개념들이 한 뉴런을 공유하는지는 거의 아무 정보도 주지 않습니다. 접힘은 임의적이고, 수많은 동등하게 좋은 구성 중 하나일 뿐이니까요. 따라서 연구하기 전에 먼저 펼쳐야 합니다.

대안은 거의 실망스러울 만큼 단순합니다. 학습 원리는 하나뿐이고, 그것은 일반화라는 것입니다. 접힘처럼 보였던 현상은 실제로는 재귀적 일반화입니다. 나무 가지가 가지를 치듯 뉴런이 곁가지를 뻗는 것이죠. 'iy'에 반응하던 뉴런이 'diy'로 확장되고, 나중에는 'do it yourself'라는 개념 전체로 확장됩니다. 모든 확장은 인접한 의미 영역으로 이루어지며, 무작위로 뛰어드는 법은 없습니다. 모델 크기를 줄여도 전략을 바꾸지 않고, 뉴런이 그냥 더 거칠어집니다. 특정 '자동차' 뉴런이 특정 차종에 특화되는 대신 여러 종류의 자동차를 함께 덮게 되는 식입니다. 300배 크기 범위에 걸쳐 키워 보아도 같은 해석 가능성이 유지됩니다. 뉴런은 얽히는 것이 아니라 분화합니다.

이것이 중요한 이유는 뉴런의 묶음이 무엇을 의미하는지를 바꾸기 때문입니다. 중첩 이론에서는 두 가지에 동시에 발화하는 뉴런은 잡음입니다. 재귀적 일반화에서는 모델의 개념 계층에 대한 가설이고, 왜 그 두 가지가 같은 자리를 공유하는지 배울 거리가 있습니다. 또한 설명이 프랙탈처럼 될 수 있다는 뜻이기도 합니다. 거친 라벨로 시작해서 세부가 필요할 때 확대하면 됩니다. 엔지니어 입장에서 보면 심볼 이름이 없는 헥스 덤프와 심볼 이름이 있는 스택 트레이스의 차이와 같습니다.

테이블 위에는 두 가지 설명이 있었습니다. 일반화는 비슷한 것들을 묶고, 중첩은 무관한 것들을 묶는다는 것입니다. 업계는 잘못된 쪽에 걸었습니다.

열성 지지자들이 얼버무리는 단서를 하나 덧붙이겠습니다. 중첩이라는 수학적 현상, 즉 특징의 개수보다 적은 차원에 특징을 표현하는 현상은 토이 모델에서 잘 확립되어 있습니다. 논쟁이 되는 것은 실제 신경망에 있는 전형적인 복잡한 뉴런을 설명하는 데 그것이 올바른 설명인지 여부입니다. 이 둘은 다른 주장이고, 이를 뒤섞으면 결과를 과대평가하거나 과소평가하게 됩니다.

통념 3: 무언가를 보려면 희소 오토인코더가 필요하다

매듭 이론의 실질적인 결과는 방법론이었습니다. 네트워크를 연구하지 말고 그 분해본을 연구하라는 것이죠. 펼쳐진 네트워크를 근사하도록 희소 오토인코더를 학습시키고, 원래 뉴런 대신 SAE가 학습한 특징을 해석합니다. 이것은 사전 학습(dictionary learning), 재구성 목적 함수, 특징 대시보드 같은 파이프라인 산업 전체를 낳았고, Anthropic이 Claude급 모델에서 추출한 단일 의미(monosemantic) 특징처럼 실제로 인상적인 결과도 나왔습니다.

하지만 SAE 접근법이 전제하는 것을 눈여겨보세요. 원래 네트워크는 읽을 수 없고, 진실은 근사에 있다는 전제입니다. 네트워크가 이미 깔끔하다면 이 전제는 뒤집힙니다. 네트워크 자체의 뉴런과 회로가 주된 연구 대상이 되고, SAE는 기껏해야 압축 도구가 됩니다. 요약에는 유용하지만, 요약을 시스템 자체로 착각하면 위험하죠. SAE에도 고유한 실패 양식이 있습니다. 실제 메커니즘에 대응하지 않으면서도 활성화를 잘 재구성하는 특징을 만들어 낼 수 있고, 그 재구성 오차는 안전이 중요한 분석에서 바로 문제가 되는 종류의 것입니다.

대안 워크플로는 일상적인 디버깅에 더 가깝습니다. 뉴런 하나를 고릅니다. 가장 강한 활성화를 보고, 그다음 약한 활성화를 봅니다. 약한 활성화가 의외로 정보가 많습니다. 유명한 '타이타닉 뉴런'은 증기기관처럼 그 시대와 관련된 것에 약하게 반응하는데, 이는 혼란이 아니라 일반화입니다. 하류에 무엇과 연결되는지 추적합니다. 전문가 혼합(mixture-of-experts) 모델이라면 그 뉴런이 담당하는 전문가가 무엇에 특화되어 있는지 확인합니다. 이해는 십자말풀이처럼 쌓입니다. 해독한 뉴런 하나하나가 주변 뉴런을 제약하죠. 이 중 어떤 것도 두 번째 모델을 학습시킬 필요가 없습니다.

• 단일 뉴런의 강한 활성화에서 시작하고, 일반화의 경계를 보기 위해 약한 활성화를 살펴봅니다.
• 뉴런의 출력을 실제로 읽는 하류 연결을 따라갑니다. 많은 '미스터리'가 여기서 풀립니다.
• 주변 회로와 전문가 특화를 교차 검증에 사용합니다. 프로파일러에서 호출자와 피호출자를 보는 것과 같습니다.
• SAE는 압축이나 검색이 필요할 때 씁니다. 메커니즘에 대한 기준 진실로 쓰지는 않습니다.

통념 4: 작은 모델을 보면 큰 모델의 작동 원리를 알 수 있다

비관적인 정전(canon)의 결과 대부분은 작거나 단순화된 모델, 즉 한 계층짜리 트랜스포머와 초기 비전 네트워크에서 나왔습니다. 여기에는 편리한 아이러니가 있습니다. 작은 모델은 실제로 공간이 부족해지고, 그래서 중첩이 그 행동의 자연스러운 설명처럼 보였던 것이죠. 하지만 공간이 부족한 네트워크가 학습 원리를 바꾸지는 않습니다. 뉴런이 그저 더 넓어질 뿐입니다. 넓은 뉴런은 원시적인 도구에는 임의의 혼합물처럼 보입니다. 모델을 키우면 그 넓은 뉴런들이 깔끔하고 구체적인 뉴런으로 분화합니다.

같은 논리가 도구에도 적용됩니다. 2023년 무렵의 자동 설명기는 가설을 세우고 검증하는 루프를 돌릴 수 없었습니다. 활성화로부터 가설을 만들고 시뮬레이션으로 점수를 매겼는데, 이 방식은 맞는 설명보다 그럴듯해 보이는 설명을 보상합니다. 최신 에이전트형 도구는 실제로 개입할 수 있습니다. 활성화를 패치하고, 뉴런을 절제(ablate)하고, 효과를 예측한 뒤 결과를 확인합니다. '1.7%만 해석 가능'이 '약 90%가 주된 역할 하나'로 바뀐 것은 모델 자체의 속성보다 이 닫힌 루프 덕분이었습니다. 문헌이 네트워크가 아니라 우리의 측정 도구를 얼마나 많이 재고 있는지 겸손하게 생각해야 합니다.

여기에는 명세와 실행 시스템 사이의 간극이 실제 동작을 가려 버린 다른 사례와의 공통점이 있습니다. 명세와 구현의 간극에 버그가 숨어 있고, 해석 가능성의 가짜 버그도 바로 그곳에 있었습니다. 모델의 가중치는 처음부터 기준 진실이었고, 우리가 그것을 설명한 내용이 잘못된 명세였던 것입니다.

통념 5: 해석 가능성은 만드는 방식을 바꾸지 않는다

해석 가능성 문헌을 따라온 실무자들도 이를 흔히 '안전 연구, 관련성: 언젠가'로 분류했습니다. 가장 강한 주장을 어떻게 보든 지금은 그것이 틀렸습니다. 뉴런과 회로가 해석 가능한 빌딩 블록이라면, 추론 시점에 고정하거나 증폭하거나 절제할 수 있는 조작 손잡이가 됩니다. '진실성' 방향을 강화하고 '아첨' 방향을 억제하는 특징 스티어링은 이미 작동하는 기법입니다. 그 특징이 SAE 재구성 산물이 아니라 실제 메커니즘에 대응할 때 훨씬 더 원칙적입니다.

디버깅에서 얻는 이득은 예측 가능성입니다. 모델이 특정 종류의 입력에서 잘못 동작할 때, 현재 관행은 프롬프트 고고학과 감에 의존합니다. 해석 가능한 회로는 프로파일러에 더 가깝습니다. 어떤 특징이 발화했고, 무엇이 그것을 읽었으며, 결정이 실제로 어디서 일어났는지를 보여 줍니다. 이는 행동 기반 기법을 대체하지 않고 보완합니다. 프로덕션용으로 모델 출력을 다듬고 있다면 제약 디코딩이 출력 계약을 맡고, 해석 가능성은 '왜'를 맡습니다. 자율적으로 행동하는 에이전트의 경우 내부 관측 가능성은 외부 가드레일이 줄 수 없는 차원을 더합니다. 이전에 AI 에이전트의 격리 대 모니터링에 대해 쓴 적이 있는데, 행동만이 아니라 메커니즘을 들여다볼 수 있을 때 모니터링은 훨씬 강해집니다.

한 가지 함의를 더 강조할 필요가 있는데, 접근성과 관련됩니다. 이 연구 프로그램 전체는 오픈 가중치에 의존합니다. API로만 질의할 수 있는 모델의 회로는 감사할 수 없습니다. 점점 더 자율적인 시스템을 신뢰하려면 내부를 이해하는 것이 전제 조건이고, 저는 실제로 그렇다고 생각합니다. 그렇다면 가중치 공개는 있으면 좋은 이념이 아니라 전체 디버깅 이야기의 토대입니다.

이것을 실제로 어떻게 받아들일지

과장을 걷어내면 방어 가능한 핵심은 이렇습니다. 신경망이 임의로 얽혀 있다는 정전적 증거는 재검토를 거치며 버티지 못했고, 최신 도구로 본 최신 모델은 2023년 문헌이 암시했던 것보다 훨씬 더 읽기 쉽습니다. 그리고 남은 혼란에도 구조가 있어서, 풀어내기보다 활용할 수 있는 프랙탈 같은 일반화가 있습니다. '해석 가능성은 사실상 해결됐으니 키우기만 하면 된다'는 강한 버전은 SAE 열풍의 첫 물결을 지켜본 사람에게는 익숙한 과열의 냄새가 나며, 지금 받는 회의적 시선은 마땅합니다.

실무 엔지니어에게 드리는 조언은 구체적입니다. 모델 내부를 기본적으로 블랙박스로 취급하는 습관을 멈추세요. 활성화를 탐침하고, 특징을 조종하고, 회로를 추적하는 도구는 빠르게 성숙하고 있습니다. '어차피 전부 임의의 매듭이다'라는 개념적 장벽은 생각만큼 중요한 지지대가 아니었습니다. 신경망은 우리 코드가 깔끔한 방식으로는 깔끔하지 않을 수 있습니다. 하지만 마법이라기보다 읽을 수 있는 시스템에 훨씬 가깝고, 읽을 수 있는 시스템은 우리가 설계하는 방법을 알고 있는 대상입니다.