다음에 올 것을 만들어가는 기술에 대한 심층 기사.

루프 구조 소형 모델: 프로덕션에서 멈춰야 할 5가지 실수

루프 구조 트랜스포머와 NVFP4 양자화로 소형 모델의 성능이 달라졌습니다. 프로덕션 모델을 고를 때 실무자들이 여전히 저지르는 실수 5가지를 정리했습니다.

세 번 반복되며 자기 자신을 가로지르는 복잡한 태피스트리를 짜는 작은 황동 기계, 루프 모델을 상징합니다.
작다고 해서 더 이상 얕은 것은 아닙니다. 내부 패스를 반복하면서 컴팩트한 모델도 파라미터 수보다 훨씬 큰 성능을 냅니다.

작년에 자문했던 한 팀은 단순한 티켓 분류 프롬프트를 프런티어 API로 라우팅하느라 매달 약 4,000달러를 쓰고 있었습니다. 작업 내용은 분류와 짧은 요약이었죠. 단일 GPU에서 돌아가는 소형 언어 모델이면 충분했을 텐데, 팀 누구도 그렇게 생각하지 않았습니다. 마지막으로 30B 이하 모델을 벤치마크했을 때 추론이 많이 필요한 작업에서 떨어졌고, 그 뒤로는 다시 보지 않았기 때문입니다.

이 사각지대는 빠르게 비싼 대가가 되고 있습니다. 최근 출시된 Inkling 2 Mini는 264억 파라미터(26.4B) 규모의 오픈 웨이트 전문가 혼합(MoE) 모델로, 토큰마다 중간 레이어를 세 번 반복 실행합니다. 약 20GB 메모리에 들어가면서도 에이전트형 코딩 점수에서 100B 미만의 모든 오픈 모델을 앞섰습니다. 오프라인 노트북에서 돌아가는 모델이 자기보다 몇 배 큰 모델들을 SWE-bench 유형 작업에서 앞지른 셈입니다. '작다'와 '유능하다' 사이의 격차가 좁아지면서, 모델 크기에 대해 실무자들이 가지고 있던 규칙 대부분이 이제 낡았습니다. 가장 자주 보는 다섯 가지 실수와 그 대안을 정리해 보겠습니다.

실수 1: 파라미터 수를 성능의 상한선으로 취급하기

우리 대부분이 물려받은 사고방식은 단순합니다. 파라미터가 예산이고, 성능은 예산에 비례한다는 것이죠. 학습 데이터와 연산량이 엄청나게 중요하니 완전히 맞는 말은 아니었지만, 아키텍처가 실질적인 역할을 하기 전까지는 쓸 만한 어림법이었습니다. 루핑이 가장 명확한 예입니다. Inkling 2 Mini는 전체 24개 레이어 중 가운데 12개 레이어(6개짜리 블록 2개)를 토큰마다 세 번 돌리고, 첫 번째와 마지막 블록은 한 번만 돌립니다. 직관은 이렇습니다. 초기와 후기 레이어는 대체로 임베딩과 내부 표현 사이를 변환하고, 중간 레이어가 추상적 추론을 담당합니다. 즉 추론이 일어나는 곳에 연산을 집중하는 것입니다.

발표된 어블레이션 결과는 주목할 만합니다. 가운데 12개 레이어를 루프시킨 것이 마지막 12개를 루프시킨 것보다 28개 평가 중 27개에서 높았고, 루프가 없는 기준 모델은 가운데 루프 모델의 손실값에 도달하기 위해 추정 1.5~1.9배의 연산이 필요했습니다. 이건 사소한 튜닝 기법이 아닙니다. 연산 배분 전략 자체가 다르고, 파라미터 수 기반의 단순한 어림법을 예측 가능한 특정 방향으로 깨뜨립니다.

해결책: 소형 모델을 평가할 때는 가중치가 몇 개인지만 보지 말고, 토큰마다 연산이 어디에 쓰이는지 물어보세요. 활성 파라미터 3.4B에 중간 레이어를 루프시키는 26B 모델은 '작은 모델'이라기보다 '더 오래 생각하는 작은 모델'에 가깝습니다. 이는 제가 전에 했던 말과도 이어집니다. 추론은 프롬프트로 끌어내는 것이 아니라 모델에 학습되어 있는 것이고, 이제는 아키텍처에도 점점 설계되어 들어가고 있습니다.

실수 2: 추론과 지식을 혼동하기

루핑 이야기에서 실무자들이 꾸준히 놓치는 부분이 있는데, 이게 나중에 발목을 잡습니다. 루핑은 추론을 개선하지만 지식을 만들어 내지는 않습니다. 사실은 가중치에 저장되어 있고, 가중치 수는 정해져 있습니다. Inkling 2 Mini 팀은 이 점을 솔직하게 인정합니다. 사실성 벤치마크인 AA-Omniscience에서 이 모델은 같은 크기의 다른 모델들과 비슷한 점수를 받았습니다. 그들의 가변 루프 연구 변형 모델은 루프를 늘릴수록(학습 때의 두 배인 10회까지) 순차 추론과 장문 컨텍스트 벤치마크에서 개선되었지만, SimpleQA 같은 지식 집약형 벤치마크는 패스를 더해도 전혀 움직이지 않았습니다.

프로덕션에서 이 혼동을 디버깅하던 친구가 있습니다. 고객 지원 봇 워크로드에서 더 큰 모델을 추론 중심의 소형 모델로 바꿨더니 추론 품질이 올라서 그대로 배포했습니다. 2주 뒤, 존재하지 않는 제품 SKU가 나오고 정책 세부 사항이 지어져 나왔습니다. 모델은 자신이 갖고 있지 않은 사실에 대해 놀랍도록 훌륭하게 추론하고 있었던 겁니다. 초기 Hacker News 테스터 한 명도 프롬프트 두 번 만에 같은 벽에 부딪혔습니다. 잘 알려지지 않은 API 구석을 쓰는 WordPress 플러그인을 요청했더니, 자신만만하고 구조도 좋은데 틀린 코드가 나왔다고 합니다.

해결책은 '더 큰 모델을 쓰라'가 아니라 아키텍처에 있습니다. 작은 추론 모델을 검색 및 도구와 짝지으세요. 특히 Inkling 2 Mini는 검색과 도구 사용을 측정하는 BrowseComp와 DeepSearchQA에서 비슷한 오픈 모델들을 앞섭니다. 도구를 잘 다루는 작은 모델은, 오래된 사실을 기억해 내는 큰 모델보다 나은 경우가 많습니다. 검색된 컨텍스트는 최신이고 감사가 가능하기 때문입니다. 제 원칙은 이렇습니다. 워크로드의 실패가 추론 실패라면 루핑 소형 모델이 도움이 됩니다. 지식 실패라면 파라미터 수가 아니라 검색을 고치세요.

실수 3: 저비트 양자화를 무조건 배제하기

5년 전만 해도 '4비트로 양자화했다'는 사과에 가까웠습니다. 더 작은 하드웨어에 올리는 대신 실질적인 품질 저하를 감수해야 했고, 4비트 미만은 연구 실험 수준이었죠. 이 가정이 이제는 실제 하드웨어 예산을 낭비하게 만들고 있습니다. Inkling 2 Mini는 처음부터 끝까지 NVFP4로 학습되었고, 마지막 4개 레이어만 MXFP8로 두고 NVFP4 네이티브로 배포됩니다. 양자화는 학습 후 압축 단계가 아니라 학습 레시피의 일부입니다. 결과적으로 약 20GB 풋프린트에 BF16 동급 모델과 비슷한 품질을 냅니다.

거대한 밀집 서적들이 빛나는 얇은 몇 권의 책으로 압축된 모습, 양자화 인식 학습을 상징합니다.
양자화 인식 학습 덕분에 작은 풋프린트는 타협이 아니라 첫날부터의 설계 목표입니다.

그 여파는 인상적입니다. 양자화의 고충을 누구보다 잘 아는 Unsloth 팀은, 이렇게 네이티브로 저비트인 모델들이 추가 양자화에 유난히 잘 반응한다고 밝혔습니다. 1비트에서도 top-1 일치도가 약 90%를 유지한다고 전해집니다. 출시 며칠 만에 Hugging Face에 GGUF 빌드가 올라왔고, 실무자들은 이미 비행기 안에서 MacBook Pro로 이 모델을 돌리고 있습니다(팀은 비행 중 오프라인으로 플레이 가능한 비행 시뮬레이터를 만드는 시연까지 했습니다). 7900XTX 같은 소비자용 GPU에서도 돌아갑니다.

해결책: 양자화를 성능 저하로 보는 시각을 멈추고, 모델이 저정밀도로 학습되었는지 물어보세요. 그렇다면 4비트(또는 그 이하) 아티팩트가 일급 시민이므로, '80GB VRAM이 필요하다'는 용량 계산을 다시 해야 합니다. 오프라인 배포로 무엇을 할 수 있을지 살펴보고 있다면, 아키텍처 패턴은 오프라인에서 작동하는 LLM 만들기에서, 하드웨어 측면은 자체 하드웨어에서 LLM 돌리기에서 다뤘습니다.

실수 4: 벤치마크를 한 번만 하고 모델 선택을 고정하기

가장 비싼 실수는 기술적인 것이 아니라 절차적인 것입니다. 팀은 기능을 처음 만들 때 비교 평가를 한 번 돌리고 모델을 고른 뒤, 그 결정을 영구적인 것으로 취급합니다. 하지만 파라미터당 성능의 프런티어는 대부분의 구매 주기보다 빠르게 움직입니다. Inkling 2 Mini는 DeepSWE v1.1에서 48.2%, Vals Index v2.2에서 46.5%를 기록해 총 파라미터 100B 미만의 모든 오픈 웨이트 모델을 앞섰습니다. 게다가 활성 파라미터 3.4B인 MoE는 밀집 27B 모델보다 토큰당 읽는 가중치가 훨씬 적어서, 비슷한 성능의 모델보다 디코딩도 빨랐습니다. 9개월 전에 한 모델 선택은 더 이상 결정이 아니라 점검되지 않은 습관입니다.

하지만 무작정 다시 벤치마크하는 것도 또 다른 함정입니다. 공개 리더보드는 벤치마크 저자가 흥미롭다고 생각한 것을 측정하지, 당신의 제품이 하는 일을 측정하지 않습니다. 이것이 AI 벤치마크가 실제 업무의 대부분을 놓치는 이유의 핵심 문제이고, 소형 모델은 프로필이 더 들쭉날쭉해서 이 문제를 더 악화시킵니다. Inkling 2 Mini는 에이전트형 코딩에서는 최고 수준이지만 MultiChallenge에서 50.0%, ComplexConstraints에서 33.4%로 어중간한 점수를 받았고, 두 항목 모두 Qwen3.8-27B에 뒤졌습니다. 워크로드가 제약 조건이 많은 다중 턴 대화라면, 화려한 코딩 수치는 당신에게 아무 의미가 없습니다.

해결책: 실제 프로덕션 트래픽으로 작고 버전 관리되는 평가 세트를 만드세요. 정답이 있는 실사례 200~500개면 충분하고, 새 모델이 나올 때마다 분기별로 돌리세요. 생각보다 비용이 적게 들고, 두 방향의 놀라움을 모두 잡아냅니다. 벤치마크가 암시하는 것보다 나은 모델(한 댓글 작성자는 Inkling 2 Small이 '벤치마크가 말한 것보다 낫게 느껴졌다'고 했습니다)과, 리더보드에서는 만점인데 제약이 많은 프롬프트에서는 실패하는 모델을 함께 찾아냅니다. 분기당 하루를 배정하세요. 모델 티어 하나를 내릴 수 있게 해 주는 첫 순간에 본전을 뽑을 겁니다.

실수 5: 장부의 비용 쪽을 무시하기

모델 선택 논의는 정확도에 집착하고 비용은 뒷전으로 미루는 경우가 많습니다. 하지만 프로덕션에서는 이게 거꾸로입니다. 비용 곡선이 무엇이 실현 가능한지를 결정하니까요. 스탠퍼드 Hazy Research Lab이 Inkling 2 Mini에 대해 초기 지능-줄당(intelligence-per-joule) 측정을 했는데 0.703이 나왔습니다. 비교하면 Qwen3.6-35B-A3B는 0.430, Gemma-4-26B-A4B는 0.159, Qwen3.5-27B는 0.036입니다. 몇 퍼센트 차이가 아니라 완전히 다른 체제입니다. 게다가 이 차이는 복리처럼 쌓입니다. 더 적은 토큰으로 답에 도달하는 모델(루핑의 핵심 주장은 추론 과정을 글로 쓰지 않고도 추론하는 것입니다)은 과제당 연산과 지연 시간 모두에서 비용이 적게 듭니다.

개인적으로 가장 기대되는 실질적 결과는 멀티 에이전트 밀도입니다. 작은 MoE이므로 여러 에이전트의 KV 캐시를 GPU 하나의 VRAM에 함께 올릴 수 있습니다. 오프라인 MacBook 한 대로 마을 주민 20명을 모두 구동하는 데모는 귀엽지만, 진지한 버전은 API를 호출하며 토큰마다 과금되고 데이터가 밖으로 나가는 함대 대신, DGX Spark나 워크스테이션 한 대에서 프로덕션 에이전트 열두 개를 돌리는 것입니다. 이 티어가 더 넓은 흐름으로 어떻게 변하고 있는지는 플래시 티어 LLM이 진짜 추론 효율의 이야기인 이유에서 썼는데, 루핑 소형 모델은 그 주장을 훨씬 강하게 만들어 줍니다.

해결책: 비용 모델은 토큰당 비용이 아니라 과제 완료당 비용을 기준으로 세우세요. 루핑은 토큰당 실제 시간을 늘립니다(중간 레이어가 세 번 실행되고, 메모리 대역폭 계산에서 반복 읽기가 생기니까요). 그래서 단순한 초당 토큰 수 비교는 어느 방향으로든 잘못 이끌 수 있습니다. 엔드투엔드로 측정하세요. 과제가 해결되었는지, 토큰을 몇 개 썼는지, 에너지와 지연 시간을 얼마나 썼는지. 토큰당 속도가 20% 느려도 과제를 절반의 토큰과 적은 재시도로 해결하는 모델이 항상 이깁니다.

작은 램프 하나가 빛나는 집들로 이루어진 미니어처 마을을 밝히는 모습, 한 기기에서 구동되는 여러 에이전트를 상징합니다.
효율적인 작은 모델 하나가 API 과금 없이 한 대의 기계에서 에이전트 함대 전체를 떠받칠 수 있습니다.

월요일에 실제로 할 일

  1. 작업 유형별로 API 지출을 감사하세요. 분류, 추출, 라우팅, 짧은 에이전트 루프에 해당하는 것은 모두 30B 미만 로컬 모델의 후보입니다. 비용을 계산해 보세요.
  2. 평가 세트를 추론 실패와 지식 실패로 나누세요. 루핑 소형 모델은 전자를 고치고, 검색은 후자를 고칩니다. 둘을 섞지 마세요.
  3. 후보 모델이 저정밀도로 학습되었는지 확인하세요. 그렇다면 4비트 아티팩트를 마지막이 아니라 처음에 테스트하세요. 그것이 네이티브 형태입니다.
  4. 분기마다 자신의 트래픽으로 벤치마크하세요. 공개 점수는 선별 도구이지, 결정을 내리는 도구가 아닙니다.
  5. 로컬 하드웨어에서 멀티 에이전트 워크로드 하나를 프로토타이핑하세요. 토큰마다 미터기가 없으면 지속형 에이전트의 경제성이 완전히 달라집니다.

더 큰 변화는 특정 모델 하나가 아닙니다. 루핑, 양자화 인식 학습, 힐링을 동반한 공격적 전문가 가지치기 같은 프런티어 연구 방향들이 이제 몇 달 안에 오픈 웨이트로 내려오고, 이미 가지고 있는 하드웨어에 맞게 조정되고 있다는 점입니다. 앞으로 몇 년간 승리하는 실무자는 가장 큰 API 예산을 가진 사람이 아니라, 모델에 대한 가정을 일정에 따라 다시 점검하는 사람일 겁니다. 가정의 유통기한은 코드보다 짧기 때문입니다.

추론을 잘하고 정직하게 검색하는 작은 모델이, 자신 있게 기억하지만 게으르게 추론하는 큰 모델을 이깁니다. 비용, 지연 시간, 그리고 종종 정확도에서도요.