ループ型小型モデル:本番運用で避けるべき5つの失敗
ループ構造のTransformerとNVFP4量子化で小型モデルの実力が変わった。本番環境でモデルを選ぶ際に今も見られる5つの誤りを解説。

昨年アドバイスしたあるチームは、単純なチケット振り分けのプロンプトを最上位のフロンティアAPI経由で処理するために、月におよそ4,000ドルを払っていました。ワークロードは分類と短い要約だけです。単一GPUで動く小規模言語モデルで十分対応できたはずですが、チームの誰もそうは思っていませんでした。30B未満のモデルを最後にベンチマークしたときは推論を多用するタスクで不合格になり、それ以来見直していなかったからです。
その盲点は急速にコストを膨らませつつあります。最近公開されたInkling 2 Mini(264億パラメータのオープンウェイトMoEモデルで、トークンごとに中間層を3回ループさせる)は、エージェント型コーディングのスコアで100B未満のオープンモデルすべてを上回り、約20GBのメモリに収まります。ノートPCでオフライン動作するモデルが、SWE-bench系のタスクで自分の何倍ものサイズのモデルを凌駕したのです。「小型」と「高性能」の差は縮まり、モデルサイズに関して実務者が抱いている経験則の多くは、もはや時代遅れになっています。よく見かける失敗を5つ挙げ、それぞれの代わりにやるべきことを紹介します。
失敗1:パラメータ数を性能の上限だと考えてしまう
多くの人が受け継いできたメンタルモデルは単純です。パラメータが予算であり、性能は予算に比例して伸びる、というものです。学習データと計算量が非常に重要なので、これが完全に正しかったことは一度もありませんが、アーキテクチャが実質的な役割を担い始めるまでは使える経験則でした。ループ構造はその最たる例です。Inkling 2 Miniは、全24層のうち中間の12層(6層のブロック2つ)をトークンごとに3回実行し、最初と最後のブロックは1回だけ実行します。考え方は次のとおりです。初期層と後期層は主に埋め込み表現と内部表現の変換を担い、中間層が抽象的な推論を担う。だから計算資源を推論が行われる場所に集中させるのです。
公開されているアブレーション実験は注目に値します。最後の12層をループさせるよりも中間の12層をループさせたほうが、28の評価のうち27で上回りました。また、ループなしのベースラインが中間ループ版と同じ損失に到達するには、推定で1.5〜1.9倍の計算量が必要でした。これは微調整のちょっとした工夫ではありません。計算資源の配分戦略そのものが違うのです。そして、パラメータ数という単純な経験則を、特定の予測可能な方向に崩すものです。
対策は、小型モデルを評価するときに、重みが何個あるかだけでなく、トークンごとに計算資源がどこに使われているかを問うことです。アクティブパラメータ3.4B、中間層をループさせた26Bモデルは、「小型モデル」というより「長く考える小型モデル」に近い動きをしています。これは以前にも書いたポイントにつながります。推論能力はプロンプトで引き出すものではなく、モデルに学習されているものです。そして今では、それがアーキテクチャにも組み込まれ始めています。
失敗2:推論能力と知識を混同する
ループ型モデルの話で、実務者が一貫して見落とし、そしていずれ痛い目を見ることになる部分があります。ループは推論を改善しますが、知識を生み出すわけではありません。事実は重みに保存されており、重みの数はそのままです。Inkling 2 Miniチームはこの点について率直に述べています。事実性ベンチマークのAA-Omniscienceでは、同程度のサイズの他モデルと同じ水準のスコアでした。さらに、彼らの可変ループ研究版は、ループを増やすにつれてシリアル推論や長文コンテキストのベンチマークで改善しました(学習時の2倍にあたる10ループまで)。しかし、SimpleQAのような知識集約型のベンチマークは、パスを増やしても変化しませんでした。
ある友人が、まさにこの混同を本番環境でデバッグしていたのを見ました。サポートボットのワークロードで大きいモデルを推論重視の小型モデルに替えたところ、推論の質が上がったので、そのままリリースしたそうです。2週間後、存在しない製品SKUや、でっち上げのポリシーが出てきました。モデルは、自分が含んでいない事実について見事な推論をしていたのです。初期のHacker Newsのテスターも、2回のプロンプトで同じ壁にぶつかりました。マイナーなAPIの隅を使うWordPressプラグインを頼んだところ、自信満々で構造も整っているけれど間違ったコードが返ってきたそうです。
解決策は「もっと大きいモデルを使う」ことではありません。アーキテクチャの問題として、小型の推論モデルを検索とツールと組み合わせることです。注目すべきは、Inkling 2 Miniが、検索やツール利用を測るBrowseComp、DeepSearchQAで同等サイズのオープンモデルを上回っている点です。ツールの扱いがうまい小型モデルは、古い事実を思い出す大型モデルより良い結果を出すことが多いです。取得したコンテキストは最新で、検証可能だからです。私のルールはこうです。ワークロードの失敗が推論の失敗なら、ループ型小型モデルが役立ちます。知識の失敗なら、パラメータ数ではなく検索を直しましょう。
失敗3:低ビット量子化を頭ごなしに退ける
5年前は「4ビットに量子化しました」は言い訳のようなものでした。小さいハードウェアに収めるために、実質的な品質低下を受け入れる必要があり、4ビット未満は実験的な試みでした。その前提が今では、実際のハードウェア予算を無駄にさせています。Inkling 2 MiniはエンドツーエンドでNVFP4を用いて学習され、最後の4層だけがMXFP8で、NVFP4ネイティブでデプロイされています。量子化は学習後の圧縮工程ではなく、学習レシピの一部なのです。結果として、約20GBのフットプリントで、BF16の同等モデルに匹敵する品質を実現しています。

その下流への影響は目を見張るものがあります。量子化の苦労を誰よりも知るUnslothチームは、こうしたネイティブ低ビットモデルが、さらなる量子化に対して異例なほどよく応えることを確認しました。1ビットでも、トップ1の一致率が約90%を保つと報告されています。リリースから数日でHugging Face上にGGUFビルドが公開され、実務者はすでにMacBook Proで飛行機の中でも動かしています(チームは機内でオフラインのフライトシミュレーターを作るデモまでしています)。また、7900XTXのようなコンシューマー向けGPUでも動いています。
対策は、量子化を劣化として扱うのをやめ、モデルが低精度で学習されたかを問うことです。学習されていれば、4ビット(またはそれ以下)の成果物が第一級の存在であり、「VRAMは80GB必要だ」というサイジングの計算はやり直すべきです。オフライン運用で何が可能になるかを検討しているなら、オフラインで動くLLMの構築でアーキテクチャのパターンを、自前のハードウェアでLLMを動かすでハードウェア面を取り上げています。
失敗4:一度だけベンチマークして、モデル選定を凍結してしまう
最も高くつく失敗は技術的なものではなく、手続き上のものです。チームは機能を作り始めるときに比較検討を行い、モデルを選んで、その決定を恒久的なものとして扱います。しかし、パラメータあたりの性能のフロンティアは、ほとんどの調達サイクルより速く動いています。Inkling 2 MiniはDeepSWE v1.1で48.2%、Vals Index v2.2で46.5%を記録し、総パラメータ100B未満のオープンウェイトモデルすべてでトップでした。しかもデコードは、同程度の性能を持つモデルより速く行えました。アクティブパラメータ3.4BのMoEは、密な27Bモデルよりトークンごとに読み込む重みが大幅に少ないからです。9か月前に行ったモデル選定はもはや決定ではなく、検証されていない習慣にすぎません。
ただし、ナイーブに再ベンチマークするのもまた別の罠です。公開リーダーボードが測るのは、ベンチマークの作成者が面白いと考えたものであって、あなたのプロダクトが何をするかではありません。これはAIのベンチマークが実際の仕事の大半を捉えられない理由の核心的な問題であり、小型モデルではそのプロファイルがむらのあるものになるため、問題はさらに悪化します。Inkling 2 Miniはエージェント型コーディングでトップクラスですが、MultiChallengeでは中程度の50.0%、ComplexConstraintsでは33.4%にとどまり、どちらもQwen3.8-27Bに後れを取っています。制約の多いマルチターンのチャットがワークロードなら、コーディングの派手な数字はあなたにとって無関係です。
対策は、本番のトラフィックから作った小さなバージョン管理された評価セットを維持することです。正解出力が分かっている実際のケースを200〜500件用意し、新しいモデルのリリースごとに四半期に一度実行します。思ったより安上がりで、予想外の驚きを両方向で捉えられます。ベンチマークの示唆より良いモデル(あるコメントでは、Inkling 2 Smallは「ベンチマークが示すより良く感じる」と言っていました)と、リーダーボードでは好成績でも制約の多いプロンプトで失敗するモデルです。四半期に1日を確保しておきましょう。モデルの階層を一つ下げられた最初の時点で、そのコストは回収できます。
失敗5:帳簿のコスト側を無視する
モデル選定の議論は精度に執着し、コストを後回しにしがちです。しかし本番環境では、コストの曲線こそが何が実現可能かを決めるので、それは本末転倒です。スタンフォード大学のHazy Research Labは、Inkling 2 Miniに対して初期の「ジュールあたりの知能」測定を行い、0.703というスコアを得ました。比較対象はQwen3.6-35B-A3Bが0.430、Gemma-4-26B-A4Bが0.159、Qwen3.5-27Bが0.036です。数パーセントの差ではなく、まったく別の領域です。しかもこの差は積み重なります。少ないトークンで答えに到達するモデル(ループの売りは、推論内容を書き出さずに推論することです)は、タスクごとの計算コストとレイテンシの両方を抑えられます。
私が最も興奮する実務上の帰結は、マルチエージェントの密度です。小型MoEなので、複数のエージェントのKVキャッシュを1基のGPUのVRAMに収められます。20体のシミュレートされた村人がすべて1台のオフラインMacBookで動くデモは愉快ですが、本気の活用は、トークン単位の課金とデータの外部送信を伴うAPI呼び出しの群れの代わりに、1台のDGX Sparkや単一のワークステーションで12体の本番エージェントを動かすことです。より広いこの階層へのシフトについてはフラッシュ階層のLLMこそが本当の推論効率の話である理由で書いており、ループ型の小型モデルはその主張をかなり強固にします。
対策は、コストモデルをトークン単価ではなく、タスク完了あたりのコストを基準に組むことです。ループは、トークンあたりの実時間を増やします(中間層が3回走り、メモリ帯域の計算で読み込みが繰り返されるため)。そのため、単純なトークン毎秒の比較は、どちらの方向にも誤解を招きかねません。エンドツーエンドで測りましょう。タスクは解決したか、何トークン使ったか、どれだけのエネルギーとレイテンシを消費したか。トークンあたりは20%遅くても、再試行が少なく半分のトークンで解決するモデルは、常に勝ちます。

月曜日に実際にやるべきこと
- API支出をタスク種別ごとに監査する。 分類、抽出、ルーティング、短いエージェントループに当たるものは、30B未満のローカルモデルの候補です。コストを試算しましょう。
- 評価セットを推論の失敗と知識の失敗に分ける。 ループ型の小型モデルは前者を直し、検索は後者を直します。両者を混同しないこと。
- 候補モデルが低精度で学習されたかを確認する。 学習されていれば、4ビット版を最後ではなく最初に試しましょう。それがネイティブの形式です。
- 自分のトラフィックで四半期ごとにベンチマークする。 公開スコアは選別のためのツールであり、決定のためのものではありません。
- 1つのマルチエージェントのワークロードをローカルハードウェアで試作する。 トークン単位の課金メーターがなければ、常駐型エージェントの経済性は大きく変わります。
ここでの大きな変化は、どれか一つのモデルではありません。ループ、量子化を考慮した学習、専門家の積極的な刈り込みと修復といった、フロンティアの研究室の研究の方向性が、今や数か月でオープンウェイトに降りてきており、すでに手元にあるハードウェア向けにサイズが調整されていることです。次の数年で勝つ実務者は、最も大きなAPI予算を持つ人ではありません。モデルの前提を定期的に見直す人です。前提のほうがコードより賞味期限が短いのですから。
推論がうまく、検索で正直に裏付けを取れる小型モデルは、自信満々に覚えていて怠けて推論する大型モデルに勝ります。コスト、レイテンシ、そしてしばしば精度でも。


