画像分類では専用CNNが汎用LLMに勝つ理由

皮膚科医が、病理検査で確定した200件の皮膚病変画像を、最新のフロンティアLLM 2種類と、10年前にGoogleが発表した畳み込みネットワーク「Inception v3」を微調整したモデルに見せました。CNNは診断の62%を正解しました。LLMはどちらも42%です。特に、絶対に見逃してはいけない悪性黒色腫（メラノーマ）についても、古いネットワークが勝ちました。もしあなたの仕事で規模を問わず画像分類を扱うなら、この結果は「専門モデルかLLMか」という判断の考え方を見直すきっかけになるはずです。これは医療の話というより、適切なツールを選ぶ話なのです。

問題：分類はLLMにとって簡単そうで、実はそうではない

賢いエンジニアほどはまりがちな罠があります。フロンティアモデルはコードを書き、契約書を要約し、司法試験にも合格します。そんなモデルが写真を見て6つのラベルから一つを選べない、と言われるとむしろ侮辱的に感じるでしょう。分類は機械学習の「Hello world」であり、最大級のモデルならできて当然だと思えるのです。

しかし分類が実際に何をしているのかを見てみましょう。ラベルの候補は固定されていて、たいてい数も少ない。入力データの分布も再現性があります。そして求められるのは、微妙で重大度の高いケースを、毎回一貫して正しい側に振り分ける決定境界です。マルチモーダルLLMが崩れるのはまさにこの点です。LLMは、狭い視覚領域の中で細かな違いを区別するように訓練されたわけではありません。ネット上に投稿されたあらゆる画像について、もっともらしいことを言えるように訓練されたのです。

皮膚がんの結果は、この問題を不快なほど具体的に示しています。あるLLMは200件中75件を基底細胞癌と診断しましたが、実際は25件でした。そのうち30件のメラノーマのうち14件も含まれています。もう一方のLLMは光線角化症に妙に執着し、20件の実例に対して53回もそう判定しました。これらは偶発的な誤りではありません。皮膚科について大量に読んできて、Web規模の学習データに含まれる病変画像を見てきたモデルが、答えを計算するのではなく、もっともらしく聞こえる答えにパターンマッチングしている、その特徴的な現れなのです。

あらゆる教科書を読んだモデルと、まさに聞きたい対象のラベル付き例を6万8千件見てきたモデルは、同じではありません。

失敗その1：とりあえずフロンティアモデルに聞いてみる

皮膚科医が試したように、まずLLMに画像を渡し、診断、確信度、次点の候補を答えさせる。これは最初に思いつく方法ですし、実際に臨床医がこうしたツールを使うやり方でもあるので、妥当な検証です。そして失敗のパターンは示唆に富んでいます。

まず、確信度には意味がありません。ある症例では、LLMが薄くて色素の少ない浸潤性メラノーマを、95%の確信度で基底細胞癌と判定しました。この数字も診断と同じようにもっともらしさで生成されたものです。その裏には校正された確率など存在しません。下流のロジックが確信度で閾値判定をしているなら（そしてトリアージのロジックの多くはそうしています）、作り話の数字で判定していることになります。

次に、誤りが保守的ではありません。実行のたびに結果が変わるうえ、同じ入力でも答えが揺れます。パイプラインに組み込む用途では、これは決定的に重要です。専門の分類器なら、同じ入力に対して毎回同じロジットを返します。一方LLMは、答えの分布からのサンプルを返すだけです。意思決定支援ツールにとって、非決定性は個性ではなく弱点です。

三つ目、そしてこれが一番見落とされやすい点ですが、LLMは隣接するタスクでは優秀でした。患者の立場で「医師に診てもらう必要がありますか」と尋ねると、病理で確定したメラノーマの98〜99件に対して「はい」と答え、無害な病変もほぼすべて同様に扱いました。これは医療に関するテキストで訓練されたモデルの振る舞いで、常に医師に相談する方向へ寄せるのです。チャットボットの一次トリアージには役立ちます。しかし、本来の課題である識別にはまったく役に立ちません。

失敗その2：何でも大きいモデルの方が優れていると思い込む

実験には出てこないもっと深い失敗もあります。それは、規模が適合性の代わりになるという思い込みです。フロンティアLLMは、控えめに見てもInception v3の約2,400万パラメータの数千倍ものパラメータを持っています。しかし、そのキャパシティの大部分はピクセル単位で脂漏性角化症と有棘細胞癌を見分けることには割り当てられていません。モデルにとって皮膚科は学習データという大海の一滴に過ぎず、診断情報の大半を担うダーモスコピー画像となるとさらに希少です。

これは、3,000万パラメータ程度の囲碁ネットワークが、どのLLMにも囲碁で圧倒的な差をつけて勝つのと同じ理由です。また、これがベンチマークのせいで、本番環境でLLMが実際に役立つ場面についてチームが誤解し続ける理由でもあります。この点はAIベンチマークが実務の大半を捉えられない理由を検討した際にも触れました。「モデルは時々それができる」という意味での能力は、「それを土台にして作れるほど確実にこなす」というエンジニアリング上の能力と同じではありません。

実験をめぐる議論に、役立つ経験則が隠れています。フロンティアLLMが本当に得意とするのは、そのタスクが事前学習で圧倒的に多く含まれている場合（コードや日常的な英語など）か、強化学習で特別にポストトレーニングされている場合です。それ以外では、本を数冊読んで、それでも自信満々な優秀な素人程度の性能を覚悟すべきです。稀な疾患の視覚診断は、まさに後者に入ります。

実際に機能するもの：正確な分布でファインチューニングした小型モデル

専門モデルには研究所が必要だと思っている人が恥ずかしくなる部分です。勝ったCNNは最先端のものではありませんでした。ベースラインとなるアーキテクチャのInception v3を、通常の写真で事前学習させ、公開アーカイブの皮膚科画像6万8,011件でエンドツーエンドにファインチューニングしたものです。H100 1基で約20分でした。学習データからは、テストに使った病変とその患者の写真がすべて取り除かれるよう注意が払われています。結果として、このモデルは何もアップロードせずに、WebGPU経由でスマートフォンのブラウザ上で動きます。

GPU 1基で20分。これを、本番規模で画像コーパス全体に対し、画像1枚ごとに永続的に、フロンティアのマルチモーダルモデルを回すコストと比べてみてください。専門モデルは精度が高いだけでなく、桁違いに安く、決定的で、監査しやすく、エッジデバイスに載るほど小さいのです。問題を「安定した入力分布上のN個のラベル」として定式化でき、ラベル付きデータがある（または手に入る）なら、本番環境で重要なほぼすべての観点で、ファインチューニングした分類器が勝ちます。

現代版のこの手法では、古いCNNすら必要ありません。小型のビジョントランスフォーマー、Googleの医療画像エンコーダのような埋め込みモデル、あるいは事前学習済みバックボーンに微調整したヘッドだけでも、さらに遠くまで行けます。大事なのはInception v3への懐古ではありません。2015年のアーキテクチャですら、4桁も多い計算資源を持つモデルに勝てるという事実が、ボトルネックがどこにあるかを教えてくれるのです。重要なのはネットワークの大きさではなく、タスクへの適合性です。

# The specialist path in miniature: a frozen backbone + a small head
import torch
import torch.nn as nn
from torchvision import models
# A decade-old backbone is fine. Seriously.
backbone = models.inception_v3(weights="IMAGENET1K_V1")
in_features = backbone.fc.in_features
backbone.fc = nn.Linear(in_features, 6)  # your six labels
# Fine-tune everything on your labelled domain images.
# On one H100, tens of thousands of images: tens of minutes.
optimizer = torch.optim.AdamW(backbone.parameters(), lr=1e-4)
loss_fn = nn.CrossEntropyLoss()  # a *calibrated* probability lives here

また、ラベル空間が固定されていて、周辺のワークフローにはLLMを組み込みたい場合、正直なやり方は、その出力を散文として信頼するのではなく、判断の結果に制約をかけることです。これはLLMを意思決定モデルに変えるための制約付きデコーディングと同じ考え方です。ただし分類そのものについては、学習させたヘッドの方が依然として優れています。

判断の枠組み：専門モデルが勝つ場合と、LLMが勝つ場合

多くのチームがこの判断を誤るのを何年も見てきた上で、私が実際に支持できる枠組みを紹介します。四つの問いを立ててください。

1. ラベル空間は固定されていて小さいですか？ 答えを列挙できるなら、分類器がほぼ常に適した形です。LLMが役立つのは、要約、説明、対話、コードのように出力空間が開かれている場合です。
2. 入力分布は安定していますか？ ダーモスコピー画像でファインチューニングしたモデルは、ダーモスコピー画像では見事ですが、タトゥー、定規、コーヒーカップが写り込んだ写真にはお手上げです。入力が雑多なら、汎用モデルの頑健性には本当の価値があります。
3. ラベル付きデータはありますか、または入手できますか？ これが本当の分かれ道です。1万件以上のラベル付き例があれば、ファインチューニングはほぼ無料で、性能でも圧倒します。一件もない場合は、LLMのゼロショットの推測が出発点として最善かもしれませんが、それは本番の答えではなく、ラベル付けを助ける道具として扱ってください。
4. 誤りのコストはどれくらいで、キャリブレーションが必要ですか？ 重大度が高く閾値で判定する意思決定には、実際の確率と決定的な出力が必要です。それだけで、素のLLM呼び出しは除外されます。

皮膚がんの事例を当てはめてみましょう。固定された6ラベル、安定した臨床画像のパイプライン、公開されたラベル付き画像6万8千件、人命に関わる誤り。四つすべてに当てはまります。LLMに勝ち目はありませんでした。驚くべきなのは負けたことではなく、別の結果を期待した人がいたことです。

正直な留保：実用主義は両方向に働くから

「小型モデルが勝つ」で終わらせると、読者の皆さんに不誠実になります。ファインチューニングした分類器の強みは、そのまま脆さでもあります。比較対象はファインチューニングしていない汎用モデルで、評価データは学習と同じ分布から取られていました。これを現場に持ち出すと、カメラが違う、アーカイブでは肌の色の多様性が不足している、遮蔽物や書き込みがある画像など、性能は別の形で劣化します。LLMの幅広い学習の方がうまく扱える場合もあるのです。汎用モデルは分布内では予測可能に失敗しますが、専門モデルは分布の外では壊滅的に失敗します。

分類器がまったくできないタスクもあります。医療のそれ以外の部分です。同じ実験で最も興味深い副次的な結果は、LLMが、診療記録、患者の病歴、質問する機会を与えられると、解釈、コミュニケーション、治療方針など、ラベルより後の工程でもっともらしく貢献できたことでした。CNNは6つのロジットを出力するだけです。心配している患者に推論を説明することも、紹介状が画像と矛盾していることに気づくこともできません。

また、この研究自身の誠実さにも注目すべきです。最先端の皮膚科AIは、単独のInception v3ではなく、はるかに多くのデータで学習させたビジョントランスフォーマーのアンサンブルであり、そうして作られた規制対応製品はかなり高い性能を示しています。この分野の流れは、汎用モデルではなく、より大きな専門モデルに向かっています。これは私の主張を覆すどころか、むしろ裏付けています。

本当の示唆：LLMは分類器になるためではなく、分類器を作るためにある

このエピソード全体で最も鋭い指摘は、私が何度も立ち返る点です。LLMは専用分類器を作るコストをゼロに近づけました。ファインチューニングのスクリプトを書くこと、データセットを整えること、評価のハーネスを組むこと、ラベル付けのインターフェースを生成すること。これこそLLMが本当に人間離れした速さで加速できる作業です。皮膚科医の分析すら、AIコーディングツールを使って作られました。汎用モデルは、専門モデルが勝った実験そのものを構築し、採点したのです。

私が今デフォルトで推奨しているアーキテクチャはこれです。開発、データ作業、エッジケースのトリアージ、人間向けの説明レイヤーにはLLMを組み込み、繰り返し発生する大量かつ高リスクな判断そのものには、小型のファインチューニング済みモデルを使います。効率の面でも同じパターンが見られます。注目すべきは、しばしばフラッグシップモデルではなく、安価な階層が実際に仕事をしていることです。フラッシュ級モデルと推論効率がその例です。問題の形に合わせてモデルを選べば、「AIは使い物にならない」という不満の大半は消えていきます。

計算機は割り算ではあらゆるLLMに勝りますが、それについて興奮した投稿を書く人はいません。ファインチューニングした分類器がチャットボットに分類で勝つのも、同じ話をパラメータが多いだけで言い直したものです。誰かが驚くのは、規模があれば専門化は不要になるとこの2年間言われ続けてきたからにすぎません。不要にはなりません。ただ、専門化を作りやすくするだけです。退屈な道具に手を伸ばす気があればの話ですが。