CNN Spesialis vs LLM Canggih untuk Klasifikasi Gambar

Seorang dermatolog baru-baru ini menyodorkan 200 lesi kulit yang sudah dipastikan lewat biopsi kepada dua LLM canggih dan salinan Inception v3 yang sudah di-fine-tune, sebuah jaringan konvolusional yang dipublikasikan Google satu dekade lalu. CNN tersebut berhasil mendiagnosis 62% kasus dengan benar. Kedua LLM hanya 42% masing-masing. Untuk melanoma secara khusus, diagnosis yang paling tidak boleh terlewat, jaringan lama ini juga menang. Jika pekerjaanmu melibatkan klasifikasi gambar dalam skala apa pun, hasil ini seharusnya mengubah cara pandangmu soal keputusan antara model spesialis dan LLM, karena ini sebenarnya bukan cerita tentang kedokteran. Ini cerita tentang memilih alat yang tepat.

Masalahnya: klasifikasi terlihat mudah bagi LLM, padahal tidak

Inilah jebakan yang terus-menerus menjerat engineer yang cerdas. Model canggih bisa menulis kode, merangkum kontrak, dan lulus ujian advokat, jadi terasa agak menghina jika ada yang bilang mereka tidak bisa melihat foto lalu memilih satu dari enam label. Klasifikasi adalah "hello world" dalam machine learning. Tentu model terbesar bisa melakukannya.

Tapi coba lihat apa sebenarnya klasifikasi itu. Kamu punya ruang label yang tetap dan biasanya kecil. Kamu punya distribusi input yang berulang. Dan kamu butuh batas keputusan yang menempatkan kasus yang halus dan berisiko tinggi di sisi yang benar, secara konsisten, setiap saat. Bagian terakhir inilah yang membuat LLM multimodal kewalahan. Mereka tidak dilatih untuk membedakan detail halus dalam satu domain visual yang sempit; mereka dilatih untuk mengatakan sesuatu yang masuk akal tentang hampir semua gambar yang pernah diunggah ke internet.

Hasil tes kanker kulit membuatnya nyata dengan cara yang tidak nyaman. Satu LLM mendiagnosis 75 dari 200 lesi sebagai karsinoma sel basal, padahal hanya 25 yang benar, termasuk 14 dari 30 melanoma. LLM lainnya malah keranjingan keratosis aktinik, menyebutnya 53 kali padahal hanya 20 kasus nyata. Ini bukan kesalahan acak. Ini ciri khas model yang telah membaca banyak hal tentang dermatologi, pernah melihat gambar lesi apa pun yang kebetulan ada di data pelatihan skala web, dan mencocokkan pola ke jawaban yang terdengar paling masuk akal alih-alih benar-benar menghitungnya.

Model yang sudah membaca setiap buku teks tidak sama dengan model yang sudah melihat 68.000 contoh berlabel dari hal persis yang kamu tanyakan.

Percobaan gagal pertama: langsung tanya model canggihnya

Langkah pertama yang paling alami adalah yang dicoba sang dermatolog: berikan gambar ke LLM, minta diagnosis, skor kepercayaan, dan pilihan kedua. Ini tes yang adil, karena begitulah klinisi sebenarnya akan memakai alat ini. Dan pola kegagalannya sangat mengajarkan.

Pertama, skor kepercayaan itu tidak berarti. Dalam satu kasus, sebuah LLM menyebut melanoma invasif yang tipis dan rendah pigmen sebagai karsinoma sel basal dengan keyakinan 95%. Angka itu dihasilkan dengan cara yang sama seperti diagnosisnya: secara masuk akal. Tidak ada probabilitas terkalibrasi di baliknya. Jika logika hilirmu memakai ambang batas kepercayaan, dan kebanyakan logika triase begitu, berarti kamu menggunakan ambang batas dari fiksi.

Kedua, kesalahannya tidak konservatif. Setiap percobaan dijalankan sekali dan jawabannya berubah-ubah antarpercobaan, dan ini sangat penting untuk apa pun yang akan masuk ke pipeline. Classifier spesialis memberikan logit yang sama untuk input yang sama setiap kali; LLM memberikan sampel dari distribusi jawaban. Untuk alat pendukung keputusan, nondeterminisme adalah kelemahan, bukan keunikan.

Ketiga, dan ini yang lebih halus, LLM sangat bagus dalam tugas yang berdekatan. Ketika diposisikan sebagai pasien, "perlukah saya menemui dokter?", mereka menjawab ya untuk 98–99 dari 100 melanoma yang terkonfirmasi biopsi, dan hampir semua lesi jinak juga. Itu perilaku model yang dilatih dengan teks kedokteran: selalu condong ke dokter. Berguna untuk layar triase chatbot. Tidak berguna untuk diskriminasi, yang merupakan tugas sebenarnya.

Percobaan gagal kedua: menganggap makin besar makin baik untuk segalanya

Ada kegagalan yang lebih dalam di sini yang sebenarnya tidak ada di eksperimen: anggapan bahwa skala bisa menggantikan kecocokan. Sebuah LLM canggih punya parameter ribuan kali lebih banyak dibanding ~24 juta milik Inception v3, paling tidak. Tidak ada satu pun kapasitas itu yang dialokasikan untuk membedakan keratosis seboroik dari karsinoma sel skuamosa pada tingkat piksel. Bagi model itu, dermatologi hanyalah setetes di lautan data pelatihan, dan citra dermoskopi, modalitas yang membawa sebagian besar sinyal diagnostik, jauh lebih langka lagi.

Ini alasan yang sama mengapa jaringan Go dengan 30 juta parameter mengalahkan LLM mana pun dalam Go dengan selisih yang tidak masuk akal. Ini juga alasan benchmark terus menyesatkan tim tentang di mana LLM benar-benar membantu di produksi, poin yang pernah kami bahas saat melihat mengapa benchmark AI melewatkan sebagian besar pekerjaan nyata. Kapabilitas dalam arti modal ("model kadang bisa melakukan ini") bukan kapabilitas dalam arti rekayasa ("model melakukan ini cukup andal untuk dibangun di atasnya").

Ada heuristik berguna yang tersembunyi dalam diskusi seputar eksperimen ini: LLM canggih cenderung benar-benar bagus untuk suatu tugas jika tugas itu sangat terwakili dalam pretraining (kode, bahasa Inggris sehari-hari) atau jika ia secara khusus di-post-train dengan reinforcement learning. Selain itu, harapkan performa seorang generalis cerdas yang sudah membaca beberapa buku dan tetap percaya diri. Diagnosis visual untuk hal-hal langka berada tepat di kelompok kedua.

Yang benar-benar berhasil: model kecil yang di-fine-tune pada distribusi yang tepat

Sekarang bagian yang seharusnya membuat malu siapa pun yang mengira model spesialis butuh laboratorium riset. CNN yang menang itu bukan state of the art. Itu Inception v3, arsitektur baseline, yang dilatih awal dengan foto biasa lalu di-fine-tune secara end-to-end pada 68.011 citra dermatologi dari arsip publik, di satu H100, sekitar dua puluh menit. Perhatian diberikan untuk menghapus setiap foto dari lesi uji dan pasiennya dari data pelatihan. Hasilnya berjalan di browser ponsel lewat WebGPU tanpa mengunggah apa pun.

Dua puluh menit di satu GPU. Bandingkan dengan biaya menjalankan model multimodal canggih atas korpus gambarmu dalam volume produksi, per gambar, selamanya. Model spesialis itu bukan hanya lebih akurat; ia juga lebih murah berkali-kali lipat, deterministik, dapat diaudit, dan cukup kecil untuk dikirim ke perangkat edge. Jika masalahmu bisa dirumuskan sebagai N label di atas distribusi input yang stabil, dan kamu punya (atau bisa mendapatkan) data berlabel, classifier yang di-fine-tune menang di hampir setiap aspek yang penting dalam produksi.

Versi modern dari pendekatan ini bahkan tidak butuh CNN lama. Vision transformer kecil, model embedding seperti encoder citra medis dari Google, atau head yang di-fine-tune di atas backbone terlatih akan membawamu lebih jauh. Intinya bukan nostalgia pada Inception v3; intinya adalah arsitektur 2015 sudah cukup untuk mengalahkan model dengan compute empat orde magnitudo lebih besar, dan itu menunjukkan di mana sebenarnya bottleneck-nya. Yang penting adalah kecocokan dengan tugas, bukan ukuran jaringan.

# The specialist path in miniature: a frozen backbone + a small head
import torch
import torch.nn as nn
from torchvision import models
# A decade-old backbone is fine. Seriously.
backbone = models.inception_v3(weights="IMAGENET1K_V1")
in_features = backbone.fc.in_features
backbone.fc = nn.Linear(in_features, 6)  # your six labels
# Fine-tune everything on your labelled domain images.
# On one H100, tens of thousands of images: tens of minutes.
optimizer = torch.optim.AdamW(backbone.parameters(), lr=1e-4)
loss_fn = nn.CrossEntropyLoss()  # a *calibrated* probability lives here

Dan jika ruang labelmu tetap tetapi kamu lebih suka menjaga LLM di dalam loop untuk alur kerja di sekitarnya, cara yang jujur adalah membatasi outputnya ke sebuah keputusan alih-alih mempercayai prosanya, pemikiran yang sama di balik constrained decoding untuk mengubah LLM menjadi model keputusan. Tapi untuk klasifikasinya sendiri, head yang terlatih tetap menang.

Kerangka keputusan: kapan spesialis menang, kapan LLM menang

Setelah beberapa tahun melihat tim membuat keputusan ini dengan buruk, inilah kerangka yang akan kupertahankan. Ajukan empat pertanyaan:

1. Apakah ruang label tetap dan kecil? Jika kamu bisa mendaftar semua jawabannya, classifier hampir selalu bentuk yang tepat. LLM menghasilkan nilainya ketika ruang output terbuka: ringkasan, penjelasan, dialog, kode.
2. Apakah distribusi input stabil? Model yang di-fine-tune pada citra dermoskopi sangat bagus untuk citra dermoskopi, dan kehilangan arah pada foto yang berisi tato, penggaris, dan cangkir kopi. Jika inputmu liar, ketahanan seorang generalis punya nilai nyata.
3. Apakah kamu punya data berlabel, atau bisa mendapatkannya? Ini persimpangan yang sebenarnya. Dengan 10 ribu+ contoh berlabel, fine-tuning hampir gratis dan akan mendominasi. Tanpa itu, tebakan zero-shot dari LLM mungkin titik awal terbaikmu, tapi perlakukan sebagai alat bootstrap untuk pelabelan, bukan jawaban produksi.
4. Berapa biaya sebuah error, dan apakah kamu butuh kalibrasi? Keputusan berisiko tinggi dengan ambang batas membutuhkan probabilitas sungguhan dan output deterministik. Itu langsung menyingkirkan panggilan LLM biasa, titik.

Jalankan kasus kanker kulit melalui kerangka ini: ruang enam label yang tetap, pipeline pencitraan klinis yang stabil, 68 ribu citra publik berlabel, error yang menyangkut hidup dan mati. Empat dari empat. LLM tidak pernah punya peluang, dan yang mengejutkan bukan karena ia kalah, tapi karena ada yang mengira sebaliknya.

Catatan jujur, karena pragmatisme itu dua arah

Saya akan merugikanmu jika berhenti di "model kecil menang." Kekuatan classifier yang di-fine-tune juga merupakan kelemahannya. Ia dibandingkan dengan generalis yang tidak di-fine-tune, pada data yang berasal dari distribusi yang persis sama dengan data latihnya. Bawa ke dunia nyata, dengan kamera berbeda, warna kulit yang kurang terwakili di arsip, atau citra dengan oklusi dan anotasi, dan performanya menurun dengan cara yang kadang lebih baik ditangani oleh pelatihan luas LLM. Generalis gagal secara dapat diprediksi dalam distribusi; spesialis gagal secara katastrofik di luarnya.

Ada juga tugas yang sama sekali tidak bisa dilakukan classifier: sisa dunia kedokteran. Hasil sekunder paling menarik dari eksperimen yang sama adalah bahwa LLM, dengan catatan jurnal, riwayat pasien, dan kemampuan untuk mengajukan pertanyaan, dapat secara masuk akal berkontribusi pada interpretasi, komunikasi, dan tatalaksana, yaitu semua yang berada setelah label. CNN hanya menghasilkan enam logit. Ia tidak akan pernah menjelaskan penalarannya kepada pasien yang cemas atau menyadari bahwa surat rujukan bertentangan dengan citranya.

Dan perhatikan kejujuran studi ini: AI dermatologi state-of-the-art bukanlah Inception v3 tunggal, melainkan ensemble vision transformer yang dilatih dengan data jauh lebih banyak, dan produk teregulasi yang dibangun seperti itu performanya jauh lebih baik. Arah perkembangan bidang ini adalah model spesialis yang lebih besar, bukan generalis, dan itu justru memperkuat poin ini, bukan melemahkannya.

Wawasan sebenarnya: LLM untuk membangun classifier, bukan untuk menjadi classifier

Pengamatan paling tajam dari seluruh episode ini adalah yang terus saya pikirkan: LLM telah menurunkan biaya membangun classifier khusus mendekati nol. Menulis skrip fine-tuning, membersihkan dataset, membangun harness evaluasi, membuat antarmuka pelabelan, ini persis pekerjaan yang sangat dipercepat oleh LLM. Bahkan analisis sang dermatolog dibuat dengan alat coding AI. Sang generalis membangun dan menilai eksperimen yang dimenangkan sang spesialis.

Itulah arsitektur yang sekarang saya rekomendasikan secara default: LLM di dalam loop untuk pengembangan, pekerjaan data, triase kasus tepi, dan lapisan penjelasan untuk manusia; model kecil yang di-fine-tune untuk keputusan yang berulang, bervolume tinggi, dan berisiko tinggi itu sendiri. Kami juga sudah melihat pola yang sama dari sisi efisiensi. Cerita menariknya sering bukan model unggulan melainkan tier murah yang bekerja nyata, seperti pada model flash-tier dan efisiensi inferensi. Sesuaikan model dengan bentuk masalahnya, dan sebagian besar keluhan "AI tidak berhasil" akan lenyap.

Kalkulator mengungguli setiap LLM dalam pembagian, dan tidak ada yang menulis postingan heboh tentangnya. Classifier yang di-fine-tune mengungguli chatbot dalam klasifikasi adalah cerita yang sama dengan parameter lebih banyak. Satu-satunya alasan ini mengejutkan siapa pun adalah karena kita sudah dua tahun diberitahu bahwa skala menghapus kebutuhan akan spesialisasi. Tidak. Skala hanya membuat spesialisasi lebih murah untuk dibangun, asalkan kamu mau meraih alat yang membosankan.