इमेज क्लासिफिकेशन: स्पेशलिस्ट CNN बनाम फ्रंटियर LLM

एक डर्मेटोलॉजिस्ट ने हाल ही में 200 बायोप्सी-कन्फर्म्ड स्किन लीजन दो फ्रंटियर LLM और Google के एक दशक पुराने convolutional network Inception v3 की फ़ाइन-ट्यून्ड कॉपी के सामने रखे। CNN ने 62% डायग्नोसिस सही निकाले। दोनों LLM 42% पर अटके। मेलानोमा पर, यानी वह डायग्नोसिस जिसे आप सबसे ज़्यादा मिस नहीं करना चाहेंगे, पुराने नेटवर्क ने वहाँ भी बाज़ी मारी। अगर आपका काम किसी भी पैमाने पर image classification से जुड़ा है, तो यह नतीजा specialist-model-versus-LLM वाले फ़ैसले को देखने का तरीका बदल देना चाहिए, क्योंकि यह असल में मेडिसिन की कहानी नहीं है। यह सही टूल चुनने की कहानी है।

समस्या: LLM के लिए क्लासिफिकेशन आसान दिखता है, पर है नहीं

यहाँ वह जाल है जिसमें समझदार इंजीनियर बार-बार फँसते हैं। फ्रंटियर मॉडल कोड लिखते हैं, कॉन्ट्रैक्ट का सार बनाते हैं, और बार एग्ज़ाम भी पास कर लेते हैं, तो यह सुझाना लगभग अपमानजनक लगता है कि वे एक फ़ोटो देखकर छह लेबलों में से एक नहीं चुन सकते। क्लासिफिकेशन मशीन लर्निंग का “hello world” है। बड़े से बड़ा मॉडल यह तो कर ही लेगा।

पर ज़रा देखिए कि क्लासिफिकेशन असल में है क्या। आपके पास लेबल का एक तय, आम तौर पर छोटा सेट होता है। इनपुट का वितरण दोहराने लायक होता है। और आपको एक decision boundary चाहिए जो सूक्ष्म, उच्च-दांव वाले मामलों को हर बार सही तरफ़ रखे। आख़िरी बात पर ही मल्टीमॉडल LLM लड़खड़ा जाते हैं। उन्हें एक संकरे विज़ुअल डोमेन के भीतर बारीक फ़र्क करने के लिए ट्रेन नहीं किया गया था; उन्हें लगभग किसी भी ऑनलाइन पोस्ट हुई इमेज के बारे में कोई सही-सा लगने वाला जवाब देने के लिए ट्रेन किया गया था।

स्किन कैंसर के नतीजे इसे एक असहज तरीके से साफ़ करते हैं। एक LLM ने 200 में से 75 लीजन को basal cell carcinoma बताया, जबकि असल में सिर्फ़ 25 थे, जिनमें 30 में से 14 मेलानोमा भी शामिल थे। दूसरे को actinic keratosis से खास लगाव हो गया; उसने इसे 53 बार कहा, जबकि असली केस सिर्फ़ 20 थे। ये रैंडम गलतियाँ नहीं हैं। ये उस मॉडल की पहचान हैं जिसने डर्मेटोलॉजी के बारे में खूब पढ़ा है, वेब-स्केल ट्रेनिंग डेटा में जो भी लीजन इमेज मिलीं उन्हें देखा है, और डायग्नोसिस की गणना करने के बजाय वही जवाब पैटर्न-मैच कर रहा है जो सबसे ज़्यादा सही लगे।

जिसने हर किताब पढ़ी हो, वह उस मॉडल जैसा नहीं होता जिसने ठीक उसी चीज़ के 68,000 लेबल वाले उदाहरण देखे हों, जिसके बारे में आप उससे पूछ रहे हैं।

पहली नाकाम कोशिश: बस फ्रंटियर मॉडल से पूछ लीजिए

सबसे स्वाभाविक पहला कदम वही है जो डर्मेटोलॉजिस्ट ने आज़माया: LLM को इमेज दीजिए, डायग्नोसिस, confidence score और दूसरा विकल्प माँगिए। यह एक उचित परीक्षा है, क्योंकि कोई डॉक्टर इन टूल्स का इस्तेमाल वाकई ऐसे ही करेगा। और इसके फेल होने के तरीके बहुत कुछ सिखाते हैं।

पहली बात, confidence बेमानी है। एक केस में एक LLM ने पतले, कम पिगमेंट वाले invasive melanoma को 95% confidence के साथ basal cell carcinoma बता दिया। यह संख्या भी उसी तरह बनती है जैसे डायग्नोसिस बनता है: सिर्फ़ सही-सा लगने के लिए। उसके नीचे कोई calibrated probability नहीं होती। अगर आपका downstream लॉजिक confidence पर threshold लगाता है, और ज़्यादातर triage लॉजिक ऐसा ही करता है, तो आप एक काल्पनिक चीज़ पर threshold लगा रहे हैं।

दूसरी बात, गलतियाँ सावधान नहीं हैं। हर रन एक ही बार होता है, और जवाब रन-दर-रन बदलते हैं, जो किसी भी pipeline में डालने वाली चीज़ के लिए बहुत मायने रखता है। एक specialist classifier एक ही इनपुट पर हर बार वही logits देता है; LLM जवाबों के distribution से एक sample देता है। decision support टूल के लिए nondeterminism कोई अदा नहीं, देनदारी है।

तीसरी बात, और यह सबसे बारीक है, LLM आसपास के काम में बहुत अच्छे थे। मरीज़ की तरह पूछा गया, “क्या मुझे डॉक्टर को दिखाने की ज़रूरत है?”, तो उन्होंने 100 में से 98–99 बायोप्सी-कन्फर्म्ड मेलानोमा के लिए हाँ कहा, और लगभग हर हानिरहित लीजन के लिए भी। यह मेडिसिन पर लिखे टेक्स्ट से ट्रेन हुए मॉडल का व्यवहार है: हमेशा डॉक्टर की ओर झुकना। chatbot वाली triage स्क्रीन के लिए उपयोगी। पर discrimination के लिए बेकार, और असली काम वही है।

दूसरी नाकाम कोशिश: मान लेना कि हर चीज़ में बड़ा मतलब बेहतर

यहाँ एक गहरी विफलता है जो प्रयोग में है ही नहीं: यह मान्यता कि स्केल फिट होने का विकल्प है। एक फ्रंटियर LLM के पैरामीटर Inception v3 के लगभग 24 मिलियन से, रूढ़िवादी अनुमान से, हज़ारों गुना ज़्यादा हैं। उस क्षमता का कोई हिस्सा पिक्सेल स्तर पर seborrhoeic keratosis और squamous cell carcinoma में फ़र्क करने में नहीं लगता। मॉडल के लिए डर्मेटोलॉजी ट्रेनिंग डेटा के समंदर में एक बूँद है, और dermoscopic इमेज, जिनमें ज़्यादातर डायग्नोस्टिक सिग्नल होता है, और भी दुर्लभ हैं।

यही वजह है कि 30 मिलियन पैरामीटर वाला Go नेटवर्क Go में किसी भी LLM को बेतुके अंतर से हरा देता है। और इसी वजह से benchmarks टीमों को गुमराह करते रहते हैं कि production में LLM असल में कहाँ मदद करते हैं, जैसा हमने AI benchmarks असल काम का ज़्यादातर हिस्सा क्यों छूट जाते हैं पर देखते हुए बताया था। Modal अर्थ में क्षमता (“मॉडल कभी-कभी यह कर सकता है”) वह क्षमता नहीं है जो इंजीनियरिंग अर्थ में मायने रखती है (“मॉडल इसे इतनी भरोसेमंदी से करता है कि उस पर कुछ बनाया जा सके”)।

इस प्रयोग की चर्चा में एक काम की heuristic छिपी है: कोई फ्रंटियर LLM किसी काम में वाकई अच्छा होने की संभावना तब रखता है जब वह काम pretraining में बहुत ज़्यादा दिखता हो (कोड, रोज़मर्रा की अंग्रेज़ी), या उस पर reinforcement learning से खास post-training हुई हो। वरना एक ऐसे होशियार generalist से उम्मीद रखिए जिसने कुछ किताबें पढ़ी हैं और फिर भी पूरे भरोसे से बोलता है। दुर्लभ चीज़ों का विज़ुअल डायग्नोसिस दूसरी श्रेणी में पक्के तौर पर आता है।

जो असल में काम करता है: एक छोटा मॉडल, ठीक उसी distribution पर fine-tuned

अब वह हिस्सा जो हर उस इंसान को शर्मिंदा करना चाहिए जो मानता है कि specialist मॉडल के लिए research lab चाहिए। जो CNN जीता, वह state of the art नहीं था। वह Inception v3 था, एक baseline आर्किटेक्चर, जो आम फ़ोटो पर pretrained था, फिर एक public archive की 68,011 डर्मेटोलॉजी इमेज पर end-to-end fine-tune हुआ, एक ही H100 पर, लगभग बीस मिनट में। ट्रेनिंग डेटा से टेस्ट लीजन और उनके मरीज़ों की हर फ़ोटो हटाने का ध्यान रखा गया। नतीजा WebGPU के ज़रिये फ़ोन ब्राउज़र में चलता है, और कुछ भी अपलोड किए बिना।

एक GPU पर बीस मिनट। इसकी तुलना उस लागत से कीजिए जो आपकी इमेज कॉर्पस पर production वॉल्यूम में हर इमेज के लिए, हमेशा के लिए, एक फ्रंटियर multimodal मॉडल चलाने में आती है। specialist मॉडल सिर्फ़ ज़्यादा सटीक नहीं है; वह कई गुना सस्ता, deterministic, auditable है, और edge devices पर भेजने लायक इतना छोटा है। अगर आप अपनी समस्या को एक स्थिर input distribution पर N लेबल के रूप में रख सकते हैं, और आपके पास (या आप पा सकते हैं) लेबल वाला डेटा है, तो fine-tuned classifier production में लगभग हर उस पैमाने पर जीतता है जो मायने रखता है।

इस playbook का आधुनिक रूप पुराने CNN की भी ज़रूरत नहीं छोड़ता। छोटे vision transformers, Google के medical image encoders जैसे embedding models, या pretrained backbone पर fine-tuned head आपको और आगे ले जाएँगे। बात Inception v3 के लिए नॉस्टैल्जिया की नहीं है; बात यह है कि 2015 का एक आर्किटेक्चर भी उन मॉडलों को हराने के लिए काफ़ी है जिनके पास चार ऑर्डर ऑफ़ मैग्नीट्यूड ज़्यादा compute है, और यह बताता है कि असली बाधा कहाँ है। मायने नेटवर्क के आकार का नहीं, काम से फिट होने का है।

# The specialist path in miniature: a frozen backbone + a small head
import torch
import torch.nn as nn
from torchvision import models
# A decade-old backbone is fine. Seriously.
backbone = models.inception_v3(weights="IMAGENET1K_V1")
in_features = backbone.fc.in_features
backbone.fc = nn.Linear(in_features, 6)  # your six labels
# Fine-tune everything on your labelled domain images.
# On one H100, tens of thousands of images: tens of minutes.
optimizer = torch.optim.AdamW(backbone.parameters(), lr=1e-4)
loss_fn = nn.CrossEntropyLoss()  # a *calibrated* probability lives here

और अगर आपका label space तय है पर आप आसपास के workflow में LLM को रखना चाहते हैं, तो ईमानदार तरीका है उसके आउटपुट को एक decision तक सीमित करना, न कि उसके गद्य पर भरोसा करना, वही सोच जो LLM को decision models में बदलने के लिए constrained decoding के पीछे है। पर क्लासिफिकेशन के काम के लिए, trained head ही जीतता है।

एक निर्णय फ्रेमवर्क: specialist कब जीतता है, LLM कब

टीमों को यह फ़ैसला बुरी तरह लेते देखने के कुछ सालों बाद, यह वह फ्रेमवर्क है जिसका मैं सच में बचाव करूँगा। चार सवाल पूछिए:

1. क्या label space तय और छोटा है? अगर आप जवाबों की गिनती कर सकते हैं, तो classifier लगभग हमेशा सही आकार होता है। LLM तब अपनी कीमत वसूलते हैं जब आउटपुट स्पेस खुला हो: सार, व्याख्या, संवाद, कोड।
2. क्या input distribution स्थिर है? dermoscopy इमेज पर fine-tuned मॉडल dermoscopy इमेज पर शानदार है, पर टैटू, रूलर और कॉफ़ी कप वाली फ़ोटो पर बेबस। अगर आपके इनपुट बेतरतीब हैं, तो generalist की मज़बूती की असली कीमत है।
3. क्या आपके पास लेबल वाला डेटा है, या आप पा सकते हैं? यही असली मोड़ है। 10k+ लेबल वाले उदाहरणों के साथ fine-tuning लगभग मुफ़्त है और हावी रहेगी। बिना डेटा के, LLM का zero-shot अनुमान शायद सबसे अच्छी शुरुआत हो, पर उसे लेबलिंग के लिए bootstrapping टूल समझिए, production का जवाब नहीं।
4. एक गलती की कीमत क्या है, और क्या आपको calibration चाहिए? उच्च-दांव, threshold वाले फ़ैसलों को असली probabilities और deterministic आउटपुट चाहिए। इससे सादे LLM calls पूरी तरह बाहर हो जाते हैं।

स्किन कैंसर वाले मामले को इस पर चलाइए: छह लेबल का तय सेट, स्थिर clinical imaging pipeline, 68k लेबल वाली सार्वजनिक इमेज, जान से जुड़ी गलतियाँ। चारों सवालों पर हाँ। LLM को कभी मौका ही नहीं था, और हैरानी यह नहीं कि वह हारा; हैरानी यह है कि किसी को कुछ और उम्मीद थी।

ईमानदार सीमाएँ, क्योंकि व्यावहारिकता दोनों तरफ़ धार वाली होती है

अगर मैं “छोटे मॉडल जीतते हैं” पर रुक जाऊँ तो आपके साथ नाइंसाफ़ी होगी। fine-tuned classifier की ताक़त ही उसकी नाज़ुकी भी है। उसे उसी distribution के डेटा पर बेंचमार्क किया गया था जिस पर वह ट्रेन हुआ था, और उसकी तुलना बिना fine-tune वाले generalist से की गई थी। उसे दुनिया में ले जाइए, अलग कैमरे, archive में कम दिखने वाले skin tones, occlusions या annotations वाली इमेज, तो performance ऐसे गिरता है जिसे LLM का व्यापक ट्रेनिंग कभी-कभी बेहतर संभाल लेता है। generalist एक distribution के भीतर अनुमानित तरीके से फेल होता है; specialist उसके बाहर विनाशकारी रूप से फेल होता है।

एक काम ऐसा भी है जो classifier बिल्कुल नहीं कर सकता: बाकी मेडिसिन। इसी प्रयोग का सबसे दिलचस्प दूसरा नतीजा यह था कि LLM, जर्नल नोट्स, मरीज़ का इतिहास और सवाल पूछने की क्षमता दिए जाने पर, व्याख्या, संवाद और प्रबंधन में, यानी लेबल के बाद वाले हर हिस्से में, भरोसेमंद योगदान दे सकते थे। एक CNN छह logits देता है। वह कभी किसी चिंतित मरीज़ को अपना तर्क नहीं समझाएगा, और न ही यह देखेगा कि रेफ़रल लेटर इमेज से मेल नहीं खाता।

और अध्ययन की अपनी ईमानदारी पर ध्यान दीजिए: state-of-the-art dermatology AI अकेला Inception v3 नहीं है, बल्कि ज़्यादा डेटा पर ट्रेन हुए vision transformers के ensembles हैं, और इस तरह बने नियामकीय रूप से मंज़ूर उत्पाद काफ़ी बेहतर प्रदर्शन करते हैं। इस क्षेत्र की दिशा बड़े specialist मॉडलों की ओर है, generalists की ओर नहीं, और यह बात मेरी दलील को कमज़ोर नहीं करती, बल्कि मज़बूत करती है।

असली अंतर्दृष्टि: LLM classifier बनाने के लिए हैं, उसकी जगह लेने के लिए नहीं

पूरे प्रकरण से मेरी सबसे तीखी बात वह है जिस पर मैं बार-बार लौटता हूँ: LLM ने dedicated classifiers बनाने की लागत को लगभग शून्य की ओर धकेल दिया है। fine-tuning स्क्रिप्ट लिखना, डेटासेट साफ़ करना, evaluation harness बनाना, लेबलिंग इंटरफ़ेस तैयार करना, यही वह काम है जिसे LLM सच में असाधारण रूप से तेज़ कर सकते हैं। डर्मेटोलॉजिस्ट का विश्लेषण भी एक AI coding tool से बनाया गया था। जिस generalist ने वह प्रयोग बनाया और उसका स्कोर निकाला, उसी प्रयोग में specialist जीता।

यही वह आर्किटेक्चर है जिसे मैं अब डिफ़ॉल्ट रूप से सुझाता हूँ: development, data work, edge-case triage और इंसानों के लिए व्याख्या की परत में LLM लूप में; और दोहराए जाने वाले, उच्च-वॉल्यूम, उच्च-दांव वाले फ़ैसले के लिए एक छोटा fine-tuned मॉडल। efficiency के लिहाज़ से भी हमने यही पैटर्न देखा है: दिलचस्प कहानी अक्सर फ्लैगशिप मॉडल नहीं, बल्कि सस्ता टियर होता है जो असली काम करता है, जैसे flash-tier मॉडल और inference efficiency में। मॉडल को समस्या के आकार से मिलाइए, और “AI काम नहीं करता” वाली ज़्यादातर शिकायतें हवा हो जाती हैं।

कैलकुलेटर भाग के मामले में हर LLM से बेहतर है, और उस पर कोई भावुक पोस्ट नहीं लिखता। किसी chatbot से classification में बेहतर प्रदर्शन करने वाला fine-tuned classifier वही कहानी है, बस ज़्यादा पैरामीटर के साथ। यह किसी को हैरान इसलिए करता है क्योंकि हमें दो साल से बताया जा रहा है कि स्केल specialization की ज़रूरत खत्म कर देता है। ऐसा नहीं होता। वह बस specialization को बनाना सस्ता कर देता है, बशर्ते आप उस उबाऊ लेकिन काम के औज़ार तक पहुँचने को तैयार हों।