मैकेनिस्टिक इंटरप्रेटेबिलिटी के पाँच मिथक, परीक्षण पर

सालों तक मैकेनिस्टिक इंटरप्रेटेबिलिटी में एक निराशाजनक धारणा चलती रही: न्यूरल नेटवर्क उलझी हुई गांठें हैं, और उन्हें समझने से पहले आपको किसी दूसरे मॉडल को उन्हें सुलझाने का भुगतान करना पड़ेगा। इस धारणा ने रिसर्च की दिशा तय की, sparse autoencoders पर टिके पूरे सब-फ़ील्ड्स को जायज़ ठहराया, और चुपचाप कई इंजीनियरों को यकीन दिला दिया कि LLM के अंदर झाँकना बेवकूफ़ी है। इस निराशावाद को गढ़ने में मदद करने वाले एक शोधकर्ता ने अब उसका बड़ा हिस्सा वापस ले लिया है। सबसे मज़बूत दावे को मानें या न मानें, मॉडल के अंदरूनी ढांचे के बारे में हम जो जानते हैं उसे दोबारा परखने का यह अच्छा मौका है। आइए सबूतों के आधार पर पाँच आम मान्यताओं को जाँचें।

मिथक 1: न्यूरॉन्स पूरी तरह पॉलीसेमांटिक हैं

आधुनिक मैकेनिस्टिक इंटरप्रेटेबिलिटी की नींव एक किस्से पर टिकी है: पॉलीसेमांटिक न्यूरॉन, यानी एक ही यूनिट जो बिल्ली के चेहरे और कार के अगले हिस्से दोनों पर सक्रिय होती है, जबकि इन दोनों में कोई स्पष्ट संबंध नहीं दिखता। अगर न्यूरॉन नियमित रूप से असंबंधित अवधारणाओं को एक साथ बाँधते हैं, तो तर्क यह था कि नेटवर्क को न्यूरॉन-दर-न्यूरॉन समझना शुरू से ही असंभव है। इस उदाहरण ने बयानबाज़ी में ज़बरदस्त काम किया। यही वह 'Exhibit A' था जिसने पूरी 'नेटवर्क गांठें हैं' वाली सोच को सही ठहराया।

नया दावा यह है कि Exhibit A को गलत पढ़ा गया था। जब शोधकर्ताओं ने मशहूर कार-और-कुत्ते वाले न्यूरॉन के पीछे का असली सर्किट खंगाला, तो उसके आगे वाली किसी परत ने वह खास संयोजन कभी वापस पढ़ा ही नहीं। न्यूरॉन कोई कार वाला फीचर अनजान इलाके में चुपके से नहीं ढो रहा था; वह सामान्य जनरलाइज़ेशन और कंपोज़िशन कर रहा था। और शुरुआती क्षेत्र के पसंदीदा मॉडल, InceptionV1, की सबसे गड़बड़ परत, जिसे पहले लगभग बिना व्याख्या वाले न्यूरॉन्स का माना गया था, सामान्य आर्किटेक्चर सुधारों के बाद 99–100% साफ़ तौर पर व्याख्या योग्य निकली, बिना मॉडल का आकार या ट्रेनिंग डेटा बदले। यह गांठ काफ़ी हद तक एक मापन की गड़बड़ी थी।

भाषा मॉडल में यही पैटर्न अलग पैमाने पर दिखता है। 2023 के ऑडिट में एक छोटे transformer के औसत न्यूरॉन को व्याख्या-रूब्रिक पर शून्य अंक मिले, और एक बड़े स्वचालित explainability प्रोजेक्ट ने लगभग 1.7% न्यूरॉन्स को पठनीय पाया। बेहतर टूलिंग के साथ 32B-पैरामीटर वाले आधुनिक मॉडलों के प्रारंभिक ऑडिट अनुमान लगाते हैं कि लगभग 90% न्यूरॉन पोल्स का एक मुख्य काम है, लगभग 7% के दो संबंधित काम हैं, और केवल कुछ प्रतिशत वास्तव में रहस्यमय रहते हैं। बचा हुआ 'पॉलीसेमेंटिसिटी' अक्सर जाँच करने पर गायब हो जाता है: जो न्यूरॉन प्रत्यय (suffix) और 'do it yourself' जैसे पूरे वाक्यांश दोनों को पहचानता दिखता है, वह असंबंधित चीज़ें नहीं बाँध रहा, वह एक से दूसरे की ओर विकसित हुआ है।

मेरी राय: यह मान्यता मर चुकी है, पर उसका शोक-सभा छोटी होनी चाहिए। एक संशयी टिप्पणीकार ने याद दिलाया कि CNN के ज़माने से ही प्रगतिशील फ़ीचर जटिलता ज्ञात है, और संघनित, गैर-सार्थक प्रतिनिधित्व दूसरी जगह भी दर्ज हैं। 'हमारे डर से कम पॉलीसेमांटिक' बात अच्छी तरह समर्थित है। 'कभी पॉलीसेमांटिक नहीं' अभी सिद्ध नहीं हुआ है।

मिथक 2: सुपरपोज़िशन एक मूलभूत लर्निंग सिद्धांत है

सुपरपोज़िशन वह सुंदर सिद्धांत था जो इस गड़बड़ी को समझाता था: जब नेटवर्क के पास न्यूरॉन कम पड़ते हैं, तो वह मिलती-जुलती चीज़ों को एक साथ रखना बंद कर देता है और असंबंधित चीज़ों को एक ही यूनिट में समेटने लगता है, ताकि उच्च-आयामी स्पेस की ज्यामिति का फ़ायदा उठाकर वे आपस में न टकराएँ। इस सिद्धांत के तहत यह बताने वाली कोई बात नहीं कि कौन-सी अवधारणाएँ एक न्यूरॉन साझा करती हैं, क्योंकि यह समेटना मनमाना है, कई बराबर अच्छी कॉन्फ़िगरेशनों में से एक। अध्ययन से पहले आपको उसे खोलना होगा।

प्रतिप्रस्ताव लगभग निराशाजनक रूप से सरल है: एक ही लर्निंग सिद्धांत है, और वह है जनरलाइज़ेशन। जो समेटने जैसा दिखता था, वह असल में रिकर्सिव जनरलाइज़ेशन है, जैसे पेड़ की शाखा से उप-शाखाएँ निकलती हैं, वैसे ही न्यूरॉन शाखाएँ निकालते हैं। 'iy' पहचानने वाला न्यूरॉन 'diy' तक बढ़ता है, फिर पूरी अवधारणा 'do it yourself' तक। हर विस्तार पास के अर्थ-क्षेत्र में होता है, कभी बेतरतीब में नहीं। और जब आप मॉडल को छोटा करते हैं, तो वह रणनीति नहीं बदलता: न्यूरॉन बस मोटे हो जाते हैं, जैसे एक 'कार' न्यूरॉन विशिष्ट होने के बजाय कई तरह की कारों को ढक लेता है। इसे 300 गुना आकार की रेंज में बढ़ाएँ, तब भी वही पठनीयता बनी रहती है: न्यूरॉन विभेदित होते हैं, उलझते नहीं।

यह इसलिए मायने रखता है क्योंकि यह बदल देता है कि न्यूरॉन का समूहन क्या अर्थ रखता है। सुपरपोज़िशन के तहत, दो चीज़ों पर सक्रिय होने वाला न्यूरॉन शोर है। रिकर्सिव जनरलाइज़ेशन के तहत, वह मॉडल की अवधारणा-श्रेणी के बारे में एक परिकल्पना है, यानी यह सीखने लायक बात है कि वे चीज़ें एक घर क्यों बाँट रही हैं। इसका मतलब यह भी है कि व्याख्याएँ फ्रैक्टल हो सकती हैं: मोटे लेबल से शुरू करें और ज़रूरत पड़ने पर विस्तार में जाएँ। इंजीनियरों के लिए यह हexdump और symbol names वाले stack trace के बीच का फ़र्क है।

दो व्याख्याएँ मेज़ पर थीं: जनरलाइज़ेशन मिलती-जुलती चीज़ों को एक साथ रखता है, सुपरपोज़िशन असंबंधित चीज़ों को। क्षेत्र ने गलत वाले पर दांव लगाया।

एक चेतावनी जोड़ना चाहूँगा, जिसे उत्साही लोग अनदेखा कर देते हैं: सुपरपोज़िशन एक गणितीय घटना के रूप में, यानी फ़ीचर्स को उनकी संख्या से कम आयामों में दर्शाना, टॉय मॉडलों में अच्छी तरह स्थापित है। विवादित यह है कि क्या वास्तविक नेटवर्कों के प्रसिद्ध गड़बड़ न्यूरॉन्स के लिए यही सही व्याख्या है। ये अलग दावे हैं, और इन्हें मिला देने से आप नतीजे को ज़रूरत से ज़्यादा श्रेय या ज़रूरत से ज़्यादा खारिज कर बैठते हैं।

मिथक 3: कुछ भी देखने के लिए आपको sparse autoencoder चाहिए

नेटवर्क को गांठों वाला मानने का व्यावहारिक नतीजा एक कार्यप्रणाली थी: नेटवर्क का अध्ययन मत करो, उसके विघटन (decomposition) का करो। एक sparse autoencoder ट्रेन करो जो नेटवर्क को 'खोलकर' अनुमानित करे, फिर मूल न्यूरॉन्स की बजाय SAE के सीखे हुए फ़ीचर्स की व्याख्या करो। इससे पूरा pipeline उद्योग खड़ा हो गया, dictionary learning, reconstruction objectives, feature dashboards, और कुछ सचमुच प्रभावशाली नतीजे भी आए, जैसे Anthropic के Claude-स्तर के मॉडलों से निकाले गए monosemantic फ़ीचर्स।

लेकिन देखिए SAE तरीका क्या मानकर चलता है: कि मूल नेटवर्क अपठनीय है और सच्चाई अनुमान में रहती है। अगर नेटवर्क पहले से साफ़ हैं, तो यह मान्यता उलट जाती है। नेटवर्क के अपने न्यूरॉन्स और सर्किट मुख्य अध्ययन-वस्तु बन जाते हैं, और SAE बस एक कम्प्रेशन टूल रह जाता है, सारांश के लिए उपयोगी, पर खतरनाक अगर आप सारांश को ही सिस्टम समझ बैठें। SAE की अपनी विफलताएँ भी हैं: वे ऐसे फ़ीचर्स बना सकते हैं जो एक्टिवेशन को अच्छी तरह दोबारा बनाते हैं पर किसी असली तंत्र से मेल नहीं खाते, और उनकी reconstruction त्रुटियाँ ठीक वही चीज़ हैं जो सुरक्षा-संवेदनशील विश्लेषण में काटती हैं।

वैकल्पिक वर्कफ़्लो ज़्यादा सामान्य debugging जैसा दिखता है। एक न्यूरॉन चुनें। उसके सबसे मज़बूत एक्टिवेशन देखें, फिर कमज़ोर वाले भी (कमज़ोर एक्टिवेशन भी जानकारी देते हैं: मशहूर 'Titanic neuron' भाप इंजन जैसी उसी दौर से जुड़ी चीज़ों पर हल्का सक्रिय होता है, जो भ्रम नहीं बल्कि जनरलाइज़ेशन है)। देखें कि वह downstream किससे जुड़ा है। mixture-of-experts मॉडलों में देखें कि उसका expert किसमें माहिर है। समझ क्रॉसवर्ड की तरह जुड़ती है: आप जो हर न्यूरॉन डिकोड करते हैं, वह उसके आसपास वालों पर बंदिश लगाता है। इसके लिए दूसरा मॉडल ट्रेन करने की ज़रूरत नहीं पड़ती।

• एक न्यूरॉन के मज़बूत एक्टिवेशन से शुरू करें, फिर जनरलाइज़ेशन की सीमा के लिए कमज़ोर एक्टिवेशन जाँचें।
• downstream कनेक्शन का पीछा करें और देखें कि असल में कौन उस न्यूरॉन का आउटपुट पढ़ता है, कई 'रहस्य' यहीं खत्म हो जाते हैं।
• आसपास के सर्किट और expert specialization को क्रॉस-चेक के रूप में इस्तेमाल करें, जैसे profiler में callers और callees देखते हैं।
• SAE तक तभी पहुँचें जब आपको कम्प्रेशन या खोज चाहिए, तंत्र के बारे में अंतिम सत्य के रूप में नहीं।

मिथक 4: छोटे मॉडल बताते हैं कि बड़े कैसे काम करते हैं

ज़्यादातर निराशाजनक क्लासिक नतीजे छोटे या सरल किए गए मॉडलों से आए, जैसे एक-परत वाले transformers और शुरुआती vision नेटवर्क। यहाँ एक सुविधाजनक विडंबना है: छोटे मॉडलों के पास सचमुच जगह कम पड़ती है, इसलिए उनके व्यवहार के लिए सुपरपोज़िशन स्वाभाविक व्याख्या लगी। पर जगह की कमी से सीखने के सिद्धांत नहीं बदलते; न्यूरॉन बस चौड़े हो जाते हैं। चौड़े न्यूरॉन प्रारंभिक उपकरणों को मनमाने मिश्रण जैसे दिखते हैं। मॉडल का आकार बढ़ाएँ, तो वे चौड़े न्यूरॉन साफ़ और विशिष्ट न्यूरॉन्स में बँट जाते हैं।

यही तर्क उपकरणों पर भी लागू होता है। 2023 के दौर के स्वचालित explainers अनुमान और परीक्षण का चक्र नहीं चला पाते थे: वे एक्टिवेशन से परिकल्पना बनाते थे और उसे simulation से स्कोर करते थे, जो सही व्याख्याओं की बजाय विश्वसनीय लगने वाली व्याख्याओं को इनाम देता है। आधुनिक agentic टूलिंग वास्तव में हस्तक्षेप कर सकती है: एक्टिवेशन patch करना, न्यूरॉन ablate करना, प्रभाव का अनुमान लगाना, और परिणाम जाँचना। यही बंद चक्र '1.7% पठनीय' को '~90% का एक मुख्य काम' में बदल गया, किसी मॉडल के अपने गुण की वजह से कम। हमें विनम्र रहना चाहिए कि साहित्य का कितना हिस्सा नेटवर्क की बजाय हमारे उपकरणों को माप रहा है।

यहाँ उन और मामलों से समानता है जहाँ spec और चल रहे सिस्टम के बीच का अंतर असली व्यवहार को छिपा देता था। specification-implementation gap वही जगह है जहाँ बग रहते हैं, और interpretability के भूत-बग भी वहीं रहते थे। मॉडल के weights शुरू से ही असली सच थे; उनका हमारा वर्णन गलत spec था।

मिथक 5: व्याख्यात्मकता आपके निर्माण के तरीके को नहीं बदलती

जिन practitioners ने interpretability साहित्य को पढ़ा भी, उनमें से कई इसे 'safety research, प्रासंगिकता: कभी' की श्रेणी में डाल देते थे। अब यह गलत है, चाहे आप सबसे मज़बूत दावों को किसी भी नज़र से देखें। अगर न्यूरॉन और सर्किट पठनीय building blocks हैं, तो वे handles बन जाते हैं: ऐसे steerable फ़ीचर्स जिन्हें inference के समय कस सकते हैं, बढ़ा सकते हैं, या ablate कर सकते हैं। Feature steering, यानी 'truthfulness' दिशा को बढ़ाना या 'sycophancy' दिशा को दबाना, पहले से एक काम करने वाली तकनीक है, और यह तब और भी सिद्धांतसम्मत है जब फ़ीचर किसी असली तंत्र से मेल खाता हो, न कि SAE के reconstruction artifact से।

Debugging में फ़ायदा पूर्वानुमान का है। जब कोई मॉडल इनपुट के किसी वर्ग पर गड़बड़ करता है, तो आज का तरीका prompt archaeology और vibes है। पठनीय सर्किट आपको profiler जैसी चीज़ देता है: कौन-से फ़ीचर सक्रिय हुए, उन्हें किसने पढ़ा, और फ़ैसला असल में कहाँ हुआ। यह व्यवहार-आधारित तकनीकों की जगह नहीं लेता, उन्हें पूरक बनाता है: अगर आप production के लिए मॉडल आउटपुट को आकार दे रहे हैं, तो constrained decoding आउटपुट के contract को संभालता है, जबकि interpretability 'क्यों' को संभालती है। और स्वायत्त रूप से काम करने वाले agents के लिए, आंतरिक observability एक ऐसा आयाम जोड़ती है जो बाहरी guardrails नहीं दे सकते: हमने पहले AI agents के लिए containment बनाम monitoring पर चर्चा की है, और जब आप केवल व्यवहार की बजाय तंत्र देख सकते हैं, तो monitoring काफ़ी मज़बूत हो जाती है।

एक और निहितार्थ पर ज़ोर देना ज़रूरी है, और वह पहुँच के बारे में है। यह पूरा शोध कार्यक्रम open weights पर निर्भर है। जिस मॉडल को आप केवल API से पूछ सकते हैं, उसके सर्किट का ऑडिट नहीं कर सकते। अगर आंतरिक संरचना समझना उन स्वायत्त सिस्टमों पर भरोसा करने की शर्त है जो लगातार ज़्यादा स्वतंत्र हो रहे हैं, और मेरा मानना है कि है, तो weight openness कोई अच्छी-सी विचारधारा नहीं, बल्कि पूरी debugging कहानी की नींव है।

इससे असल में क्या लें

हाइप हटा दें तो बचाव योग्य सार यह है: इस बात का क्लासिक सबूत कि नेटवर्क मनमाने ढंग से उलझे हैं, दोबारा जाँच में टिक नहीं पाया; आधुनिक उपकरणों के साथ आधुनिक मॉडल 2023 के साहित्य के सुझाव से कहीं ज़्यादा पठनीय दिखते हैं; और बची हुई गड़बड़ी में एक संरचना है, फ्रैक्टल जनरलाइज़ेशन, जिसका फ़ायदा उठाया जा सकता है, उसे सुलझाने की ज़रूरत नहीं। मज़बूत संस्करण, 'interpretability लगभग हल हो चुकी है, बस स्केल करो', उन सबको एक जाने-पहचाने अति-उत्साह जैसा लगता है जिन्होंने SAE उत्साह की पहली लहर देखी थी, और उसे वही संदेह मिलना चाहिए जो उसे मिल रहा है।

कामकाजी इंजीनियरों के लिए मेरी सलाह ठोस है: मॉडल के अंदरूनी हिस्से को डिफ़ॉल्ट रूप से black box मानना बंद करें। एक्टिवेशन की जाँच, फ़ीचर steering और सर्किट ट्रेसिंग के टूल तेज़ी से परिपक्व हो रहे हैं, और 'सब कुछ वैसे भी मनमानी गांठें हैं' वाली वैचारिक बाधा उतनी मज़बूत कभी नहीं थी जितनी लगती थी। न्यूरल नेटवर्क शायद उस तरह साफ़ नहीं हैं जैसा हमारा कोड साफ़ है। पर वे जादू की बजाय पठनीय सिस्टमों के कहीं ज़्यादा करीब हैं, और पठनीय सिस्टम वे चीज़ें हैं जिन्हें इंजीनियर करना हम जानते हैं।