Menguji Lima Mitos Mechanistic Interpretability

Selama bertahun-tahun, kebijaksanaan umum di bidang mechanistic interpretability cukup suram: jaringan saraf itu simpul kusut, dan sebelum bisa memahaminya, kamu harus membayar model kedua untuk mengurainya. Keyakinan ini membentuk agenda riset, membenarkan subbidang utuh yang dibangun di atas sparse autoencoder, dan diam-diam meyakinkan banyak engineer bahwa mengintip ke dalam LLM itu kerja sia-sia. Seorang peneliti yang ikut menciptakan pesimisme itu baru saja menarik sebagian besar klaimnya. Terlepas dari apakah kamu percaya versi paling kuatnya, ini momen yang pas untuk meninjau ulang apa yang kita kira sudah tahu tentang isi model. Mari uji lima keyakinan umum ini terhadap bukti yang ada.

Mitos 1: Neuron Itu Mustahil Dipahami Karena Polysemantic

Legenda pendiri interpretability modern adalah neuron polysemantic, yaitu satu unit yang aktif untuk wajah kucing dan bagian depan mobil, dua hal yang tidak punya hubungan jelas. Kalau neuron rutin menggabungkan konsep yang tidak berkaitan, logikanya, memahami jaringan neuron per neuron sudah mati sebelum mulai. Contoh ini bekerja keras secara retoris. Ini adalah Exhibit A yang membenarkan seluruh pandangan bahwa jaringan itu simpul kusut.

Klaim barunya: Exhibit A itu salah dibaca. Ketika peneliti menelusuri sirkuit sebenarnya di balik neuron mobil-dan-anjing yang terkenal itu, tidak ada bagian hilir yang pernah membaca kombinasi spesifik tersebut. Neuron itu tidak menyelundupkan fitur mobil lewat wilayah yang tidak relevan; ia hanya melakukan generalisasi dan komposisi yang biasa. Lalu lapisan paling berantakan dalam model favorit awal bidang ini, yaitu lapisan terakhir InceptionV1 yang dulu dinilai hampir tidak punya neuron yang bisa diinterpretasi, ternyata 99 sampai 100 persen bisa dibaca dengan perbaikan arsitektur biasa, tanpa mengubah ukuran model atau data latihnya. Simpul kusut itu sebagian besar ternyata artefak pengukuran.

Model bahasa menunjukkan pola yang sama di skala berbeda. Audit tahun 2023 memberi neuron median di transformer kecil nilai nol pada rubrik interpretabilitas, dan proyek penjelasan otomatis berskala besar menemukan sekitar 1,7 persen neuron yang bisa dibaca. Audit awal terhadap model modern 32B parameter dengan tooling yang lebih baik sekarang memperkirakan sekitar 90 persen kutub neuron punya satu tugas utama, sekitar 7 persen punya dua tugas yang berkaitan, dan hanya beberapa persen yang benar-benar masih misterius. Sisa 'polysemanticity' itu sering hilang saat diperiksa: neuron yang tampak mendeteksi sekaligus sufiks dan frasa utuh seperti 'do it yourself' ternyata tidak menggabungkan hal yang tidak berkaitan, melainkan tumbuh dari yang satu ke yang lain.

Pendapat saya: keyakinan itu memang sudah mati, tapi pemakamannya sebaiknya sederhana saja. Seorang komentator skeptis menunjuk bahwa kompleksitas fitur yang berkembang bertahap sudah dikenal sejak era CNN, dan representasi yang terkondensasi serta non-semantik juga sudah terdokumentasi di tempat lain. 'Ternyata tidak sepolysemantic yang kita takutkan' didukung dengan baik. 'Tidak pernah polysemantic' belum terbukti.

Mitos 2: Superposition Adalah Prinsip Belajar yang Fundamental

Superposition adalah teori elegan yang menjelaskan kekacauan itu: ketika jaringan kehabisan neuron, ia berhenti mengelompokkan hal-hal yang mirip dan mulai melipat hal-hal tidak berkaitan ke dalam unit yang sama, memanfaatkan geometri ruang berdimensi tinggi agar mereka tidak saling mengganggu. Menurut teori ini, konsep mana yang berbagi neuron hampir tidak memberi tahu apa-apa. Lipatannya acak, salah satu dari banyak konfigurasi yang sama bagusnya. Kamu harus membuka lipatannya dulu sebelum bisa mempelajarinya.

Usulan tandingannya hampir mengecewakan saking sederhananya: hanya ada satu prinsip belajar, yaitu generalisasi. Yang tampak seperti pelipatan sebenarnya adalah generalisasi rekursif, yaitu neuron yang bercabang seperti dahan pohon yang menumbuhkan ranting. Neuron yang mendeteksi 'iy' tumbuh untuk mendeteksi 'diy', lalu seluruh konsep 'do it yourself'. Setiap perluasan masuk ke wilayah semantik yang berdekatan, tidak pernah ke area acak. Dan ketika model diperkecil, ia tidak berganti strategi: neuronnya hanya menjadi lebih kasar, misalnya satu neuron 'mobil' mencakup banyak jenis mobil alih-alih spesialis. Ketika diskalakan naik dalam rentang ukuran 300 kali, legibilitas yang sama tetap ada. Neuronnya terdiferensiasi, bukan saling kusut.

Ini penting karena mengubah makna pengelompokan neuron. Di bawah superposition, neuron yang aktif untuk dua hal adalah noise. Di bawah generalisasi rekursif, itu adalah hipotesis tentang hierarki konsep model, dan ada yang bisa dipelajari dari alasan kedua hal itu berbagi rumah yang sama. Ini juga berarti penjelasan bisa bersifat fraktal: mulai dari label kasar, lalu zoom ke detail saat dibutuhkan. Untuk engineer, bedanya seperti hexdump dengan stack trace yang sudah punya nama simbol.

Ada dua penjelasan di meja: generalisasi mengelompokkan hal yang mirip, superposition mengelompokkan hal yang tidak berkaitan. Bidang ini bertaruh pada yang salah.

Saya ingin menambahkan satu catatan yang sering dilewati para pendukung: superposition sebagai fenomena matematis, yaitu fitur yang direpresentasikan dalam dimensi lebih sedikit daripada jumlah fiturnya, sudah mapan di toy model. Yang masih diperdebatkan adalah apakah ini penjelasan yang tepat untuk neuron berantakan yang klasik di jaringan nyata. Itu dua klaim yang berbeda, dan mencampurkannya adalah cara paling mudah untuk terlalu memuji atau terlalu meremehkan hasilnya.

Mitos 3: Kamu Butuh Sparse Autoencoder untuk Melihat Apa Pun

Konsekuensi praktis dari teori simpul kusut adalah metodologi: jangan pelajari jaringannya, pelajari dekomposisinya. Latih sparse autoencoder untuk mendekati jaringan yang sudah 'dibuka lipatannya', lalu interpretasikan fitur yang dipelajari SAE alih-alih neuron aslinya. Ini melahirkan seluruh industri pipeline, mulai dari dictionary learning, objektif rekonstruksi, sampai dashboard fitur, dan menghasilkan beberapa hasil yang benar-benar mengesankan, seperti fitur monosemantic dari Anthropic yang diekstrak dari model berskala Claude.

Tapi perhatikan asumsi pendekatan SAE: jaringan asli itu tidak terbaca, dan kebenaran ada di aproksimasinya. Kalau jaringan ternyata sudah bersih, asumsi itu terbalik. Neuron dan sirkuit milik jaringan sendiri menjadi objek studi utama, dan SAE paling jauh hanya menjadi alat kompresi: berguna untuk merangkum, tetapi berbahaya jika ringkasan dianggap sebagai sistemnya. SAE juga punya mode kegagalan sendiri. Ia bisa mengarang fitur yang merekonstruksi aktivasi dengan baik tanpa sesuai dengan mekanisme nyata, dan error rekonstruksinya persis jenis masalah yang menggigit saat analisis berkaitan dengan keselamatan.

Alur kerja alternatifnya lebih mirip debugging biasa. Pilih satu neuron. Lihat aktivasi terkuatnya, lalu aktivasi lemahnya (aktivasi lemah ternyata informatif: 'Titanic neuron' yang terkenal aktif lemah untuk hal-hal sezaman seperti mesin uap, dan itu generalisasi, bukan kebingungan). Telusuri apa yang terhubung ke hilir. Pada model mixture-of-experts, cek spesialisasi expert-nya. Pemahaman menumpuk seperti teka-teki silang: setiap neuron yang berhasil kamu urai membatasi neuron di sekitarnya. Tidak ada yang membutuhkan pelatihan model kedua.

• Mulai dari aktivasi kuat satu neuron, lalu periksa aktivasi lemah untuk melihat batas generalisasinya.
• Ikuti koneksi ke hilir untuk melihat apa yang sebenarnya membaca output neuron, banyak 'misteri' selesai di sini.
• Gunakan sirkuit di sekitarnya dan spesialisasi expert sebagai pemeriksaan silang, seperti kamu memakai caller dan callee di profiler.
• Pakai SAE saat kamu butuh kompresi atau pencarian, bukan sebagai kebenaran dasar tentang mekanisme.

Mitos 4: Model Kecil Memberi Tahu Cara Kerja Model Besar

Sebagian besar hasil klasik yang pesimistis berasal dari model kecil atau sederhana, misalnya transformer satu lapis dan jaringan visi awal. Ada ironi yang nyaman di sini: model kecil memang kehabisan ruang, sehingga superposition menjadi penjelasan alami untuk perilakunya. Tapi jaringan yang kekurangan ruang tidak mengubah prinsip belajarnya; neuronnya hanya menjadi lebih lebar. Neuron yang lebar tampak seperti campuran acak bagi alat yang primitif. Ketika modelnya diperbesar, neuron lebar itu terdiferensiasi menjadi neuron yang bersih dan spesifik.

Logika yang sama berlaku untuk alatnya. Penjelas otomatis era 2023 tidak bisa menjalankan siklus konjektur dan uji. Mereka membuat hipotesis dari aktivasi dan menilainya dengan simulasi, yang justru memberi penghargaan pada penjelasan yang terdengar masuk akal ketimbang yang benar. Tooling agentik modern bisa melakukan intervensi: menambal aktivasi, menonaktifkan neuron, memprediksi efeknya, lalu memeriksa hasilnya. Siklus tertutup inilah yang mengubah '1,7 persen bisa dibaca' menjadi '~90 persen punya satu tugas utama', lebih dari sifat apa pun dari modelnya sendiri. Kita perlu rendah hati tentang seberapa banyak literatur ini sebenarnya mengukur instrumen kita, bukan jaringannya.

Ada paralel dengan kasus lain ketika jurang antara spesifikasi dan sistem yang berjalan menyembunyikan perilaku sebenarnya. Celah spesifikasi-implementasi adalah tempat bug hidup, dan di situ pula bug hantu interpretabilitas bersarang. Bobot model selalu menjadi kebenaran dasarnya; deskripsi kita tentang bobot itulah spesifikasi yang buggy.

Mitos 5: Interpretabilitas Tidak Mengubah Cara Kamu Membangun Sesuatu

Bahkan praktisi yang mengikuti literatur interpretabilitas sering menaruhnya di kategori 'riset keamanan, relevansi: suatu saat nanti'. Sekarang itu keliru, apa pun pendapatmu tentang klaim terkuatnya. Kalau neuron dan sirkuit adalah blok bangunan yang terbaca, mereka menjadi pegangan: fitur yang bisa dikendalikan, diperkuat, atau dinonaktifkan saat inferensi. Steering fitur, misalnya memperkuat arah 'truthfulness' atau menekan arah 'sycophancy', sudah menjadi teknik yang berfungsi, dan jauh lebih prinsipil ketika fitur itu sesuai dengan mekanisme nyata, bukan artefak rekonstruksi SAE.

Untuk debugging, manfaatnya adalah bisa mengantisipasi. Ketika model berperilaku buruk pada kelas input tertentu, praktik saat ini masih berupa arkeologi prompt dan feeling. Sirkuit yang terbaca memberi sesuatu yang lebih mirip profiler: fitur mana yang aktif, apa yang membacanya, dan di mana keputusan sebenarnya terjadi. Ini melengkapi teknik perilaku, bukan menggantikannya. Kalau kamu sedang mengatur output model untuk produksi, constrained decoding menangani kontrak output, sementara interpretabilitas menangani pertanyaan kenapa. Untuk agen yang bertindak secara otonom, observabilitas internal menambahkan dimensi yang tidak bisa diberikan guardrail eksternal. Kami sudah pernah membahas containment versus monitoring untuk agen AI, dan monitoring jadi jauh lebih kuat ketika kamu bisa mengamati mekanismenya, bukan hanya perilakunya.

Satu implikasi lagi layak ditekankan, dan ini soal akses. Seluruh program riset ini bergantung pada open weights. Kamu tidak bisa mengaudit sirkuit pada model yang hanya bisa kamu tanyai lewat API. Kalau memahami isi model adalah syarat untuk mempercayai sistem otonom yang makin canggih, dan saya percaya itu memang begitu, maka keterbukaan bobot bukan sekadar ideologi yang menyenangkan. Itu fondasi seluruh cerita debugging ini.

Yang Sebenarnya Bisa Diambil dari Ini

Kalau hype-nya dikupas, inti yang bisa dipertanggungjawabkan adalah ini: bukti kanonik bahwa jaringan saraf itu kusut secara acak tidak bertahan saat diperiksa ulang, model modern dengan alat modern tampak jauh lebih terbaca dibanding yang disarankan literatur 2023, dan sisa kekacauannya punya struktur, yaitu generalisasi fraktal, yang bisa kamu manfaatkan alih-alih diurai. Versi kuat, 'interpretabilitas pada dasarnya sudah terpecahkan, tinggal skalakan saja', terdengar familiar bagi siapa pun yang menyaksikan gelombang pertama antusiasme SAE, dan pantas mendapat skeptisisme yang sekarang diterimanya.

Untuk engineer yang sudah bekerja, saran saya konkret: berhenti memperlakukan isi model sebagai kotak hitam secara default. Tooling untuk memeriksa aktivasi, mengendalikan fitur, dan menelusuri sirkuit berkembang dengan cepat, dan hambatan konseptual, 'semuanya toh simpul acak', tidak pernah seberat kelihatannya. Jaringan saraf mungkin tidak bersih seperti kode kita. Tapi mereka jauh lebih dekat ke sistem yang terbaca daripada sihir, dan sistem yang terbaca adalah hal yang kita tahu cara merekayasanya.