Model Kecil Looped: 5 Kesalahan yang Harus Dihindari
Transformer looped dan kuantisasi NVFP4 mengubah kemampuan model kecil. Lima kesalahan yang masih sering dibuat praktisi ML saat memilih model untuk produksi.

Sebuah tim yang pernah saya bantu tahun lalu menghabiskan sekitar $4.000 per bulan hanya untuk mengirim prompt triase tiket yang sederhana lewat API frontier. Beban kerjanya berupa klasifikasi dan ringkasan singkat. Small language model yang berjalan di satu GPU sebenarnya sudah cukup, tapi tidak ada yang percaya, karena terakhir kali mereka membenchmark model di bawah 30B, model itu gagal di tugas-tugas yang berat penalaran, dan mereka tidak pernah melihatnya lagi.
Titik buta ini makin mahal dengan cepat. Rilis terbaru Inkling 2 Mini, model open-weights mixture-of-experts 26,4B parameter yang mengulang lapisan tengahnya tiga kali per token, mencetak skor coding agentik di atas semua model open di bawah 100B parameter, sambil muat di sekitar 20GB memori. Model yang bisa jalan offline di laptop baru saja mengungguli model yang beberapa kali lebih besar pada tugas bergaya SWE-bench. Jarak antara "kecil" dan "mumpuni" sudah menyempit sampai-sampai sebagian besar aturan soal ukuran model yang masih dipegang praktisi jadi usang. Berikut lima kesalahan yang paling sering saya lihat, beserta apa yang sebaiknya dilakukan.
Kesalahan 1: Menganggap Jumlah Parameter sebagai Batas Kemampuan
Model mental yang kebanyakan dari kita warisi itu sederhana: parameter adalah anggaran, dan kemampuan mengikuti anggaran itu. Sebenarnya itu tidak pernah sepenuhnya benar, data latih dan komputasi juga sangat berpengaruh, tapi itu heuristik yang cukup berguna sampai arsitektur mulai berperan banyak. Looping adalah contoh paling jelas. Inkling 2 Mini menjalankan 12 lapisan tengahnya (dua blok berisi enam, dari total 24) tiga kali untuk setiap token, sementara blok pertama dan terakhir hanya berjalan sekali. Intuisinya: lapisan awal dan akhir sebagian besar menerjemahkan antara embedding dan representasi internal, sedangkan lapisan tengah membawa penalaran abstrak. Jadi komputasi ditempatkan di tempat penalaran terjadi.
Hasil ablasi yang dipublikasikan layak Anda perhatikan: melakukan looping pada 12 lapisan tengah mengalahkan looping pada 12 lapisan terakhir di 27 dari 28 evaluasi, dan baseline tanpa looping membutuhkan perkiraan 1,5–1,9× komputasi lebih banyak untuk menyamai loss model dengan looping tengah. Ini bukan trik tuning kecil. Ini strategi alokasi komputasi yang berbeda, dan ia mematahkan heuristik jumlah parameter yang naif ke arah yang spesifik dan bisa diprediksi.
Solusinya: saat mengevaluasi model kecil, tanyakan ke mana komputasi dialokasikan per token, bukan hanya berapa banyak bobotnya. Model 26B dengan 3,4B parameter aktif dan lapisan tengah yang di-loop lebih mirip "model kecil yang berpikir lebih lama" ketimbang sekadar "model kecil". Ini terkait dengan poin yang pernah saya sampaikan: penalaran ditanamkan lewat pelatihan model, bukan dipancing lewat prompt, dan sekarang makin banyak yang juga dibangun ke dalam arsitekturnya.
Kesalahan 2: Mencampuradukkan Penalaran dengan Pengetahuan
Bagian dari cerita model looped yang sering dilewatkan praktisi, dan ini akan menggigit Anda. Looping meningkatkan penalaran. Ia tidak menciptakan pengetahuan. Fakta tersimpan di bobot, dan jumlah bobot ya segitu adanya. Tim Inkling 2 Mini cukup blak-blakan soal ini: di AA-Omniscience, benchmark faktualitas, model ini mendapat skor yang sebanding dengan model lain di kelasnya. Varian riset variable-loop mereka membaik di benchmark serial-reasoning dan konteks panjang seiring penambahan loop, sampai sepuluh loop, dua kali lipat dari yang dilatihkan, tapi benchmark yang intensif pengetahuan seperti SimpleQA tidak bergerak meski pengulangannya ditambah.
Saya pernah melihat seorang teman men-debug kebingungan persis ini di produksi. Dia mengganti model yang lebih besar dengan model kecil yang berorientasi penalaran untuk bot dukungan pelanggan, melihat kualitas penalarannya naik, lalu merilisnya. Dua minggu kemudian: SKU produk yang halusinasi dan detail kebijakan yang dikarang. Model itu bernalar dengan indah tentang fakta yang memang tidak ia miliki. Seorang tester awal di Hacker News menemui tembok yang sama dalam dua prompt: diminta membuat plugin WordPress yang memakai sudut-sudut API yang jarang dipakai, hasilnya kode yang percaya diri, rapi, tapi salah.
Solusinya bukan "pakai model yang lebih besar". Solusinya arsitektural: pasangkan model penalaran kecil dengan retrieval dan tools. Yang menarik, Inkling 2 Mini memimpin model open sepadan di BrowseComp dan DeepSearchQA, benchmark yang mengukur pencarian dan penggunaan tool. Model kecil dengan tool hygiene yang baik sering mengalahkan model besar yang mengingat fakta usang, karena konteks hasil retrieval itu mutakhir dan bisa diaudit. Aturan saya: jika kegagalan beban kerja Anda adalah kegagalan penalaran, model kecil looped membantu. Jika kegagalannya soal pengetahuan, perbaiki retrieval Anda, bukan jumlah parameter.
Kesalahan 3: Menyepelekan Kuantisasi Bit Rendah
Lima tahun lalu, "kami kuantisasi ke 4-bit" terdengar seperti permintaan maaf. Anda menerima penurunan kualitas yang nyata demi bisa muat di perangkat keras yang lebih kecil, dan apa pun di bawah 4-bit adalah proyek eksperimen. Anggapan itu sekarang membuat orang kehilangan anggaran perangkat keras yang nyata. Inkling 2 Mini dilatih end-to-end dalam NVFP4 dan di-deploy secara native dalam NVFP4, hanya empat lapisan terakhir yang memakai MXFP8. Kuantisasi bukan langkah kompresi pasca-hoc, melainkan bagian dari resep pelatihan. Hasilnya: footprint sekitar 20GB dengan kualitas yang sebanding dengan pesaing BF16.

Dampaknya ke hilir cukup mencolok. Tim Unsloth, yang paling paham rasa sakit kuantisasi, mengamati bahwa model bit rendah native ini merespons luar biasa baik terhadap kuantisasi lanjutan, dilaporkan mempertahankan sekitar 90% top-1 agreement bahkan pada 1-bit. Build GGUF sudah ada di Hugging Face dalam hitungan hari setelah rilis, dan praktisi sudah menjalankannya di MacBook Pro saat sedang di pesawat (tim itu benar-benar mendemokan pembuatan simulator penerbangan yang bisa dimainkan secara offline di tengah penerbangan) dan di GPU konsumen seperti 7900XTX.
Solusinya: berhenti memperlakukan kuantisasi sebagai degradasi, dan mulai tanyakan apakah model itu dilatih pada presisi rendah. Jika ya, artefak 4-bit (atau lebih rendah) adalah warga kelas satu, dan perhitungan sizing "kita butuh VRAM 80GB" perlu dihitung ulang. Jika Anda sedang menjajaki apa yang bisa dibuka oleh ini untuk deployment offline, kami sudah membahas pola arsitekturnya dalam membangun LLM yang bisa bekerja offline dan sisi perangkat kerasnya dalam menjalankan LLM di perangkat keras Anda sendiri.
Kesalahan 4: Benchmark Sekali Lalu Membekukan Pilihan Model
Kesalahan paling mahal bukan teknis. Ini prosedural. Tim menjalankan bake-off saat pertama kali membangun fitur, memilih model, lalu memperlakukan keputusan itu sebagai permanen. Padahal frontier kapabilitas per parameter bergerak lebih cepat daripada siklus pengadaan kebanyakan perusahaan. Inkling 2 Mini mencetak 48,2% di DeepSWE v1.1 dan 46,5% di Vals Index v2.2, memimpin setiap model open-weights di bawah 100B parameter total, dan melakukannya sambil men-decode lebih cepat dari model dengan performa serupa, karena MoE dengan 3,4B parameter aktif membaca jauh lebih sedikit bobot per token dibanding dense 27B. Pilihan model yang dibuat sembilan bulan lalu bukan lagi keputusan, melainkan kebiasaan yang tidak pernah diperiksa.
Tapi benchmark ulang secara naif juga jebakan tersendiri. Leaderboard publik mengukur apa yang menurut penulis benchmark menarik, bukan apa yang dilakukan produk Anda. Ini adalah inti masalah di balik mengapa benchmark AI melewatkan sebagian besar pekerjaan nyata, dan model kecil memperparahnya karena profilnya lebih timpang: Inkling 2 Mini terbaik di kelasnya untuk coding agentik, tapi hanya mendapat skor biasa-biasa saja 50,0% di MultiChallenge dan 33,4% di ComplexConstraints, di bawah Qwen3.8-27B di keduanya. Jika beban kerja Anda adalah chat multi-giliran yang penuh batasan, angka coding yang mencolok itu tidak relevan untuk Anda.
Solusinya: pelihara suite evaluasi kecil yang diberi versi, dibangun dari traffic produksi Anda sendiri, berisi 200 sampai 500 kasus nyata dengan output yang sudah diketahui benar, dan jalankan rilis model baru terhadapnya setiap kuartal. Ini lebih murah dari kelihatannya, dan menangkap kejutan di kedua arah: model yang ternyata lebih baik dari yang disarankan benchmark (seorang komentator mencatat Inkling 2 Small "terasa lebih baik daripada yang disarankan benchmark") dan model yang unggul di leaderboard tapi gagal di prompt Anda yang penuh batasan. Alokasikan sehari per kuartal. Ini akan terbayar begitu untuk pertama kalinya memungkinkan Anda menurunkan tier model.
Kesalahan 5: Mengabaikan Sisi Biaya dari Pembukuan
Percakapan pemilihan model terlalu terobsesi pada akurasi dan memperlakukan biaya sebagai hal sepele. Itu terbalik dalam produksi, karena kurva biaya menentukan apa yang sebenarnya layak dilakukan. Stanford's Hazy Research Lab menjalankan pengukuran intelligence-per-joule awal pada Inkling 2 Mini dan mendapat 0,703, dibandingkan 0,430 untuk Qwen3.6-35B-A3B, 0,159 untuk Gemma-4-26B-A4B, dan 0,036 untuk Qwen3.5-27B. Ini bukan selisih beberapa persen; ini rezim yang berbeda. Dan efeknya berlipat: model yang mencapai jawaban dengan token lebih sedikit (inti jualan looping adalah bernalar tanpa menuliskan penalarannya) menghabiskan lebih sedikit komputasi dan latensi per tugas.
Konsekuensi praktis yang paling membuat saya antusias adalah kepadatan multi-agen. Karena ini MoE kecil, Anda bisa memuat beberapa KV cache agen dalam VRAM satu GPU. Demo 20 warga desa simulasi yang semuanya ditenagai satu MacBook offline memang menggemaskan, tetapi versi seriusnya adalah selusin agen produksi di satu DGX Spark atau satu workstation, alih-alih armada panggilan API dengan tagihan per token dan biaya egress data. Kami sudah menulis tentang pergeseran yang lebih luas menuju tier ini dalam mengapa LLM tier flash adalah cerita efisiensi inferensi yang sebenarnya, dan model kecil looped membuat argumennya jauh lebih kuat.
Solusinya: bangun model biaya Anda di sekitar biaya per tugas yang selesai, bukan biaya per token. Looping menambah waktu nyata per token (lapisan tengah itu berjalan tiga kali, dan perhitungan bandwidth memori jadi berarti pembacaan berulang), jadi perbandingan tokens-per-second yang naif bisa menyesatkan ke arah mana pun. Ukur end-to-end: apakah tugasnya selesai, berapa banyak token yang dibutuhkan, berapa energi dan latensi yang terbakar. Model yang 20% lebih lambat per token tetapi menyelesaikan tugas dengan separuh token dan lebih sedikit percobaan ulang akan selalu menang.

Apa yang Sebaiknya Dilakukan Senin Ini
- Audit pengeluaran API Anda berdasarkan jenis tugas. Apa pun yang berupa klasifikasi, ekstraksi, routing, atau loop agentik singkat adalah kandidat untuk model lokal di bawah 30B. Hitung biayanya.
- Pisahkan suite evaluasi Anda menjadi kegagalan penalaran dan kegagalan pengetahuan. Model kecil looped memperbaiki yang pertama. Retrieval memperbaiki yang kedua. Jangan dicampuradukkan.
- Periksa apakah model kandidat Anda dilatih pada presisi rendah. Jika ya, uji artefak 4-bit lebih dulu, bukan terakhir. Itu bentuk aslinya.
- Benchmark dengan traffic Anda sendiri, setiap kuartal. Skor publik adalah alat penyaringan, bukan keputusan.
- Buat prototipe satu beban kerja multi-agen di perangkat keras lokal. Ekonomi agen yang persisten berubah total ketika tidak ada meteran per token.
Pergeseran yang lebih besar di sini bukan soal satu model. Arah riset frontier lab, seperti looping, quantization-aware training, dan pemangkasan expert agresif dengan healing, kini mendarat di open weights dalam hitungan bulan, dengan ukuran yang pas untuk perangkat keras yang sudah Anda miliki. Praktisi yang menang dalam beberapa tahun ke depan bukan yang punya anggaran API terbesar. Mereka adalah yang memeriksa ulang asumsi model mereka secara terjadwal, karena asumsi itu punya umur simpan yang lebih pendek daripada kode.
Model kecil yang bernalar dengan baik dan melakukan retrieval dengan jujur mengalahkan model besar yang mengingat dengan percaya diri tapi bernalar dengan malas, baik dari sisi biaya, latensi, maupun sering kali akurasi.


