Model Fondasi Deret Waktu Membuat Pelatihan Kustom Usang

Ini klaim yang lima tahun lalu pasti bikin saya ditertawakan di tim forecasting mana pun: untuk sebagian besar masalah deret waktu, melatih model dari data sendiri sekarang sudah buang-buang waktu. Model fondasi deret waktu, yang dilatih dengan jutaan series yang tidak akan pernah Anda lihat dan di domain yang bukan bidang Anda, kemungkinan besar akan mengalahkan pipeline yang sudah Anda tune habis-habisan, secara zero-shot, dalam waktu yang dibutuhkan untuk satu forward pass di CPU. Timestral dari Mistral, yang dirilis minggu ini dalam ukuran 5M sampai 209M parameter, adalah bukti terbaru dan terkuat bahwa arah bidang ini memang ke sana. Dan saya rasa banyak praktisi akan menolak kesimpulan ini karena alasan yang sepenuhnya bisa dimengerti, meski sebagian besar keliru.

Apa sebenarnya model fondasi deret waktu itu

Analogi dengan LLM itu berguna, tapi hanya kalau kita melampaui permukaannya. Large language model dilatih awal (pre-trained) pada korpus teks yang sangat besar agar bisa menggeneralisasi ke tugas dan gaya penulisan yang belum pernah dilihatnya. Model fondasi deret waktu (TSFM) melakukan hal yang sama dengan sinyal kontinu: ia dilatih awal pada kumpulan series yang besar dan beragam, nyata maupun sintetis, sehingga ia mempelajari tata bahasa berulang dari data temporal. Tren, musiman, pergeseran rezim, mean reversion, noise dalam berbagai jenis. Saat Anda memberikan aliran data sensor atau riwayat penjualan, ia tidak belajar dari nol; ia mengenali.

Kata terakhir itu inti triknya, dan itu menjelaskan hal yang membingungkan saya saat pertama kali membaca: bagaimana mungkin model yang sebagian besar dilatih dengan data sintetis bisa mengalahkan model yang dilatih dengan data nyata? Karena generator sintetisnya dirancang untuk menghasilkan proses dengan dinamika yang koheren, yaitu kombinasi tren, musiman, dan noise yang realistis, ditambah dependensi nonlinier antar series. Model mempelajari prior yang sangat besar tentang kemungkinan bentuk perilaku temporal. Series nyata Anda, seaneh apa pun menurut Anda, hampir pasti merupakan rekombinasi dari pola yang sudah dilihatnya sejuta kali.

Resep pelatihan Timestral membuat ini lebih konkret. Pertama, pre-training skala besar murni dengan data sintetis dengan konteks 8.192 langkah waktu. Lalu post-training dengan campuran data nyata dan sintetis, dengan konteks diperpanjang menjadi 32.768 langkah. Objektifnya adalah pinball loss atas 21 kuantil, artinya model tidak mengeluarkan satu titik estimasi. Ia mengeluarkan distribusi ketidakpastian penuh, jadi Anda mendapat forecast dengan error bar yang jujur, bukan satu angka yang terlihat yakin.

Satu detail arsitektur yang layak Anda adopsi dalam model mental Anda: Timestral memakai yang disebut Mistral sebagai decoupled horizon forecasting. Decoder kausal sebelumnya seperti TimesFM menutupi (mask) nilai yang akan diprediksi, yang sederhana tapi boros. Nilai yang di-mask menjadi tidak terlihat sebagai konteks, sehingga setiap forecast menurunkan kualitas input untuk forecast berikutnya. Timestral menyimpan seluruh riwayat dalam sekuens dan menambahkan forecast token yang dipelajari untuk membaca riwayat tersebut. Setiap nilai yang teramati berfungsi sebagai target latih sekaligus konteks. Ini jenis perbaikan struktural kecil yang tidak terdengar dramatis, tapi sangat berarti pada skala besar.

Zero-shot forecasting: kenapa ia mengalahkan pipeline per-series Anda

Argumen terkuat untuk TSFM bukan leaderboard benchmark, melainkan bentuk pekerjaan forecasting di dunia nyata. Hampir tidak ada yang meramalkan satu series. Anda meramalkan sepuluh ribu. Retailer meramalkan permintaan per SKU per toko. Tim platform meramalkan latensi per layanan per region. Pabrik industri punya ribuan sensor di ratusan aset. Pilihan klasiknya semuanya buruk: fit satu ARIMA per series lalu melihat sebagian besar gagal karena riwayat tiap series tipis, atau melatih satu model gradient-boosted global lalu tenggelam dalam feature engineering dan perbedaan skala antar series.

TSFM menghindari dilema ini. Satu checkpoint, tanpa fitting per series, dan pengetahuan lintas-series sudah tertanam dari pre-training, alih-alih harus ditemukan dari data Anda sendiri. Inilah sebabnya praktisi yang benar-benar menjalankan forecasting skala besar cenderung paling tidak skeptis terhadap model ini. Alternatifnya bukan model elegan yang di-tune manual, melainkan tumpukan job AutoARIMA yang memakan waktu berjam-jam dan diam-diam rusak pada 5% series paling penting yang aneh.

Cerita efisiensinya adalah bagian yang paling mengejutkan buat saya. Model terbesar Timestral berukuran 209M parameter, kecil menurut standar LLM, dan tidak butuh GPU saat inferensi. Pada server CPU 8-thread standar, forecast satu hari ke depan dari tiga minggu data 15 menit memakan 10 md dengan model 5M dan 140 md dengan model 209M. Model 123M mendarat dalam selisih 0,2% dari skor benchmark model besar dengan latensi tiga perempatnya. Ini mencerminkan yang terjadi pada language model, di mana kegiatan menariknya bergeser ke tier kecil dan cepat. Dinamika yang sama dengan yang saya bahas dalam tulisan kami tentang LLM flash-tier: model frontier mendapat sorotan, model kecil yang efisien yang menjalankan bisnisnya.

Dan ekonominya berlipat ganda. Sepuluh ribu series dikali forecast harian dengan waktu puluhan milidetik per series berarti seluruh beban kerja forecasting Anda muat dalam jeda makan siang di satu kotak CPU biasa. Tanpa cluster GPU, tanpa job training terdistribusi, tanpa aksi heroik MLOps. Lima tahun lalu, membangun dan men-deploy model forecasting yang layak memakan waktu berbulan-bulan. Sekarang cukup satu sore, dan sebagian besar sore itu habis untuk urusan pipa data, bukan pemodelan.

Covariate adalah fitur sebenarnya, dan jebakannya yang sebenarnya

Di sini saya akan mengalah kepada skeptis, karena kritik paling tajam terhadap TSFM itu benar: untuk banyak masalah, riwayat target series hanyalah sebagian kecil dari informasi. Jika Anda memodelkan permintaan listrik, prakiraan cuaca, kalender libur, dan jadwal harga bukanlah bumbu pada forecast. Mereka adalah forecast-nya. Model yang memperlakukan covariate yang sudah Anda kurasi dengan susah payah sebagai peningkatan kualitas kecil akan mempermalukan Anda tepat ketika rezim berubah, dan justru di saat itulah Anda paling membutuhkannya.

Jawaban Timestral adalah covariate-aware attention, dan desainnya lebih prinsipil daripada kedengarannya. Setiap series input mendapat peran: target, covariate hanya-masa-lalu, atau covariate masa-depan-yang-diketahui. Covariate masa depan yang diketahui, seperti jadwal produksi, shutdown yang direncanakan, dan prakiraan cuaca, terlihat di seluruh jendela, sementara target tetap kausal, dan informasi hanya mengalir dari covariate ke target. Batasan terakhir inilah yang penting: artinya model bisa mengondisikan prediksi pada kenaikan beban terjadwal minggu depan tanpa membocorkan masa depan target itu sendiri ke dalam prediksi. Kebocoran data lewat covariate adalah salah satu kegagalan diam-diam klasik dalam sistem forecasting, dan menanamkan arah aliran informasi ke dalam attention mask adalah cara yang bersih untuk mencegahnya.

Covariate kategorikal juga mendapat perlakuan yang layak. Status mesin seperti running, idle, atau under maintenance dimasukkan sebagai kategori, bukan dipaksa menjadi integer sembarang yang menyiratkan urutan palsu. Siapa pun yang pernah melihat model tree mempelajari bahwa "state 3" entah bagaimana lebih besar dari "state 2" akan menghargai hal ini.

Tapi perhatikan konsekuensinya dalam praktik: kualitas deployment TSFM sekarang dibatasi oleh kualitas pipa covariate Anda, bukan modelnya. Jika feed cuaca Anda basi, kalender libur Anda tidak mencakup libur regional, dan tidak ada yang mengubah jadwal maintenance menjadi bentuk yang bisa dibaca mesin, model tidak akan menyelamatkan Anda. Pemodelannya sudah menjadi komoditas, sementara data engineering-nya belum. Atur anggaran usaha Anda sesuai itu.

Benchmark, dan kenapa Anda harus menguji pada sinyal Anda sendiri

Pada tiga benchmark publik utama, yaitu GIFT-Eval, TIME, dan fev-bench, model 209M Timestral menempati peringkat pertama di antara model pre-trained zero-shot, dengan satu checkpoint dan tanpa ensembling. Model 28M dilaporkan mengalahkan Chronos-2, yang sekitar empat kali lebih besar. Ini hasil yang benar-benar kuat, dan fakta bahwa setiap ukuran model dalam keluarga ini berada di kurva Pareto akurasi-versus-ukuran menunjukkan bahwa resepnya, bukan hanya skalanya, yang bekerja.

Sekarang catatan yang diperlukan. Benchmark forecasting punya masalah metodologis yang mendalam: banyak series di dalamnya adalah proses dengan noise tinggi dan sinyal rendah, di mana hampir semua model yang wajar berkinerja sama, karena tidak ada banyak sinyal untuk ditangkap. Jika Anda merata-ratakan skor dari ratusan series seperti itu, perbedaan nyata terkompresi menjadi selisih kecil. Itulah cara grafik pemasaran membuat peningkatan 0,03 terlihat seperti selisih lima kali lipat. Ini contoh spesifik dari penyakit umum yang sudah pernah kami tulis: benchmark secara sistematis melewatkan pekerjaan yang benar-benar penting, dan benchmark forecasting melewatkannya dengan cara yang lebih terukur.

Tes yang lebih baik, dan bisa Anda jalankan sendiri, adalah membangun series evaluasi dengan rasio signal-to-noise yang tinggi dan diketahui, di mana metode sederhana seperti distribusi kondisional empiris bisa menangkap sebagian besar sinyal. Lalu periksa apakah foundation model juga menangkapnya. Kemudian naikkan level noise secara bertahap dan lihat di mana kinerjanya menurun. Model yang terlihat SOTA pada benchmark yang berisik tapi meninggalkan sinyal jelas di atas meja pada rezim yang bersih sedang memberi tahu Anda sesuatu yang tidak ditunjukkan leaderboard.

Pada data yang berisik, semua model terlihat sama. Model baru terpisah ketika ada sinyal nyata untuk ditangkap, jadi uji di tempat sinyalnya berada.

Di mana metode klasik masih menang

Klaim pembuka saya perlu batasan yang jujur, jadi ini dia. Ada kasus nyata ketika Anda sebaiknya tidak meraih model fondasi.

• Anda butuh persamaannya, bukan hanya output. Jika Anda operator grid atau insinyur kontrol, Anda sering memerlukan model dinamis yang bisa diinterpretasi, yaitu parameter dengan makna fisik yang bisa Anda nalar, uji tekanan, dan serahkan ke regulator. TSFM adalah kotak hitam: y = F(x, params) tanpa struktur yang bisa dibaca. Model state-space atau model bergaya SINDy yang di-fit memberi Anda sesuatu yang tidak akan pernah bisa diberikan jaringan saraf.
• Anda punya satu series kritis dengan riwayat panjang yang kaya dan struktur domain yang kuat. Satu series yang sangat dipahami, misalnya beban listrik nasional dengan data puluhan tahun, lebih layak dengan model khusus yang dibangun menggunakan pengetahuan domain. Generalisasi zero-shot terbuang sia-sia jika Anda hanya punya satu masalah dan keahlian mendalam di dalamnya.
• Covariate Anda mendominasi dan relasinya stabil serta diketahui. Regresi linear dengan fitur yang tepat itu transparan, mudah di-debug, dan, ketika fisika masalahnya memang linear, tak tertandingi. Jangan bayar pajak kompleksitas tanpa imbalan.
• Anda harus memiliki ketergantungan itu sepenuhnya. Timestral dirilis di bawah lisensi MIT yang dimodifikasi dengan batasan, dan jika forecasting Anda adalah infrastruktur krusial, misalnya pasar energi day-ahead, Anda perlu berpikir keras sebelum bergantung pada server vendor atau lisensi yang tidak sepenuhnya bisa Anda kendalikan. Alternatif open-weight dan model internal ada justru untuk kasus seperti ini.
• Anda punya syarat ketat untuk kedisiplinan backtesting. Dengan model pre-trained, Anda tidak pernah bisa sepenuhnya yakin bahwa periode backtest Anda tidak termasuk dalam korpus pelatihan, kecuali vendor memberi Anda kendali atas campuran pelatihan. Mistral menawarkan itu lewat pipeline Forge-nya, tapi verifikasi, jangan langsung berasumsi.

Perhatikan polanya: model fondasi menang dalam keluasan, kecepatan, dan data yang jarang; ia kalah dalam interpretabilitas, kedalaman satu series, dan risiko ketergantungan. Itu aturan keputusan yang benar-benar berguna, dan lebih tajam daripada jawaban klise "tergantung".

Pertanyaan arsitektur yang sering dilewatkan

Satu hal yang sudah diselesaikan gelombang TSFM dan layak mendapat perhatian lebih: transformer bekerja baik pada sinyal kontinu, dan masalah tokenisasi ternyata tidak semenakutkan yang diperkirakan. Triknya adalah patching. Alih-alih memperlakukan setiap langkah waktu sebagai token (yang membuat panjang sekuens meledak) atau meng-embed float mentah secara naif, Anda memotong series menjadi patch dan meng-embed patch tersebut. Panjang patch menjadi knob yang bisa diatur, menukar resolusi dengan konteks, persis seperti ukuran vocabulary pada LLM. Jika Anda mengikuti debat tentang state-space model versus transformer, menarik untuk dicatat bahwa TSFM pemenang sejauh ini sebagian besar berbasis attention. Struktur jangka panjang data temporal tampaknya cocok dengan attention begitu representasi inputnya dibenahi.

Strategi data sintetis-dulu juga layak mendapat pengakuan yang sama sebagai kontribusi. Sebagian besar data pelatihan Timestral dihasilkan, bukan dikumpulkan: proses univariat dengan dinamika yang koheren dulu, lalu sintesizer multivariat yang menambahkan dependensi nonlinier di antara keduanya. Ini dengan rapi menghindari masalah data yang selama ini menghantui ML deret waktu. Tidak ada Common Crawl untuk data sensor, dan yang ada tersekat-sekat, proprietary, dan formatnya tidak konsisten. Jika data sintetis dengan bias induktif yang tepat bisa mentransfer sebaik ini, itu mengubah ekonomi seluruh subbidang. Anda tidak perlu menimbun telemetri dunia; Anda cukup punya generator yang bagus.

Dari forecast ke sistem

Konsekuensi jangka panjang yang paling menarik bukan modelnya, melainkan apa yang dimungkinkan model itu di hilir. Forecaster probabilistik, multivariat, dan murah yang berjalan terus-menerus pada metrik Anda adalah detektor anomali dengan ketidakpastian yang jujur: alih-alih membunyikan alarm ketika nilai melewati threshold statis, Anda membunyikan alarm ketika kenyataan jatuh di luar kuantil yang diprediksi, artinya alarm yang menghormati musiman dan event terencana. Kenaikan beban terjadwal dianggap wajar, bukan ditandai sebagai kejutan. Itu saja sudah bisa menghilangkan sebagian besar pager noise yang menyebalkan di kebanyakan organisasi.

Taruh agen LLM di atasnya dan Anda mendapat alur kerja yang digambarkan Mistral: model numerik menandai anomali pada sebuah pompa, agen membandingkan sinyal dengan embedding kegagalan masa lalu, menjalankan root-cause analysis atas catatan maintenance dan catatan operator, lalu menyerahkan kepada manajer pabrik sebuah diagnosis dengan bukti, bukan sekadar alarm mentah. Terlepas dari apakah Anda membeli visi spesifik itu, arahnya masuk akal. Ini pola yang sama dengan yang kita lihat pada constrained decoding untuk model keputusan: biarkan model cepat dan terspesialisasi tetap dalam loop untuk hal yang memang ia kuasai, dan biarkan model umum mengorkestrasi di sekelilingnya.

Jadi inilah posisi saya. Forecasting yang dibangun khusus belum mati, hanya turun pangkat dari default menjadi alat spesialis. Jika Anda punya satu series, pengetahuan domain yang dalam, dan kebutuhan akan dinamika yang bisa diinterpretasi, teruslah men-fit model state-space Anda dan tidur nyenyak. Tapi jika Anda punya ribuan series, riwayat tipis per series, dan tim berisi tiga orang, beban pembuktian sudah terbalik: sekarang Anda butuh alasan untuk tidak memulai dengan model fondasi. Uji pada data sinyal tinggi Anda sendiri, sambungkan covariate dengan benar, cek lisensinya sesuai toleransi risiko Anda, lalu habiskan berbulan-bulan yang berhasil Anda hemat untuk pipa data, karena di situlah proyek forecasting selalu benar-benar dimenangkan atau dikalahkan.