Artikel mendalam tentang teknologi yang membentuk masa depan.

Tes Emulator AWS: 5 Mitos yang Bikin Sakit di Produksi

Tes emulator AWS itu berguna, tapi mitosnya bisa bikin celaka. Pelajari batas fidelitasnya dan apa yang tetap wajib dites di AWS asli.

Dua ban berjalan, satu mulus dan satu usang, menampilkan kotak identik dengan satu kotak tumpah di sisi yang usang
CI hijau di emulator dan CI hijau di AWS asli itu bukan hijau yang sama.

Kegagalan tes integrasi terburuk yang pernah saya tangani justru berstatus hijau. Semua pengecekan lolos di CI, deploy jalan, dan dua puluh menit kemudian seorang engineer on-call sudah menatap antrean penuh poison message karena perilaku SQS yang asli berbeda dari stub di satu hal yang tidak ada yang kepikiran untuk dicek. Jadi ketika AWS merilis emulator resminya, sebuah Rust workspace dengan satu crate per layanan, yang di-generate dari model Smithy yang sama dengan yang menggerakkan SDK asli, reaksi pertama saya bukan antusias. Saya langsung mikir: bagus, sekarang mari cari tahu di mana ia berbohong. Karena setiap emulator pasti berbohong di suatu tempat, dan tes emulator AWS hanya ada gunanya kalau Anda tahu di mana kebohongannya.

Mitos 1: "Tes hijau di emulator AWS berarti pasti jalan di AWS"

Ini keyakinan yang paling sering bikin orang celaka, dan dokumentasi proyeknya sendiri cukup jujur soal ini. AWS mempublikasikan skor fidelitas per layanan di setiap rilis dan mencatat celah-celahnya dalam direktori harfiah issues/things-that-do-not-work/ di repo. Direktori itu adalah hal pertama yang harus Anda baca sebelum menulis satu tes pun. Pengguna awal sudah menabrak tembok: definisi Step Functions yang memakai field Assign tidak berfungsi, dan dukungan Lambda untuk kode Python belum lengkap sehingga workflow yang jalan mulus di MiniStack malah macet di emulator resmi. Tidak ada yang perlu dihebohkan, ini kondisi normal emulator yang masih muda. Yang bermasalah adalah menganggap suite yang hijau sebagai bukti atas apa pun selain "kode Anda bekerja terhadap interpretasi API oleh emulator."

Model mental yang tepat adalah cakupan, bukan kebenaran. Emulator mencakup bentuk request yang dikirim SDK Anda dan mengembalikan respons yang masuk akal. Ia tidak mencakup perilaku throttling, delay propagasi antarlayanan, atau ribuan keanehan tak terdokumentasi dari sistem yang terdistribusi secara global. Ini adalah celah antara spesifikasi dan implementasi yang muncul di mana-mana dalam infrastruktur: model Smithy memberi tahu Anda format wire-nya, tapi tidak bisa memberi tahu bahwa SQS sungguhan kadang mengirim pesan dua kali dalam visibility timeout, atau bahwa propagasi IAM sungguhan butuh beberapa detik sehingga role yang baru dibuat akan gagal tiga invokasi pertama. Tes Anda lolos karena emulator tidak pernah punya kesempatan untuk menjadi eventual.

Mitos 2: "Saya bisa memvalidasi kebijakan IAM dan kontrol keamanan secara lokal"

Tidak bisa, dan AWS menyatakannya dengan gamblang di halaman keamanan emulator. Jangan pakai emulator untuk menguji kebijakan IAM atau permissions boundary, resource-based policy seperti bucket policy, KMS key policy, akses lintas akun atau lintas region, maupun kontrol keamanan lainnya. Sebagian layanan memang mengevaluasi IAM untuk user dan role yang Anda buat di dalam emulator, tapi tidak dengan cara yang sama seperti AWS. Emulator tidak pernah menolak request yang ditandatangani dengan kuncinya sendiri. Request yang akan ditolak AWS bisa lolos secara lokal, artinya emulator bukan hanya tidak berguna untuk tes keamanan, tapi juga menyesatkan secara aktif. Ia akan memberi Anda false negative dengan wajah tanpa dosa.

Saya sudah melihat tim belajar hal ini dengan cara yang mahal. Seorang developer memperketat bucket policy, menjalankan suite lokal, melihat hijau, lalu deploy. Malamnya job nightly di akun sandbox mati karena policy baru memblokir replication role. Atau kebalikannya, dan jauh lebih buruk: policy terlalu permisif, semuanya lolos di mana-mana, dan Anda baru tahu berbulan-bulan kemudian saat audit bahwa bucket "private" Anda bisa dibaca oleh principal mana pun yang sudah terautentikasi. Logika policy adalah salah satu tempat di mana autentikasi cloud punya celah buta yang nyata, dan tidak ada emulator yang akan menyelamatkan Anda dari sana. Kalau ingin memverifikasi perilaku policy, Anda butuh evaluasi IAM yang asli. Artinya akun sungguhan, idealnya sandbox khusus dengan SCP yang mengunci apa saja yang bisa dijangkau, dan tes yang memastikan penolakan, bukan hanya keberhasilan:

import boto3
import pytest
from botocore import UNSIGNED
from botocore.config import Config
from botocore.exceptions import ClientError
def test_private_bucket_denies_anonymous_read():
# Runs only in the nightly job, against a dedicated sandbox account.
s3 = boto3.client("s3")
s3.put_object(Bucket=SANDBOX_BUCKET, Key="probe.txt", Body=b"x")
anon = boto3.client("s3", config=Config(signature_version=UNSIGNED))
with pytest.raises(ClientError) as err:
anon.get_object(Bucket=SANDBOX_BUCKET, Key="probe.txt")
assert err.value.response["Error"]["Code"] == "AccessDenied"

Satu hal lagi sebelum Anda mengarahkan seluruh armada CI ke alat ini: telemetri aktif secara default. AWS menyatakan telemetrinya diminimalkan dan tidak pernah menyertakan isi request atau kredensial. Saya tidak punya alasan untuk meragukannya, tapi aturan saya, alat dev tidak boleh menelepon pulang kecuali saya yang memintanya. Jalankan dengan --telemetry off atau atur EMULATOR_TELEMETRY=off di environment CI Anda, lalu lanjutkan.

Mitos 3: "Fidelitas wire protocol adalah bagian yang sulit"

Gunung es dengan ujung kecil yang rapi di atas air dan massa besar yang kacau tersembunyi di bawah permukaan
Bentuk API hanyalah puncak gunung es. Perilaku di bawahnya adalah tempat tes Anda diam-diam menyimpang.

Format wire yang benar itu wajib, dan ini bagian yang memang selalu bisa dikuasai AWS. SDK mereka di-generate dari model Smithy, emulator juga di-generate dari model yang sama, jadi setiap operasi, setiap field opsional, dan setiap bentuk error cocok dengan API yang terdokumentasi. Seorang komentator di HN merangkumnya dengan baik: generasi berbasis spesifikasi menjangkau setiap varian dari setiap endpoint, sementara emulator komunitas secara historis hanya mengimplementasikan subset yang sering dipakai dan memperkirakan sisanya. Itu keunggulan nyata dari alat resmi.

Tapi fidelitas wire itu bagian yang paling mudah. Bagian yang sulit adalah fidelitas perilaku, dan tidak ada yang punya itu, bukan emulator AWS, bukan LocalStack, bukan moto, bukan Floci. Fidelitas perilaku mencakup hal-hal yang tidak ada di model mana pun: Apakah cold start Lambda mengubah waktu yang terlihat cukup jauh untuk memicu timeout client Anda? Apakah throttling DynamoDB muncul sebagai error yang bisa di-retry dengan laju yang sama seperti trafik produksi Anda? Apakah teardown CloudFormation menggantung selama dua puluh menit ketika resource dibuat dengan urutan yang sah tapi kurang beruntung? Seorang praktisi bertanya apakah mereka bisa mengarahkan seluruh project CDK ke emulator dan menguji cdk deploy dari awal sampai akhir. Jawaban saya: bisa, dan sebaiknya memang begitu, tapi hanya untuk menangkap error sintesis dan bentuk API. Dinamika deployment seperti perilaku rollback, urutan penggantian resource, dan drift detection adalah bagian yang paling tidak bisa ditangani emulator, karena itu properti emergen dari control plane yang asli.

  • Fidelitas wire — bentuk request/response, kode error, serialisasi. Emulator cukup baik di sini, dan emulator yang di-generate dari Smithy seharusnya yang terbaik di kelasnya.
  • Fidelitas state — round-trip CRUD, listing, filtering, pagination. Umumnya bagus di berbagai emulator, dengan celah per layanan yang harus Anda cek.
  • Fidelitas perilaku — timing konsistensi, throttling, kegagalan parsial, keanehan lifecycle resource. Tidak ada yang punya ini. Rencanakan dengan sesuai.

Mitos 4: "Emulator itu drop-in, tinggal ganti endpoint"

Janji pemasaran setiap emulator adalah "atur satu environment variable dan langsung jalan." Untuk smoke test cepat, itu memang benar. Mode server mendengarkan di 127.0.0.1:9297 melalui HTTPS dengan sertifikat self-signed, dan mengarahkan CLI ke sana kira-kira seperti ini:

export AWS_ENDPOINT_URL=https://localhost:9297
export AWS_ACCESS_KEY_ID=emulator
export AWS_SECRET_ACCESS_KEY=emulator
export AWS_REGION=us-east-1
# self-signed cert: don't disable verification globally, scope it
aws s3 ls --no-verify-ssl

Cerita drop-in ini runtuh begitu skala suite tes mulai besar. Masalah praktis yang biasanya muncul dalam minggu pertama: tidak ada reset state yang cepat. Kalau suite Anda butuh kondisi bersih di antara tes (dan pengguna moto sudah terbiasa dengan itu, cukup satu decorator dan semuanya kembali segar), opsi Anda saat ini adalah me-restart proses. Itu masih oke untuk sepuluh tes dan menyakitkan untuk sepuluh ribu tes. Ada juga ketiadaan emulasi multi-akun atau Organizations, yang membuat tes apa pun yang memodelkan struktur akun asli Anda tidak bisa dijalankan. Dan kalau Anda tergoda dengan mode Rust embedded, yaitu satu instance terisolasi dalam proses untuk setiap tes, tanpa endpoint atau sertifikat yang perlu dikelola, yang memang desain yang bagus, baca dulu bagian biaya build. Workspace ini terdiri dari satu crate per layanan AWS, build debug penuh membutuhkan sekitar 100 GB ruang untuk target/, dan cargo test pertama Anda akan mengompilasi emulator bersama kode Anda sendiri. Saran mereka untuk berbagi satu CARGO_TARGET_DIR, men-cache target/ di CI, dan mem-pin ke commit rilis bukan sekadar hiasan. Ini adalah pembeda antara job CI lima menit dan job CI lima puluh menit.

use aws_emulator_embedded::{AwsEmulatorEmbedded, EmbeddedOptions, Telemetry};
let emulator = AwsEmulatorEmbedded::new(
EmbeddedOptions::default().telemetry(Telemetry::Off),
);
let http_client = emulator.http_client();
// wire http_client into your SDK client config — no endpoint,
// no env vars, one isolated instance per test

Mitos 5: "Emulator resmi AWS akan mematikan LocalStack, moto, dan lainnya"

Saya mendengar versi argumen ini dalam hitungan jam setelah pengumuman, dan argumen itu salah memahami apa yang sebenarnya dijual para pemain lama. Nilai LocalStack tidak pernah sekadar "kami mengimplementasi ulang API S3." Nilainya adalah bertahun-tahun penyetelan perilaku per layanan, manajemen state, integrasi testcontainers, ergonomi CI, dan komunitas yang sudah mencatat bug yang akan Anda temui. Reset state per tes lewat decorator milik moto adalah fitur workflow, bukan fitur API, dan emulator AWS belum punya jawabannya. Penggemar Floci menunjukkan bahwa alat itu juga mencakup GCP dan Azure. Kalau infrastruktur Anda multi-cloud, lingkungan lokal satu pintu jauh lebih berharga daripada fidelitas tinggi untuk satu cloud saja.

Ada juga pertanyaan kepercayaan yang sah soal umur panjang. Komentar pertama di thread menanyakan hal yang dipikirkan semua orang: ini produk sungguhan yang akan dipelihara AWS, atau sekadar latihan? Repo ini menerima laporan issue tapi tidak menerima pull request. Itu pilihan yang bisa dibenarkan untuk codebase berbasis spesifikasi, tapi artinya komunitas tidak bisa menambal celahnya sendiri. Kalau tim dipindahkan, Anda akan memegang snapshot berlisensi CC0. Posisi saya: evaluasi seperti dependency dengan satu maintainer. Boleh diadopsi, tapi ceroboh kalau mempertaruhkan seluruh bisnis di sana. Skeptisisme yang sama berlaku untuk komentar heboh "agen menulis ini dalam Rust, parit pertahanannya sudah hilang." Parit pertahanan itu tidak pernah ada di permukaan API. Ia ada pada keunggulan operasional, dan meniru API selalu bagian yang murah. Kita sudah melihat dinamika ini terjadi pada SQLite terdistribusi dan raft: menyalin interface butuh minggu, mencocokkan semantik kegagalan butuh tahun.

Yang tetap harus dijalankan di infrastruktur AWS asli

Jembatan gantung yang hampir selesai, bentang terakhirnya sedang diuji beban dengan beban tergantung di atas air
Emulator membangun sebagian besar jembatannya. Bentang terakhir, yaitu keamanan dan perilaku saat gagal, tetap harus diuji beban secara nyata.

Ini pembagian yang saya pakai di proyek sungguhan, dan sejauh ini belum pernah gagal. Semua yang cepat, deterministik, dan berfokus pada bentuk dijalankan di emulator pada setiap commit: serialisasi, penanganan error untuk kode error yang terdokumentasi, logika retry, dan state machine yang hanya bergantung pada round-trip CRUD. Itu sekitar 90% dari suite Anda berdasarkan jumlah tes dan mungkin 10% berdasarkan risiko.

Sisa 10% dijalankan setiap malam di sandbox akun asli yang terisolasi, dan bagian inilah yang menangkap hal-hal yang benar-benar membangunkan Anda di tengah malam:

  • Kebijakan IAM dan resource policy. Pastikan penolakan eksplisit, bukan hanya jalur yang diizinkan. Emulator secara struktural tidak bisa melakukan ini, karena ia tidak pernah menolak request yang ditandatangani dengan kuncinya sendiri.
  • Apa pun yang punya delay propagasi. Role baru, perubahan DNS, grant KMS. Kalau kode Anda membuat resource lalu langsung memakainya, hanya AWS asli yang akan memberi tahu apakah Anda perlu loop retry.
  • Perilaku at-least-once dan idempotensi. Pengiriman SQS ganda, retry Lambda saat timeout, kegagalan batch parsial. Emulator itu sopan; produksi tidak.
  • Lifecycle infrastruktur. Siklus penuh cdk deploy / terraform apply dan destroy, terutama urutan teardown dan jalur rollback.
  • Throttling dan tepi kuota. Kalau itu penting pada beban produksi, itu hanya ada pada perilaku API produksi.

Akun sandbox juga butuh pengaman sendiri: service control policy yang membatasi apa yang bisa dilakukannya, budget alert, dan sweeper yang menghapus resource sisa, karena job nightly Anda pasti akan membocorkan sesuatu. Itu overhead operasional yang nyata, dan justru itulah alasan emulator begitu berharga. Ia menjaga 90% loop umpan balik Anda tetap cepat dan gratis, sehingga Anda mampu membuat 10% terakhir tetap jujur.

Tugas emulator adalah membuat loop umpan balik Anda cepat. Tugasnya bukan membuat Anda yakin. Keyakinan tetap butuh panggilan API sungguhan.

Emulator resmi AWS adalah alat yang benar-benar bagus: coverage yang dihasilkan dari spesifikasi, mode embedded dengan isolasi yang nyata, dan dokumentasi yang jujur soal apa yang tidak bisa dilakukannya. Adopsi ia untuk apa adanya: cara tercepat untuk menjadi hampir benar. Lalu putuskan, dengan sengaja dan tertulis, tes mana yang berhak mengklaim jenis kebenaran lainnya, yaitu kebenaran yang hanya datang dari infrastruktur yang benar-benar bisa menolak request Anda, membatasi client Anda, dan mengirim pesan Anda dua kali.