AWS 에뮬레이터 테스트: 실전에서 터지는 5가지 오해
AWS 공식 에뮬레이터는 쓸 만하지만 잘못 믿으면 대가를 치릅니다. 충실도가 깨지는 지점과 실제 AWS에서 반드시 돌려야 할 테스트를 정리했습니다.

제가 겪은 가장 끔찍한 통합 테스트 실패는 초록불이었습니다. CI의 모든 검사가 통과했고 배포도 나갔는데, 20분 뒤 온콜 엔지니어가 독성 메시지(poison message)로 가득 찬 큐를 멍하니 보고 있었습니다. 실제 SQS 동작이 스텁과 딱 한 지점에서 달랐는데, 아무도 그걸 확인하지 않았던 거죠. 그래서 AWS가 자체 에뮬레이터를 내놨을 때, 같은 Smithy 모델에서 생성된 서비스별 크레이트로 구성된 Rust 워크스페이스라는 소식에도 제 첫 반응은 설렘이 아니었습니다. “좋아, 이제 이게 어디서 거짓말하는지 찾아보자”였죠. 모든 에뮬레이터는 어딘가에서 거짓말을 하니까요. AWS 에뮬레이터 테스트는 그 거짓말이 어디인지 알고 있을 때만 제대로 작동합니다.
오해 1: “AWS 에뮬레이터에서 테스트가 초록불이면 AWS에서도 동작한다”
이 믿음 때문에 사람들이 다칩니다. 프로젝트 문서가 이례적으로 솔직하게 이 점을 말하고 있습니다. AWS는 릴리스마다 서비스별 충실도 점수를 공개하고, 저장소의 issues/things-that-do-not-work/ 디렉터리에 갭을 추적합니다. 테스트를 한 줄도 쓰기 전에 가장 먼저 읽어야 할 곳이 바로 여기입니다. 초기 사용자들은 이미 벽에 부딪혔습니다. Assign 필드를 쓰는 Step Functions 정의는 동작하지 않고, Python 코드용 Lambda 지원은 불완전해서 MiniStack에서 잘 돌던 워크플로가 공식 에뮬레이터에서는 멈춰버립니다. 이건 스캔들이 아니라 어린 에뮬레이터의 정상 상태입니다. 진짜 문제는 초록불을 “API에 대한 에뮬레이터의 해석대로 코드가 동작한다” 이상의 증거로 취급하는 데 있습니다.
올바른 멘탈 모델은 진실이 아니라 커버리지입니다. 에뮬레이터는 SDK가 보내는 요청 형태를 커버하고 그럴듯한 응답을 돌려줍니다. 하지만 스로틀링 동작, 서비스 간 전파 지연, 전 세계에 분산된 시스템의 수많은 비공식 특성은 커버하지 못합니다. 이것은 인프라 곳곳에서 나타나는 명세와 구현 사이의 간극과 같은 문제입니다. Smithy 모델은 와이어 포맷이 무엇인지는 알려주지만, 실제 SQS가 가끔 visibility timeout 안에서 메시지를 두 번 전달한다거나, 실제 IAM 전파에 몇 초가 걸려서 방금 만든 역할이 처음 세 번의 호출에서 실패한다는 것은 알려주지 못합니다. 테스트가 통과한 이유는 에뮬레이터가 결과적 일관성(eventual consistency)을 경험할 기회가 한 번도 없었기 때문입니다.
오해 2: “로컬에서 IAM 정책과 보안 통제를 검증할 수 있다”
아니요, AWS도 에뮬레이터의 보안 페이지에서 분명히 말하고 있습니다. IAM 정책이나 권한 경계, 버킷 정책 같은 리소스 기반 정책, KMS 키 정책, 교차 계정·교차 리전 접근, 그 밖의 모든 보안 통제를 테스트하는 용도로 쓰면 안 됩니다. 일부 서비스는 에뮬레이터 안에서 만든 사용자와 역할에 대해 IAM을 평가하기는 하지만, AWS와 같은 방식이 아닙니다. 에뮬레이터는 자체 키로 서명된 요청을 절대 거부하지 않습니다. AWS라면 거부했을 요청이 로컬에서는 성공할 수 있다는 뜻이고, 그래서 에뮬레이터는 보안 테스트에 쓸모없는 수준을 넘어 적극적으로 오해를 부릅니다. 아무렇지 않은 얼굴로 거짓 음성(false negative)을 내밀어 버리거든요.
이걸 비싼 대가를 치르고 배우는 팀을 여러 번 봤습니다. 개발자가 버킷 정책을 조이고 로컬 스위트를 돌려 초록불을 확인한 뒤 배포합니다. 그런데 샌드박스 계정을 대상으로 도는 야간 작업이 정책 때문에 복제 역할까지 막혀서 죽어버립니다. 반대 경우는 훨씬 나쁩니다. 정책이 지나치게 느슨해서 어디서나 모든 테스트가 통과하고, 몇 달 뒤 감사 과정에서 ‘비공개’ 버킷을 인증된 아무 주체나 읽을 수 있었다는 사실을 알게 되는 경우죠. 정책 로직은 클라우드 인증에 실질적인 사각지대가 존재하는 영역이고, 어떤 에뮬레이터도 여기서 구해주지 못합니다. 정책 동작을 검증하려면 실제 IAM 평가가 필요합니다. 즉 실제 계정, 가능하면 SCP로 접근 범위를 잠가 둔 전용 샌드박스가 필요하고, 성공 케이스뿐 아니라 거부를 검증하는 테스트를 작성해야 합니다:
import boto3
import pytest
from botocore import UNSIGNED
from botocore.config import Config
from botocore.exceptions import ClientError
def test_private_bucket_denies_anonymous_read():
# Runs only in the nightly job, against a dedicated sandbox account.
s3 = boto3.client("s3")
s3.put_object(Bucket=SANDBOX_BUCKET, Key="probe.txt", Body=b"x")
anon = boto3.client("s3", config=Config(signature_version=UNSIGNED))
with pytest.raises(ClientError) as err:
anon.get_object(Bucket=SANDBOX_BUCKET, Key="probe.txt")
assert err.value.response["Error"]["Code"] == "AccessDenied"
CI 전체를 이 도구에 연결하기 전에 한 가지 더 있습니다. 텔레메트리가 기본으로 켜져 있습니다. AWS는 수집을 최소화하며 요청 내용이나 자격 증명은 절대 포함하지 않는다고 하고, 저는 그 말을 의심할 이유가 없습니다. 다만 제 원칙은 개발 도구가 내가 허락하지 않은 한 외부로 데이터를 보내지 않게 하는 것입니다. --telemetry off로 실행하거나 CI 환경에 EMULATOR_TELEMETRY=off를 설정하고 넘어가세요.
오해 3: “와이어 프로토콜 충실도가 가장 어려운 부분이다”

와이어 포맷을 맞추는 건 기본 중의 기본이고, AWS가 처음부터 확실히 잡아야 했던 부분입니다. AWS SDK는 Smithy 모델에서 생성되고 에뮬레이터도 같은 모델에서 생성되므로, 모든 오퍼레이션, 모든 선택 필드, 모든 에러 형태가 문서화된 API와 일치합니다. 한 HN 댓글이 잘 짚었는데, 명세 기반 생성은 엔드포인트의 모든 변형을 다루는 반면 커뮤니티 에뮬레이터는 역사적으로 자주 쓰이는 일부만 구현하고 나머지는 근사치로 처리한다고 했습니다. 이것이 공식 도구의 진짜 장점입니다.
하지만 와이어 충실도는 쉬운 부분입니다. 어려운 부분은 동작 충실도인데, 이건 누구도 갖고 있지 않습니다. AWS 에뮬레이터도, LocalStack도, moto도, Floci도 마찬가지입니다. 동작 충실도는 어떤 모델에도 들어 있지 않은 것들입니다. Lambda 콜드 스타트가 관측 가능한 타이밍을 바꿔서 클라이언트의 타임아웃을 건드리나? 운영 트래픽이 실제로 닿는 속도에서 DynamoDB 스로틀링이 재시도 가능한 에러로 드러나나? 합법적이지만 운이 나쁜 순서로 리소스가 만들어졌을 때 CloudFormation 삭제가 20분씩 멈추나? 어떤 분은 CDK 프로젝트 전체를 에뮬레이터에 붙여서 cdk deploy를 엔드 투 엔드로 테스트할 수 있는지 물었습니다. 제 답은 이렇습니다. 할 수 있고 해야 하지만, 합성(synthesis)과 API 형태 에러를 잡는 용도에 한정해야 합니다. 롤백 동작, 리소스 교체 순서, 드리프트 감지 같은 배포 동역학은 에뮬레이터가 가장 못하는 부분입니다. 실제 컨트롤 플레인의 창발적 속성이기 때문입니다.
- 와이어 충실도 — 요청/응답 형태, 에러 코드, 직렬화. 에뮬레이터들이 대체로 잘하고, Smithy로 생성된 에뮬레이터는 업계 최고 수준이어야 합니다.
- 상태 충실도 — CRUD 왕복, 목록 조회, 필터링, 페이지네이션. 에뮬레이터 전반에서 대체로 좋지만, 서비스별 갭은 직접 확인해야 합니다.
- 동작 충실도 — 일관성 타이밍, 스로틀링, 부분 실패, 리소스 수명주기의 특이 동작. 아무도 제공하지 못합니다. 그에 맞게 계획하세요.
오해 4: “에뮬레이터는 드롭인이다. 엔드포인트만 바꾸면 된다”
모든 에뮬레이터의 마케팅 문구는 “환경 변수 하나만 설정하면 끝”입니다. 간단한 스모크 테스트라면 맞는 말입니다. 서버 모드는 127.0.0.1:9297에서 자체 서명 인증서를 사용하는 HTTPS로 대기하며, CLI가 이를 바라보게 하는 방법은 다음과 같습니다:
export AWS_ENDPOINT_URL=https://localhost:9297
export AWS_ACCESS_KEY_ID=emulator
export AWS_SECRET_ACCESS_KEY=emulator
export AWS_REGION=us-east-1
# self-signed cert: don't disable verification globally, scope it
aws s3 ls --no-verify-ssl
드롭인 이야기는 테스트 스위트 규모에서 무너집니다. 사용자들이 첫 주에 부딪히는 실질적인 문제가 있습니다. 먼저 빠른 상태 초기화가 없습니다. 테스트 사이에 깨끗한 상태가 필요하다면(moto 사용자들은 데코레이터 하나로 세상이 초기화되는 방식에 익숙합니다), 지금은 프로세스를 재시작하는 것밖에 방법이 없습니다. 열 개 테스트라면 괜찮지만 만 개라면 고통스럽습니다. 또한 멀티 계정이나 Organizations 에뮬레이션이 없어서, 실제 계정 구조를 모델링하는 테스트는 불가능합니다. 그리고 내장 Rust 모드(테스트마다 격리된 인프로세스 인스턴스 하나, 엔드포인트나 인증서를 관리할 필요가 없음, 정말 좋은 설계입니다)에 끌린다면 먼저 빌드 비용 섹션부터 읽으세요. 워크스페이스는 AWS 서비스마다 크레이트 하나씩이고, 전체 디버그 빌드는 target/ 공간을 100GB 가까이 원합니다. 첫 cargo test는 에뮬레이터를 여러분의 코드와 함께 컴파일합니다. CARGO_TARGET_DIR을 공유하고, CI에서 target/을 캐시하고, 릴리스 커밋에 고정하라는 조언은 선택 사항이 아닙니다. 5분짜리 CI 작업과 50분짜리 작업의 차이를 만드는 조언입니다.
use aws_emulator_embedded::{AwsEmulatorEmbedded, EmbeddedOptions, Telemetry};
let emulator = AwsEmulatorEmbedded::new(
EmbeddedOptions::default().telemetry(Telemetry::Off),
);
let http_client = emulator.http_client();
// wire http_client into your SDK client config — no endpoint,
// no env vars, one isolated instance per test
오해 5: “AWS 자체 에뮬레이터가 LocalStack, moto 등을 대체한다”
발표 몇 시간 만에 이런 말을 여러 번 들었는데, 기존 도구들이 실제로 무엇을 팔고 있는지 오해한 말입니다. LocalStack의 가치는 “S3 API를 다시 구현했다”에 있었던 적이 없습니다. 서비스별 동작 튜닝 수년치, 상태 관리, testcontainers 연동, CI 편의성, 그리고 여러분이 곧 부딪힐 버그를 이미 신고해 둔 커뮤니티가 있습니다. moto의 데코레이터 기반 테스트별 상태 초기화는 API 기능이 아니라 워크플로 기능이고, AWS 에뮬레이터에는 아직 그에 대한 답이 없습니다. Floci 팬들은 이 도구가 GCP와 Azure도 다룬다고 지적했습니다. 멀티 클라우드 환경이라면 단일 클라우드에서 충실도가 더 높은 도구보다 로컬에서 한눈에 보는 환경이 훨씬 가치가 있습니다.
수명에 대한 정당한 신뢰 문제도 있습니다. 스레드의 첫 댓글은 모두가 생각하던 질문을 던졌습니다. 이것이 AWS가 계속 유지보수할 실제 제품인가, 아니면 실험인가? 이 저장소는 이슈 리포트는 받지만 풀 리퀘스트는 받지 않습니다. 명세 기반 코드베이스라면 방어 가능한 선택이지만, 커뮤니티가 스스로 갭을 패치할 수 없다는 뜻이기도 합니다. 팀이 재배치되면 여러분은 CC0 라이선스 스냅샷을 쥐고 있게 됩니다. 제 입장은 이렇습니다. 메인테이너가 한 명뿐인 의존성처럼 평가하세요. 도입하는 건 괜찮지만, 회사 전체를 걸고 베팅하는 건 무모합니다. “에이전트가 Rust로 짰으니 해자는 사라졌다”는 열광적인 논평에도 같은 회의를 적용하세요. 해자는 API 표면이 아니었습니다. 운영 역량이고, API를 흉내 내는 건 원래 가장 싼 부분입니다. 분산 SQLite와 raft에서도 같은 역학이 나타났습니다. 인터페이스를 복사하는 데는 몇 주면 되지만, 실패 의미론을 맞추는 데는 몇 년이 걸립니다.
여전히 실제 AWS 인프라에서 돌려야 하는 것들

실제 프로젝트에서 제가 쓰는 분할 방식이고, 아직 실패한 적은 없습니다. 빠르고 결정적이며 형태 중심인 테스트는 모두 커밋마다 에뮬레이터에서 실행합니다. 직렬화, 문서화된 에러 코드 처리, 재시도 로직, CRUD 왕복에만 의존하는 상태 머신 등이 여기에 해당합니다. 테스트 개수로는 전체의 90%지만 위험도로는 대략 10% 정도입니다.
나머지 10%는 격리된 실제 샌드박스 계정에서 매일 밤 실행되며, 실제로 여러분을 호출하게 만드는 것들을 잡아냅니다:
- IAM 및 리소스 정책. 허용 경로만이 아니라 명시적 거부를 검증하세요. 에뮬레이터는 구조적으로 이것을 할 수 없습니다. 자체 키로 서명된 요청을 절대 거부하지 않기 때문입니다.
- 전파 지연이 있는 모든 것. 새 역할, DNS 변경, KMS 그랜트 등이 해당합니다. 코드가 리소스를 만들고 곧바로 사용한다면, 재시도 루프가 필요한지는 실제 AWS만이 알려줍니다.
- 최소 한 번 전달(at-least-once)과 멱등성 동작. SQS 중복 전달, 타임아웃 시 Lambda 재시도, 부분 배치 실패 등이 여기에 해당합니다. 에뮬레이터는 예의 바르지만, 프로덕션은 그렇지 않습니다.
- 인프라 수명주기. 전체
cdk deploy/terraform apply와 destroy 사이클, 특히 삭제 순서와 롤백 경로를 검증하세요. - 스로틀링과 할당량 경계. 프로덕션 부하에서 중요하다면, 그 동작은 프로덕션 API에서만 존재합니다.
샌드박스 계정에도 자체 가드레일이 필요합니다. 할 수 있는 일을 제한하는 서비스 제어 정책, 예산 알림, 남은 리소스를 지워 주는 스위퍼가 필요합니다. 야간 작업은 반드시 무언가를 흘리기 때문입니다. 실질적인 운영 부담이 있지만, 바로 그래서 에뮬레이터가 가치 있는 겁니다. 피드백 루프의 90%를 빠르고 무료로 유지해 주고, 덕분에 나머지 10%를 정직하게 만들 여유가 생깁니다.
에뮬레이터의 역할은 피드백 루프를 빠르게 만드는 것입니다. 확신을 주는 것이 아닙니다. 확신에는 여전히 실제 API 호출 비용이 듭니다.
공식 AWS 에뮬레이터는 정말 좋은 도구입니다. 명세 기반 커버리지, 진짜 격리를 제공하는 내장 모드, 그리고 무엇을 못하는지 놀랍도록 솔직한 문서를 갖추고 있습니다. 있는 그대로 받아들이세요. 가능한 한 빠르게 대체로 맞는 상태를 만드는 가장 좋은 방법입니다. 그런 다음 어떤 테스트가 다른 종류의 ‘맞음’을 주장할지 명확히 문서로 남기며 결정하세요. 여러분의 요청을 실제로 거부하고, 클라이언트를 스로틀링하고, 메시지를 두 번 전달할 수 있는 인프라에서만 나오는 종류의 맞음 말입니다.


