未来を形作るテクノロジーの深掘り記事。

AWS公式エミュレータのテスト:本番で痛い5つの誤解

AWS公式エミュレータは実用的ですが、よくある誤解が本番で痛い目を見せます。忠実度の限界と、実際のAWSで必ず検証すべき項目を解説します。

同じ箱が流れる2本のコンベアベルト。一方は新品同様、もう一方は摩耗しており、摩耗した側で一つの箱がこぼれている
エミュレータに対するCIがグリーンなのと、実環境に対するCIがグリーンなのは、同じグリーンではありません。

私がこれまで経験した最悪の結合テストの失敗は、すべてグリーンでした。CIのチェックはすべて通り、デプロイも完了。しかし20分後、オンコール担当者は毒メッセージで埋まったキューを見つめていました。実際のSQSの挙動が、誰も確認していなかった1点だけスタブと違っていたのです。だからAWSが独自のエミュレータを公開したとき(Rustのワークスペースで、サービスごとに1つのクレートがあり、実際のSDKを動かしているのと同じSmithyモデルから生成されたもの)、私の最初の反応は興奮ではありませんでした。「よし、どこで嘘をついているか調べよう」というものです。どんなエミュレータにも必ずどこかに嘘があります。AWSのエミュレータテストは、その嘘がどこにあるかを把握して初めて成り立つのです。

誤解1:「AWSエミュレータに対するテストがグリーンなら、AWS上でも動く」

この思い込みで痛い目を見る人は少なくありません。そしてプロジェクト自身のドキュメントが、この点について珍しく正直です。AWSはリリースごとにサービス別の忠実度スコアを公開し、ギャップはissues/things-that-do-not-work/ディレクトリで追跡しています。テストを1行書く前に、まずこのディレクトリを読むべきです。初期の利用者はすでに壁にぶつかっています。たとえばAssignフィールドを使ったStep Functionsの定義は動きませんし、PythonコードのLambdaサポートも未完成で、MiniStack上では問題なく動くワークフローが公式エミュレータでは止まってしまいます。これは不祥事ではなく、若いエミュレータにとっては普通の状態です。問題なのは、グリーンのスイートを「エミュレータのAPI解釈に対してコードが動く」以上の証明だと扱うことです。

正しいメンタルモデルは「真実」ではなく「カバレッジ」です。エミュレータがカバーするのは、SDKが送るリクエストの形と、もっともらしいレスポンスだけです。スロットリングの挙動、サービス間の伝播遅延、グローバルに分散したシステムの無数の未文書化の癖は対象外です。これはインフラのあらゆる場面で現れる仕様と実装のギャップと同じ問題です。Smithyモデルはワイヤーフォーマットを教えてくれますが、実際のSQSが可視性タイムアウトの内部で稀にメッセージを二重配信すること、あるいは実際のIAMの反映に数秒かかり、作ったばかりのロールが最初の3回の呼び出しで失敗することまでは教えてくれません。テストが通ったのは、エミュレータが結果整合性を経験する機会が一度もなかったからです。

誤解2:「IAMポリシーやセキュリティ制御はローカルで検証できる」

できません。AWSもエミュレータのセキュリティページで明確にそう述べています。IAMポリシーやパーミッションバウンダリ、バケットポリシーなどのリソースベースポリシー、KMSキーポリシー、クロスアカウントやクロスリージョンのアクセス、その他のセキュリティ制御のテストには使わないでください。エミュレータ内で作成したユーザーやロールに対してIAMを評価するサービスもありますが、AWSと同じ方法ではありません。エミュレータは、自身の鍵で署名されたリクエストを決して拒否しません。AWSなら拒否されるリクエストがローカルでは成功してしまうのです。つまりエミュレータはセキュリティテストに役立たないだけでなく、積極的に誤解を招きます。偽の陰性を涼しい顔で返してくるのです。

この点を高い代償とともに学んだチームを何度も見てきました。開発者がバケットポリシーを厳しくし、ローカルのスイートはグリーン、そのままリリース。すると、サンドボックスアカウントに対する夜間ジョブが、レプリケーションロールをポリシーがブロックしたために失敗します。逆のケースはさらにひどいです。ポリシーが緩すぎて、どこでも全部通ってしまい、数か月後の監査で「プライベート」なバケットが認証済みの任意のプリンシパルから読めたと判明します。ポリシーのロジックはクラウド認証に本当の死角がある領域の一つで、どのエミュレータもそこから救ってはくれません。ポリシーの挙動を検証したいなら、実際のIAM評価が必要です。つまり実アカウント、理想的にはSCPで到達範囲を制限した専用のサンドボックスを用意し、成功だけでなく拒否をアサートするテストを書いてください:

import boto3
import pytest
from botocore import UNSIGNED
from botocore.config import Config
from botocore.exceptions import ClientError
def test_private_bucket_denies_anonymous_read():
# Runs only in the nightly job, against a dedicated sandbox account.
s3 = boto3.client("s3")
s3.put_object(Bucket=SANDBOX_BUCKET, Key="probe.txt", Body=b"x")
anon = boto3.client("s3", config=Config(signature_version=UNSIGNED))
with pytest.raises(ClientError) as err:
anon.get_object(Bucket=SANDBOX_BUCKET, Key="probe.txt")
assert err.value.response["Error"]["Code"] == "AccessDenied"

CIフリート全体をこのツールに向ける前にもう一つ。テレメトリはデフォルトでオンになっています。AWSは、テレメトリは最小限で、リクエスト内容や認証情報を含まないと説明しています。私にはその説明を疑う理由はありませんが、開発ツールは許可していない限り外部に通信しない、というのが私のルールです。--telemetry offで実行するか、CI環境でEMULATOR_TELEMETRY=offを設定して、先に進みましょう。

誤解3:「ワイヤープロトコルの忠実度こそが難しい」

小さく整った先端が水面上にあり、その下に広大で混沌とした塊が隠れている氷山
APIの形は氷山の一角です。その下の挙動で、テストは静かに食い違っていきます。

ワイヤーフォーマットを正しく作ることは最低条件であり、AWSが常に確実にこなしてきた部分です。SDKはSmithyモデルから生成されており、エミュレータも同じモデルから生成されているので、すべての操作、すべての任意フィールド、すべてのエラーの形がドキュメント化されたAPIと一致します。HNのコメントで、ある人が的確に言っていました。仕様駆動の生成はすべてのエンドポイントのすべてのバリエーションを網羅するが、コミュニティ製エミュレータは従来、よく使われる一部を実装し残りを近似している、と。これは公式ツールの本物の強みです。

しかし、ワイヤーの忠実度は簡単な部分です。難しいのは挙動の忠実度で、これを完全に備えているものはありません。AWSのエミュレータも、LocalStackも、motoも、Flociもです。挙動の忠実度とは、どのモデルにも書かれていないことです。Lambdaのコールドスタートが、クライアントのタイムアウトを引っかけるほど観測可能なタイミングを変えるか。DynamoDBのスロットリングが、本番のトラフィックが実際に当たる頻度で再試行可能なエラーとして表面化するか。CloudFormationの削除が、合法だが不運な順序で作成されたリソースのせいで20分間ハングするか。あるプラクティショナーは、CDKプロジェクト全体をエミュレータに向けてcdk deployをエンドツーエンドでテストできるか尋ねてきました。私の答えは、できるし、やるべきだが、検証できるのは合成とAPIの形のエラーだけ、というものです。デプロイのダイナミクス、つまりロールバックの挙動、リソースの置換順序、ドリフト検出は、まさにエミュレータが最も苦手とする部分です。それらは実際のコントロールプレーンの創発的な性質だからです。

  • ワイヤーの忠実度:リクエスト/レスポンスの形、エラーコード、シリアライズ。エミュレータはこれが得意で、Smithy生成のものは業界最高水準のはずです。
  • 状態の忠実度:CRUDの往復、一覧、フィルタリング、ページネーション。エミュレータ間でおおむね良好ですが、サービスごとのギャップは確認が必要です。
  • 挙動の忠実度:整合性のタイミング、スロットリング、部分的な失敗、リソースのライフサイクルの癖。これを備えたものは誰もいません。それを前提に計画してください。

誤解4:「エミュレータはドロップイン。エンドポイントを差し替えるだけ」

どのエミュレータのマーケティングも「環境変数を1つ設定すれば終わり」を謳っています。簡単なスモークテストならそれで確かに動きます。サーバーモードは127.0.0.1:9297でHTTPSを使い、自己署名証明書で待ち受けます。CLIをそこに向ける例は次のとおりです:

export AWS_ENDPOINT_URL=https://localhost:9297
export AWS_ACCESS_KEY_ID=emulator
export AWS_SECRET_ACCESS_KEY=emulator
export AWS_REGION=us-east-1
# self-signed cert: don't disable verification globally, scope it
aws s3 ls --no-verify-ssl

ドロップインという話は、テストスイートの規模になると崩れます。最初の1週間で人々がぶつかる実際の問題はこうです。まず高速な状態リセットがないこと。テスト間できれいな状態が必要なら(motoの利用者はまさにそれに慣れています。デコレータを1つ付ければ世界が新しくなります)、今の選択肢はプロセスの再起動です。10個のテストなら問題ありませんが、1万個では苦痛です。また、マルチアカウントやOrganizationsのエミュレーションもありません。実際のアカウント構造をモデル化するテストは、これで成り立たなくなります。そして、組み込みのRustモードに心を惹かれたなら(テストごとに分離されたインプロセスのインスタンスが1つ、エンドポイントも証明書の管理も不要で、これは本当に良い設計です)、まずビルドコストの節を読んでください。ワークスペースはAWSサービスごとに1クレートで、フルのデバッグビルドではtarget/に約100GBの容量が必要です。最初のcargo testでは、エミュレータが自分のコードと一緒にコンパイルされます。CARGO_TARGET_DIRを共有し、CIでtarget/をキャッシュし、リリースのコミットに固定するという推奨は飾りではありません。5分のCIジョブと50分のCIジョブの差は、そこで生まれます。

use aws_emulator_embedded::{AwsEmulatorEmbedded, EmbeddedOptions, Telemetry};
let emulator = AwsEmulatorEmbedded::new(
EmbeddedOptions::default().telemetry(Telemetry::Off),
);
let http_client = emulator.http_client();
// wire http_client into your SDK client config — no endpoint,
// no env vars, one isolated instance per test

誤解5:「AWS純正のエミュレータがLocalStackやmotoなどを不要にする」

発表から数時間以内に、この話の様々なバージョンを耳にしました。しかし、それは既存製品が実際に提供しているものを誤解しています。LocalStackの価値は、単に「S3 APIを再実装した」ことではありません。サービスごとの挙動の細かい調整、状態管理、testcontainersとの統合、CIでの使いやすさ、そして今まさに直面しようとしているバグをすでに報告しているコミュニティ、それらの積み重ねです。motoのデコレータによるテストごとの状態リセットは、APIの機能ではなくワークフローの機能であり、AWSのエミュレータにはまだその答えがありません。Flociのファンは、GCPとAzureもカバーしていると指摘しました。マルチクラウド環境なら、高忠実度の単一クラウド環境よりも、1つの画面で見られるローカル環境の方が価値があります。

長期的な信頼性という正当な疑問もあります。スレッドの最初のコメントは、皆が考えていたことを尋ねていました。これはAWSが保守し続ける本物の製品なのか、それとも試みなのか。リポジトリはIssueの報告は受け付けますが、Pull Requestは受け付けません。仕様駆動のコードベースとしては筋の通った選択ですが、コミュニティ自身がギャップを修正できないことも意味します。チームの担当が変わってしまえば、手元にあるのはCC0ライセンスのスナップショットです。私の立場は、単一のメンテナーしかいない依存関係と同じように評価することです。採用するのは構いませんが、全財産を賭けるのは無謀です。同じ懐疑は、「エージェントがRustで書いた、堀は消えた」というような興奮気味の論評にも当てはまります。堀はAPIの表面にあったことは一度もなく、運用の卓越性にあります。APIをエミュレートすることは、常に一番安い部分でした。これは分散SQLiteとRaftでも起きたことです。インターフェースをコピーするのは数週間の仕事ですが、障害時のセマンティクスを合わせるのは数年の仕事です。

実際のAWSインフラに対して今もなお実行すべきもの

ほぼ完成した吊り橋。最後の区間に重りを吊るして、水上で負荷試験が行われている様子
エミュレータは橋のほとんどを築きます。最後の区間、つまりセキュリティと障害時の挙動は、実環境で負荷テストされます。

私が実際のプロジェクトで使っている分割方法を紹介します。今のところ失敗したことはありません。高速で決定的で、形を検証するものはすべて、コミットごとにエミュレータで実行します。シリアライズ、ドキュメント化されたエラーコードのエラー処理、リトライのロジック、CRUDの往復だけに依存するステートマシンなどです。これはテスト数で言えばスイートの約90%、リスクで言えば約10%です。

残りの10%は、実際の隔離されたサンドボックスアカウントに対して夜間に実行します。実際に夜中にページャーを鳴らすものを捕まえる部分です:

  • IAMとリソースポリシー。許可された経路だけでなく、明示的な拒否をアサートしてください。エミュレータは構造的にこれができません。自身の鍵で署名されたリクエストを決して拒否しないからです。
  • 伝播遅延があるもの全般。新しいロール、DNSの変更、KMSのグラント。コードがリソースを作成してすぐに使う場合、リトライループが必要かどうかを教えてくれるのは実際のAWSだけです。
  • at-least-once配信と冪等性の挙動。SQSの重複配信、タイムアウト時のLambdaの再試行、部分的なバッチ失敗。エミュレータは行儀がよいですが、本番はそうではありません。
  • インフラのライフサイクル。完全なcdk deploy/terraform applyと削除のサイクル、特に削除の順序とロールバックの経路。
  • スロットリングとクォータの境界。本番の負荷で重要なものは、本番のAPI挙動でしか存在しません。

サンドボックスアカウントには独自のガードレールが必要です。できることを制限するサービスコントロールポリシー、予算アラート、残ったリソースを消去するスイーパーです。夜間ジョブは必ず何かを残すからです。これは実際の運用負荷ですが、まさにそれゆえにエミュレータには価値があります。フィードバックループの90%を速く無料に保てるので、残りの10%を正直なものにする余裕が生まれるのです。

エミュレータの役割は、フィードバックループを速くすることです。自信を持たせることではありません。自信には、今でも本物のAPI呼び出しのコストがかかります。

AWS公式のエミュレータは、間違いなく良いツールです。仕様から生成されたカバレッジ、本物の隔離を持つ組み込みモード、そして何ができないかについての驚くほど正直なドキュメントがあります。それをあるがままに採用してください。可能な限り最速で、ほぼ正しい状態になる方法です。そのうえで、どのテストが別の種類の正しさを主張する資格を持つのかを、意図的に文書化して決めてください。それは、あなたのリクエストを本当に拒否でき、クライアントをスロットリングでき、メッセージを二重に届けられるインフラからしか得られない種類の正しさです。