Подробные статьи о технологиях, определяющих будущее.

Тестирование эмулятора AWS: 5 мифов, которые бьют в проде

Официальный эмулятор AWS реален, но мифы вокруг тестов на нём подставят. Разбираем, где ломается точность и что обязательно гонять на настоящем AWS.

Два конвейера: один новый, другой изношенный, с одинаковыми коробками и одной упавшей на изношенной стороне
Зелёный CI на эмуляторе и зелёный CI на настоящем AWS — это совсем разный зелёный.

Самый хреновый провал интеграционного теста, с которым я сталкивался, был зелёным. Все проверки в CI прошли, деплой ушёл, а через двадцать минут дежурный инженер смотрел на очередь ядовитых сообщений, потому что реальное поведение SQS отличалось от заглушки ровно в одном месте, которое никто не догадался проверить. Поэтому, когда AWS выпустила свой эмулятор, Rust-воркспейс с одним крейтом на каждый сервис, сгенерированный из тех же Smithy-моделей, что питают настоящие SDK, я отреагировал не восторгом. Я подумал: отлично, теперь выясним, где он врёт. Любой эмулятор где-нибудь врёт, и тестирование эмулятора AWS имеет смысл, только если вы знаете, где именно.

Миф 1: «Зелёные тесты на эмуляторе AWS значат, что всё работает в AWS»

Именно из-за этого убеждения люди и горят, и сама документация проекта на удивление честна на этот счёт. AWS публикует оценку точности по каждому сервису с каждым релизом и ведёт список пробелов в буквальной директории issues/things-that-do-not-work/ в репозитории. Эту директорию стоит открыть первой, ещё до того, как вы напишете хоть один тест. Ранние пользователи уже упёрлись в стены: определения Step Functions с полем Assign не работают, а поддержка Lambda для Python настолько неполна, что воркфлоу, который спокойно живёт на MiniStack, на официальном эмуляторе зависает. В этом нет скандала, это нормальное состояние молодого эмулятора. Скандал начинается, когда зелёный набор тестов принимают за доказательство чего-то большего, чем «ваш код работает с тем, как эмулятор понимает API».

Правильная ментальная модель — покрытие, а не истина. Эмулятор покрывает формы запросов, которые отправляет ваш SDK, и возвращает правдоподобные ответы. Он не покрывает поведение при троттлинге, задержки распространения между сервисами и тысячу недокументированных странностей глобально распределённой системы. Это та же проблема разрыва между спецификацией и реализацией, которая встречается везде в инфраструктуре: Smithy-модель описывает формат передачи, но не скажет, что настоящий SQS иногда доставляет сообщение дважды внутри visibility timeout или что реальное распространение IAM занимает секунды, и только что созданная роль упадёт на первых трёх вызовах. Ваши тесты прошли, потому что эмулятор просто не имел возможности оказаться в состоянии eventual consistency.

Миф 2: «Я могу проверить политики IAM и механизмы безопасности локально»

Нет, и AWS прямо говорит об этом на странице безопасности эмулятора. Не используйте его для тестирования политик IAM и границ разрешений, ресурсных политик вроде bucket policy, политик ключей KMS, межаккаунтного и межрегионального доступа или любых других механизмов безопасности. Некоторые сервисы оценивают IAM для пользователей и ролей, которые вы создали внутри эмулятора, но не так, как это делает AWS. Эмулятор никогда не отклоняет запрос, подписанный собственным ключом. Запрос, который AWS бы отклонил, локально может пройти, а значит, эмулятор не просто бесполезен для тестов безопасности, он активно вводит в заблуждение. Он выдаст вам ложноотрицательный результат с невозмутимым лицом.

Я видел, как команды усваивали это на собственном опыте. Разработчик ужесточает bucket policy, гоняет локальный набор, видит зелёный и катит в прод. А ночная задача против песочницы падает, потому что новая политика блокирует роль репликации. Или наоборот, и это гораздо хуже: политика слишком мягкая, всё проходит везде, и месяцы спустя на аудите выясняется, что ваш «приватный» бакет был доступен на чтение любому аутентифицированному принципалу. Логика политик — одно из мест, где аутентификация в облаке имеет реальные слепые зоны, и никакой эмулятор вас от них не спасёт. Если хотите проверять поведение политик, нужна настоящая оценка IAM. То есть реальный аккаунт, лучше выделенная песочница с SCP, которые ограничивают доступ, и тесты, которые проверяют отказы, а не только успехи:

import boto3
import pytest
from botocore import UNSIGNED
from botocore.config import Config
from botocore.exceptions import ClientError
def test_private_bucket_denies_anonymous_read():
# Runs only in the nightly job, against a dedicated sandbox account.
s3 = boto3.client("s3")
s3.put_object(Bucket=SANDBOX_BUCKET, Key="probe.txt", Body=b"x")
anon = boto3.client("s3", config=Config(signature_version=UNSIGNED))
with pytest.raises(ClientError) as err:
anon.get_object(Bucket=SANDBOX_BUCKET, Key="probe.txt")
assert err.value.response["Error"]["Code"] == "AccessDenied"

Ещё одно, прежде чем вы направите на этот инструмент весь свой парк CI: телеметрия включена по умолчанию. AWS утверждает, что её объём минимален и что в ней никогда нет содержимого запросов или учётных данных. У меня нет причин в этом сомневаться, но моё правило такое: инструменты разработки не должны звонить домой, если я сам этого не разрешил. Запустите его с --telemetry off или задайте EMULATOR_TELEMETRY=off в окружении CI и двигайтесь дальше.

Миф 3: «Точность на уровне wire-протокола — самое сложное»

Айсберг с небольшой аккуратной вершиной над водой и огромной хаотичной массой под поверхностью
Форма API — это верхушка. Поведение под ней и есть то место, где ваши тесты тихо расходятся с реальностью.

Правильный формат передачи — это минимальный порог, и именно эту часть AWS всегда должна была закрыть. Их SDK генерируются из Smithy-моделей, эмулятор генерируется из тех же моделей, так что каждая операция, каждое необязательное поле и каждая форма ошибки совпадают с документированным API. Один комментатор на HN точно сформулировал: генерация по спецификации покрывает каждый вариант каждого эндпоинта, тогда как сообщественные эмуляторы исторически реализуют часто используемое подмножество, а остальное аппроксимируют. Это реальное преимущество официального инструмента.

Но точность wire-протокола — лёгкая часть. Трудная часть — поведенческая точность, и её нет ни у кого: ни у эмулятора AWS, ни у LocalStack, ни у moto, ни у Floci. Поведенческая точность — это то, чего нет ни в одной модели. Заметит ли ваш клиент задержку от холодного старта Lambda и упрётся ли в таймаут? Всплывает ли троттлинг DynamoDB как повторяемая ошибка с той частотой, с какой реально бьёт ваш продакшен-трафик? Зависает ли удаление CloudFormation на двадцать минут, если ресурсы создавались в допустимом, но неудачном порядке? Один практик спросил, можно ли направить на эмулятор весь проект CDK и протестировать cdk deploy от начала до конца. Мой ответ: можно и нужно, но только чтобы ловить ошибки синтеза и формы API. Динамика деплоя, поведение при откате, порядок замены ресурсов и обнаружение дрифта — именно те части, с которыми эмулятор справляется хуже всего, потому что это эмерджентные свойства реальной control plane.

  • Точность wire-протокола — формы запросов и ответов, коды ошибок, сериализация. Эмуляторы в этом хороши, а сгенерированный из Smithy должен быть лучшим в классе.
  • Точность состояния — CRUD-циклы, листинг, фильтрация, пагинация. В основном хорошо у всех эмуляторов, но по отдельным сервисам пробелы нужно проверять самим.
  • Поведенческая точность — тайминги консистентности, троттлинг, частичные сбои, странности жизненного цикла ресурсов. Этого нет ни у кого. Планируйте соответственно.

Миф 4: «Эмуляторы взаимозаменяемы — достаточно поменять эндпоинт»

Маркетинговый посыл любого эмулятора звучит как «задайте одну переменную окружения и поехали». Для быстрого смоук-теста это правда. Серверный режим слушает 127.0.0.1:9297 по HTTPS с самоподписанным сертификатом, и направить CLI на него выглядит так:

export AWS_ENDPOINT_URL=https://localhost:9297
export AWS_ACCESS_KEY_ID=emulator
export AWS_SECRET_ACCESS_KEY=emulator
export AWS_REGION=us-east-1
# self-signed cert: don't disable verification globally, scope it
aws s3 ls --no-verify-ssl

История «взаимозаменяемости» разваливается на масштабе набора тестов. Практические проблемы, с которыми люди сталкиваются в первую же неделю: нет быстрого сброса состояния. Если набору нужен чистый лист между тестами (а пользователи moto к этому привыкли: один декоратор, и мир свежий), единственный вариант сейчас — перезапуск процесса. Для десяти тестов это нормально, для десяти тысяч — мучительно. Нет и эмуляции нескольких аккаунтов или Organizations, что убивает любой тест, моделирующий реальную структуру аккаунтов. И если вас тянет встроенный Rust-режим, отдельный изолированный экземпляр в процессе на каждый тест без эндпоинтов и сертификатов, что действительно приятный дизайн, сначала прочитайте раздел о стоимости сборки. Воркспейс — это крейт на каждый сервис AWS, полная debug-сборка требует порядка 100 ГБ места под target/, а первый cargo test компилирует эмулятор вместе с вашим кодом. Их совет делить один CARGO_TARGET_DIR, кэшировать target/ в CI и фиксировать релизный коммит — это не декоративные рекомендации. Это разница между пятиминутной и пятидесятиминутной CI-задачей.

use aws_emulator_embedded::{AwsEmulatorEmbedded, EmbeddedOptions, Telemetry};
let emulator = AwsEmulatorEmbedded::new(
EmbeddedOptions::default().telemetry(Telemetry::Off),
);
let http_client = emulator.http_client();
// wire http_client into your SDK client config — no endpoint,
// no env vars, one isolated instance per test

Миф 5: «Официальный эмулятор AWS убивает LocalStack, moto и остальных»

Я слышал вариации этого в течение нескольких часов после анонса, и это непонимание того, что на самом деле продают действующие игроки. Ценность LocalStack никогда не сводилась к «мы переписали API S3». Это годы поведенческой настройки по сервисам, управление состоянием, интеграция с testcontainers, удобство в CI и сообщество, которое уже завело баг, на который вы вот-вот наткнётесь. Сброс состояния в moto через декораторы — это фича рабочего процесса, а не API, и на это у эмулятора AWS пока ответа нет. Фанаты Floci отметили, что он покрывает и GCP с Azure. Если ваша инфраструктура мультиоблачная, одно локальное окружение для всех провайдеров ценнее более точного эмулятора одного облака.

Есть и законный вопрос доверия по поводу долгосрочности. Первый комментарий в треде задал то, о чём думали все: это настоящий продукт, который AWS будет поддерживать, или эксперимент? В репозитории принимают отчёты об ошибках, но не pull request'ы. Это защитимое решение для кодовой базы, построенной по спецификации, но и означает, что сообщество не может латать пробелы самостоятельно. Если команду перебросят на другие задачи, вы останетесь с снимком под лицензией CC0. Моя позиция: оценивайте его как любую зависимость с одним мейнтейнером. Принять можно, ставить на него всё — безрассудно. Тот же скепсис относится и к восторженным разговорам вроде «агенты написали это на Rust, ров исчез». Ров никогда не был в поверхности API, он в операционном мастерстве, а повторить API всегда было самой дешёвой частью. Мы видели похожую динамику с распределённым SQLite и raft: скопировать интерфейс — недели работы, повторить семантику отказов — годы.

Что обязательно должно работать на реальной инфраструктуре AWS

Почти законченный висячий мост, последний пролёт которого испытывают подвешенными грузами над водой
Эмуляторы строят большую часть моста. Последний пролёт — безопасность и поведение при сбоях — нагружают по-настоящему.

Вот разделение, которое я использую в реальных проектах, и оно меня пока не подводило. Всё быстрое, детерминированное и ориентированное на формы запускается против эмулятора на каждом коммите: сериализация, обработка документированных кодов ошибок, логика повторов, конечные автоматы, которые зависят только от CRUD-циклов. Это 90% набора по количеству тестов и примерно 10% по риску.

Оставшиеся 10% гоняются ночью против реальной изолированной песочницы, и именно эта часть ловит то, из-за чего вас реально будят:

  • IAM и ресурсные политики. Проверяйте явные отказы, а не только разрешённые пути. Эмулятор структурно не умеет этого: он никогда не отклоняет запрос, подписанный собственным ключом.
  • Всё с задержкой распространения. Новые роли, изменения DNS, гранты KMS. Если код создаёт ресурс и сразу его использует, только реальный AWS скажет, нужен ли цикл повторов.
  • Поведение at-least-once и идемпотентность. Дубликаты доставки SQS, повторы Lambda по таймауту, частичные сбои батчей. Эмуляторы вежливы, продакшен — нет.
  • Жизненный цикл инфраструктуры. Полные циклы cdk deploy / terraform apply и destroy, особенно порядок удаления и пути отката.
  • Троттлинг и края квот. Если это важно при продакшен-нагрузке, то существует только при продакшен-поведении API.

У песочницы должны быть собственные ограничители: service control policies, которые ограничивают, что она может делать, алерты по бюджету и уборщик, который сносит оставшиеся ресурсы, потому что ночная задача обязательно что-нибудь оставит. Это реальные операционные издержки, и именно поэтому эмулятор так ценен: он держит 90% цикла обратной связи быстрым и бесплатным, и на оставшиеся 10% вы можете позволить себе честность.

Задача эмулятора — ускорить цикл обратной связи. А не дать уверенность. Уверенность по-прежнему стоит реальных вызовов API.

Официальный эмулятор AWS — действительно хороший инструмент: покрытие, сгенерированное по спецификации, встроенный режим с настоящей изоляцией и освежающе честная документация о том, что он не умеет. Берите его таким, какой он есть: самый быстрый способ оказаться почти правым. А затем решайте осознанно и письменно, какие тесты будут претендовать на другой вид правоты, тот, что дают только инфраструктура, которая реально может отклонить ваш запрос, затормозить клиента и доставить сообщение дважды.