Подробные статьи о технологиях, определяющих будущее.

Matrix в масштабе госструктуры: 5 мифов под проверкой

Еврокомиссия внедрила Matrix для 40 000 сотрудников. Разбираем пять мифов о федеративных мессенджерах, E2EE и суверенном чате на уровне государства.

Изометрическая иллюстрация отдельных укреплённых зданий, соединённых сетью линий связи
Федерация означает, что каждая организация держит собственную крепость, но самое сложное — это связи между ними.

Когда государственная организация с 40 000 сотрудников решает, что её внутренний чат не может жить на серверах американского вендора, варианты быстро сужаются. Ответом Еврокомиссии стал Matrix — федеративный протокол со сквозным шифрованием, — и это внедрение стало одним из самых масштабных реальных тестов Matrix в масштабе правительства, которые мы видели. Оно сработало. Почти. И это «почти» и есть самое интересное в инженерном плане.

Я много лет занимаюсь инфраструктурой мессенджеров и совместной работы для организаций, которым действительно важно, где физически лежат их данные, поэтому читал подробности этого внедрения со скепсисом. Многое из того, во что люди верят насчёт федеративных чатов — и восторженные оценки, и апокалиптические прогнозы, — не выдерживает столкновения с развёртыванием такого масштаба. Вот пять мифов, проверенных на том, что на самом деле показывают внедрение в Еврокомиссии и экосистема Matrix в целом.

Миф 1: сквозное шифрование — и вопрос безопасности закрыт

Это самое опасное заблуждение во всей этой области. Критики Matrix в этом пункте не неправы, но часто недостаточно точны. Включение E2EE — это начало истории безопасности, а не её конец. Matrix шифрует содержимое комнат с помощью Megolm, схемы группового шифрования с храповым механизмом, и в криптографическом плане здесь всё в порядке. Сложная часть — всё вокруг: верификация устройств, резервное копирование ключей, кросс-подпись и то, что происходит, когда в игре участвуют 40 000 человек.

Вот операционная реальность. В зашифрованной комнате каждое устройство каждого участника — потенциальный получатель групповых ключей. У пользователя может быть телефон, ноутбук и веб-сессия — это три устройства. Умножьте на тысячи пользователей в большой комнате, и распространение ключей превращается в по-настоящему сложную системную задачу. Именно поэтому большие зашифрованные комнаты исторически были болезненными в Matrix, и именно поэтому сообщество до сих пор обменивается историями про ошибки «unable to decrypt message». Криптография не подвела. Подвёл UX управления ключами.

Верификация устройств — классическая жертва. Если пользователи не верифицируют устройства друг друга, вы доверяете справочнику ключей на сервере, и тогда ваше «сквозное» шифрование на самом деле означает «сквозное, с оговоркой про домашний сервер». Большинство реальных пользователей никого не верифицирует. Они просто жмут на иконки щита, потому что окно появилось в неподходящий момент. В организации, связанной с национальной безопасностью, это не придирка к UX, а разница между моделью угроз, которую вы записали, и той, которую вы на самом деле переживаете. Давно обещанный переход на MLS (Messaging Layer Security), групповой стандарт обмена сообщениями от IETF, который призван аккуратнее справляться именно с такими большими группами, движется медленно — настолько медленно, что существует отдельный сайт, который отслеживает, готов ли он. Пока не готов.

Вердикт: E2EE в Matrix настоящее, но при 40 000 пользователей слабое место — это не шифр, а усталость от верификации, процедуры восстановления ключей и разрыв между тем, что обещает спецификация, и тем, что реально поставляют реализации. Если ваш анализ безопасности заканчивается на фразе «сообщения зашифрованы», то анализа безопасности вы не провели.

Миф 2: федерация — это просто более сложная централизация

Взгляд в духе Slack звучит так: федерация повторяет ошибку электронной почты — каждый сервер становится островом, функции несовместимы, спам и злоупотребления без центрального фильтра. Зачем вообще возиться, если можно поставить один большой сервер и не думать об этом? Внедрение в Еврокомиссии показывает, почему такая постановка вопроса полностью мимо цели. Для них федерация была не архитектурной обузой, которую приходится терпеть. Она была всем требованием целиком.

Еврокомиссия существует не в вакууме. Ей нужно общаться с другими институтами ЕС, правительствами государств-членов и, в перспективе, с такими организациями, как UNICC, — и у всех них свои требования к суверенитету, и никто не согласится на «просто заведите учётку на нашем сервере». Это проблема многостороннего взаимодействия: как правительствам сотрудничать в цифровой среде, не загоняя каждую организацию на одну и ту же платформу? Централизованные платформы отвечают: «никак, выберите победителя». Федерация отвечает: «каждый держит свою инфраструктуру, а протокол отвечает за границы». Для геополитического образования, построенного из суверенных членов, федеративный ответ не просто приятнее — это единственный, который можно политически внедрить. Государственный сектор Германии, голландские правительственные проекты и системы здравоохранения ставят похожие эксперименты по той же причине.

При этом издержки реальны, и закладывать их в бюджет нужно честно. Федерация означает, что состояние комнаты реплицируется между участвующими серверами, а разрешение этого состояния, особенно в комнатах с долгой историей подключений и отключений серверов, вычислительно дорого. Разрешение состояния и авторизация событий — это те части Matrix, из-за которых у операторов серверов потеют ладони. Поиск и обнаружение между серверами неудобны. Инструменты борьбы со злоупотреблениями работают в рамках отдельного сервера, поэтому проблемный пользователь на федеративном сервере — не ваша проблема, пока он не станет очень вашей. По сообщениям, внедрению в Еврокомиссии пришлось исправлять поведение федеративного поиска, чтобы им можно было пользоваться, — и эта деталь показывает, что счастливого пути на уровне протокола для продакшена недостаточно.

Так что нет, федерация — это не более сложная централизация. Это другой продукт для другого покупателя. Если вы одна компания в одной юрисдикции, сложность ничего вам не даёт. Если вы ЕС, она даёт единственную модель развёртывания, которую подпишут ваши юристы и государства-члены.

Миф 3: если работает на 40 000 пользователей, будет работать и у вас

Этот миф работает в обе стороны, и обе стороны неправы. Скептики считают, что государственное внедрение ничего не доказывает, потому что «там просто выбросили деньги». Энтузиасты считают, что 40 000 государственных пользователей доказывают: Matrix масштабируется, точка. Правда полезнее: масштабирование в Matrix — это не одна цифра, и внедрение в Еврокомиссии как раз показывает, какие оси ломаются первыми.

Моя любимая деталь всего внедрения: они отключили живой статус присутствия. По мере роста числа пользователей нагрузка от индикатора «онлайн/отошёл» начала бить по производительности, и команда его выключила. Задумайтесь. Присутствие — функция, которую каждый пользователь чата считает бесплатной, — оказалась одной из первых жертв масштаба. В федеративных системах присутствие обходится удивительно дорого, потому что по своей природе это fan-out: изменение вашего статуса интересно каждому серверу, на котором есть кто-то из ваших общих комнат. В организации на 40 000 человек с большим количеством общих комнат это много сетевого трафика ради зелёной точки. Отключить его было правильным решением, и это урок, который я бы хотел, чтобы больше команд усвоили раньше: у функций с fan-out по принципу O(все) должен быть выключатель на случай аварии.

Панель управления с аналоговыми датчиками и одним большим рычагом, который переводят в положение «выкл»
Присутствие было одной из первых функций, которые отключили при росте нагрузки: функции с fan-out нуждаются в аварийных выключателях.

Вторая ось масштабирования — синхронизация, и здесь истории из небольших развёртываний так же важны, как и история из большого. Многие самохостеры описывают один и тот же сценарий: первые недели всё отлично, а потом комнаты с историей подключаются часами или днями, а потребление ресурсов в разы превышает то, что понадобилось бы централизованной системе. Я видел этот паттерн и в других системах с eventual consistency — это тот же класс сюрпризов, с которым сталкиваются люди в распределённых базах данных, где метаданные репликации растут быстрее самих данных. В случае Matrix подключение к большой федеративной комнате означает подгрузку и проверку истории событий, и стоимость ложится на подключающийся сервер в самый неудачный момент: когда новый пользователь формирует первое впечатление.

Synapse, эталонный домашний сервер, стал заметно лучше: появились рабочие процессы, улучшенное кэширование, шардированные писатели, да и более легковесные реализации существуют. Но «40 000 пользователей работают» потребовали коммерческого контракта на поддержку, выделенных операционных усилий и намеренно отключённых функций. Это не упрёк внедрению, а честный счёт. Если ваш план — «apt install и уйти», он закончится постом на форуме в жанре «упал через полгода».

Миф 4: самохостинг означает суверенитет

Цифровой суверенитет — причина, по которой это внедрение вообще существует, поэтому важно точно понимать, что дает это слово. Запуск собственного домашнего сервера на своём железе в своей юрисдикции означает, что иностранного облачного провайдера нельзя заставить передать метаданные ваших сообщений, он не может прекратить поддержку продукта у вас под ногами и не может в одностороннем порядке поменять условия. Это реально. Но суверенитет — свойство всей цепочки поставок, а не почтового индекса вашего дата-центра.

Задайте неудобные вопросы. Кто пишет серверное ПО, которое вы запускаете, и может ли он от него отказаться? Кто делает клиенты, которыми пользуются ваши сотрудники, и что будет с вашим развёртыванием, если дорожная карта вендора изменится? Кто отправляет push-уведомления? На мобильных устройствах ответ почти всегда — push-инфраструктура Apple и Google, а это канал метаданных через две американские компании, где бы ни находился ваш домашний сервер. Внедрение в Еврокомиссии опирается на серверный набор от Element, и это разумное закупочное решение. Но «разумная закупка» и «суверенный» — разные утверждения, и их смешение — верный путь к неприятным сюрпризам.

Есть и разрыв операционного суверенитета: хватает ли у вас внутренних компетенций, чтобы развёртывать, патчить и реагировать на инциденты в три часа ночи, или вы просто перенесли зависимость из SaaS-контракта в контракт на поддержку? Ни то ни другое не ошибка! Контракты на поддержку — так взрослые люди эксплуатируют критичную инфраструктуру. Но зависимость, которую вы видите и можете обсуждать, — это и есть суверенитет на практике, а не отсутствие зависимостей. Открытый протокол здесь сильно помогает: если отношения с вендором испортятся, серверная реализация, спецификация и ваши данные остаются переносимыми, чего никогда не будет с экспортом из Slack. Этот вариант выхода — конкретная, проверяемая часть суверенитета. Берегите его.

Миф 5: открытый протокол устраняет вендорную привязку

Последний миф самый обольстительный, потому что он наполовину правдив. Matrix — открытый стандарт с открытым процессом разработки спецификации, несколькими серверными реализациями и некоммерческим фондом, который его развивает. Теоретически вы никогда не привязаны к вендору. На практике посмотрите на ландшафт клиентов. Element в своих разных воплощениях — фактически единственный полнофункциональный, отполированный клиент, который подходит не разработчикам. Экосистема альтернативных клиентов реальна, но тяготеет к терминальным интерфейсам и проектам энтузиастов. Для государственного персонала в 40 000 человек реалистичный шорт-лист клиентов состоит из одного пункта.

Это важно, потому что пользователи взаимодействуют с клиентом, а не с протоколом. Когда доминирующий клиент выпускает редизайн, который прячет информацию, на которую опирались продвинутые пользователи, — а сообщество Matrix громко недовольно именно такими изменениями, — фраза «это открытый протокол» звучит как слабое утешение. Ваши пользователи не могут заменить клиент на сопоставимый, потому что нужного нет с паритетом функций. Это более тонкая привязка, чем у проприетарного SaaS: уйти можно всегда, но идти некуда. Открытые протоколы защищают от захвата данных в заложники, но не гарантируют конкурентного рынка.

Обнадёживающий контраргумент: такие внедрения, как у Еврокомиссии, меняют экономику. Сорок тысяч платных мест и государственный заказчик с мнением об удобстве — именно то давление, которое финансирует разработку: лучший UX верификации, более быстрая синхронизация, прогресс MLS, более жизнеспособные клиенты. Несколько комментаторов, следивших за внедрением, высказали ту же мысль: проблемы экосистемы реальны, но клиент такого размера приносит деньги и рычаги влияния, а не просто пользователей. Будет ли это так, зависит от того, пойдут ли контрактные деньги в общий протокол и референсные реализации или в проприетарные отличия. Следите за этим: от этого зависит, будет ли это поднимающейся волной или более широким рвом.

Одна открытая дверь среди длинной стены закрытых дверей, из которой льётся свет
Открытый протокол означает, что уйти можно всегда, но это не гарантирует, что есть куда уйти.

Что на самом деле доказывает это внедрение

Если убрать хайп и враждебность, внедрение в Еврокомиссии доказывает нечто более узкое и ценное, чем утверждают обе стороны: федеративный зашифрованный мессенджер можно развернуть на уровне институтов, если относиться к нему как к критической инфраструктуре — финансировать, эксплуатировать и заранее готовить функции, от которых готовы отказаться под нагрузкой. Это не доказывает, что Matrix прост, что его UX шифрования готов к враждебным моделям угроз или что самохостовая установка на пять человек даст тот же опыт, что профессионально управляемая система на 40 000 мест. Разрыв между этими двумя опытами — основное, о чём спорят в сети, и оба опыта реальны.

Если вы оцениваете этот путь для своей организации, мой совет будет неэффектным. Пилотируйте на комнатах и группах пользователей, которые давят на известные слабые места: большие зашифрованные комнаты, мобильные пользователи с push-уведомлениями, новые участники, синхронизирующие историю. Заранее решите, какие функции вы пожертвуете первыми, когда придёт нагрузка: присутствие — классический кандидат. Относитесь к выбору клиента как к стратегическому риску, а не к эстетическому предпочтению. И запишите, что именно вы покупаете — суверенитет, федерацию или шифрование, — потому что это три разных продукта под одним плащом. Еврокомиссия купила первые два и всё ещё работает над третьим. Скорее всего, и вы будете.