Уроки из on-device графа знаний Apple
Граф знаний Apple на устройстве показывает, как выпускать приватный local-first ML. Пять ошибок, которые допускают практики, и решения, которые работают.

Скажите своему Mac «напиши брату», и он просто сделает это. Без спиннера, без видимого поиска, без сетевого запроса: он уже знает, кто из сотен людей в ваших контактах — ваш брат. Так работает потому, что каждый Mac начиная с macOS Ventura тихо запускает граф знаний на устройстве: пару демонов, которые читают Контакты, кластеры лиц из Фото, участников событий в Календаре, метаданные Почты и Сообщений, паттерны местоположения и данные Экранного времени, а затем объединяют всё это в запрашиваемое хранилище о том, кто вы, кого вы знаете и как эти люди связаны с вами и друг с другом.
Исследователи безопасности недавно приоткрыли завесу над тем, насколько это глубоко. Два демона — knowledgeconstructiond и intelligenceplatformd — ведут каталог из 51 базы SQLite в ~/Library/IntelligencePlatform. Центральный элемент, graph.db, — это хранилище троек, записанное на словаре из 181 класса сущностей и 278 предикатов, включая выводимые родственные связи, которые никто никогда не вписывал в карточку контакта. Самая громкая дискуссия вокруг этого открытия касается согласия, и дискуссия справедливая. Но я много лет профессионально внедрял ML-фичи, и, читая разбор, я отреагировал иначе: это один из самых поучительных примеров local-first ML-инженерии, когда-либо поставленных в продакшн в таком масштабе. Поэтому вместо пересмотра этики я хочу разобрать пять ошибок, которые допускают практики при создании подобных систем, и то, что инженеры Apple, как можно видеть, сделали правильно, а что нет, чтобы вам не пришлось учиться на собственных шишках.
Ошибка 1: тянуться к одной большой модели вместо маленьких классификаторов
Первый инстинкт большинства команд, услышав «ОС понимает вашу семью», — предположить, что где-то в цепочке есть большая языковая модель. Её там нет, и в этом и урок. Вывод о родстве, который попал в заголовки — система решает, что этот контакт — ваша мама, а тот — ваш начальник, — делается узкими специализированными классификаторами, которые перерабатывают структурированные сигналы: членство в Family Sharing и возраст, поля связанных имён в Контактах, паттерны совместного присутствия на событиях в Календаре, частота и направленность коммуникаций, совместная встречаемость лиц в Фото. Каждый классификатор хорошо отвечает на один маленький вопрос, а граф сшивает ответы вместе.
Это важно по очень приземлённой причине: бюджет. Демон, который работает постоянно, от батареи, наряду со всем остальным, что делает ОС, не может позволить себе прогон трансформера на каждое событие. Маленькие классификаторы выполняются за микросекунды на Neural Engine, достаточно детерминированы, чтобы их можно было покрыть юнит-тестами, и если один из них ошибается, его можно переобучить, не трогая остальные. Я видел, как команды сжигали кварталы, пытаясь заставить общую модель делать то, что градиентный бустинг над тридцатью грамотно подобранными признаками делает лучше. Похожий феномен мы разбирали в компьютерном зрении: специализированные CNN регулярно обыгрывают передовые LLM в классификации изображений при доле стоимости. Паттерн работает везде. Персонализации почти никогда не нужна общая модель — ей нужна хорошая схема и куча скучных, отличных классификаторов.
Другое недооценённое преимущество — мягкая деградация. Если пайплайн распознавания лиц никогда не запускается, потому что пользователь не пользуется Фото, классификатор родства всё равно работает с Family Sharing и Контактами. Монолитные модели деградируют катастрофически, когда распределение входных данных смещается; ансамбль классификаторов под конкретные сигналы просто теряет один голос. Когда будете проектировать следующую on-device фичу, сначала перечислите независимые сигналы, а потом спросите себя, каким самым маленьким может быть модель под каждый из них. LLM приберегите для последней мили — естественно-языкового взаимодействия, где ей и место.

Ошибка 2: хранить факты без происхождения и возможности отзыва
Одна деталь разбора, которую большинство обзоров пропустило, и именно её я нахожу самой элегантной. Ребро в этом графе — «этот человек работает в этой организации» — это не одна строка. Это две строки с общим relationshipId: одна называет тип связи, другая указывает на связанную сущность. Есть 46 классов типов связей, которые существуют исключительно для этой косвенности. Это называется реификацией, и делают её для того, чтобы само ребро могло нести свойства — оценку уверенности, источник, временную метку — и чтобы его можно было отозвать позже, не делая вид, что его никогда не было.
Это самая частая ошибка, которую я вижу в самодельных системах персонализации: факты хранятся как плоские колонки. user.employer = "Acme". Работает, пока кто-то не сменит работу, не развёдется или вывод просто оказался неверным, и тогда вы либо перезаписываете историю, которая нужна для отладки, либо оставляете устаревшие факты, потому что их удаление ломает что-то дальше по цепочке. Персональные факты устаревают быстро: люди переезжают, отношения заканчиваются, работодатели меняются. Хранилище, которое не умеет выразить «мы считали это с уверенностью 0,7, источник — участники событий в Календаре, отозвано 3 марта», будет тихо обрастать призраками. Схема, которая с этим справляется, выглядит примерно так:
-- A reified edge: two rows share one relationship id,
-- so the edge itself can carry confidence and provenance.
CREATE TABLE triples (
subject TEXT NOT NULL, -- an entity id
predicate TEXT NOT NULL, -- e.g. 'relationshipType', 'relatedEntity'
object TEXT NOT NULL, -- a value or another entity id
rel_id TEXT, -- groups the rows forming one edge
confidence REAL, -- how sure are we?
source TEXT, -- which signal produced this fact
created INTEGER NOT NULL,
retracted INTEGER -- soft delete: facts decay, history stays
);
-- One edge, two rows:
-- ('person:8f2a', 'relationshipType', 'employerOf', 'rel:91', 0.82, 'calendar', ...)
-- ('person:8f2a', 'relatedEntity', 'org:acme', 'rel:91', 0.82, 'calendar', ...)
Обратите внимание, что реализация тоже многое говорит: всё это живёт в обычном SQLite. Никакой экзотической графовой базы, никакого самописного движка хранения — просто таблицы, которые можно запрашивать самой проверенной встраиваемой базой данных на Земле. Если вас тянет взять специализированное графовое хранилище для количества рёбер в пределах нескольких миллионов на одном устройстве, не делайте этого. Мы писали о том, где встраиваемые графовые базы данных окупаются за пределами SQLite, и честный ответ: большинство приложений до этого порога никогда не доходят. Тройки в SQLite с дисциплинированной индексацией по субъекту и предикату позволят уехать удивительно далеко. Потратьте бюджет сложности на семантику происхождения и отзыва — именно там эти системы на самом деле ломаются.
Ошибка 3: считать разрешение сущностей решённой мелочью
Каждый проектный документ для подобной системы, который я читал, содержит пункт «затем объединяем сущности», как будто это работа на полдня. С большим отрывом это самая сложная часть всего пайплайна. В ваших Контактах написано «James Whitfield». В Фото есть кластер лица без имени. В Календаре участник «j.whitfield@company.com». В Сообщениях handle «+1-415-555-0142». Ценность графа целиком зависит от того, станут ли эти четыре наблюдения одним человеком, и правильно ли они не сольются с другим Джеймсом, тем из вашего клуба по бегу.
Прагматичная архитектура — инкрементальная кластеризация с асимметричной ценой ошибок. Ложное слияние, когда вы решаете, что два разных человека — один, отравляет все последующие выводы и мучительно распутывается, потому что факты обоих реальных людей теперь перепутаны в одном узле. Ложное разделение просто означает, что граф знает немного меньше, пока не появится больше доказательств. Поэтому порог слияния ставят высоким и позволяют общим жёстким идентификаторам (номеру телефона, встречающемуся в двух источниках) делать большую часть работы, а мягким сигналам вроде сходства имён и совместной встречаемости — только разрешать ничьи. Основной цикл намеренно скучен:
# Incremental entity resolution: precision over recall.
# A false merge corrupts everything downstream; a false split
# just means you learn slower. So merge only on strong evidence.
HARD_SIGNALS = {"phone", "email", "contact_id"} # near-certain identity
MERGE_THRESHOLD = 0.95 # soft-signal bar, set high
def ingest(observation, graph):
candidate = find_candidate(observation, graph)
if candidate is None:
return graph.new_entity(observation)
if shares_hard_signal(observation, candidate, HARD_SIGNALS):
return graph.merge(observation, candidate, confidence=1.0)
score = soft_match_score(observation, candidate) # name sim, co-occurrence
if score >= MERGE_THRESHOLD:
return graph.merge(observation, candidate, confidence=score)
return graph.new_entity(observation) # when in doubt, split
Два правила, которые сэкономят вам нервы позже. Во-первых, каждое решение о слиянии — тоже факт с происхождением: записывайте, какие сигналы его обосновали, потому что когда пользователь говорит «это не моя сестра, это мой коллега», нужно разделить узлы точечно, а не удалять узел. Во-вторых, никогда не позволяйте выходу одного классификатора самостоятельно сливать сущности; требуйте подтверждения от независимого сигнала. Одна из тихо впечатляющих черт дизайна Apple как раз в этом: рёбра родства, работы и коммуникаций висят на разрешённой сущности, так что ошибка разрешения локализуется, а не умножается, при условии что разрешение изначально было верным. Заложите на это половину сроков. Они вам понадобятся.
Ошибка 4: считать, что раз «на устройстве», то работа с приватностью сделана
Теперь часть, где я перестаю хвалить инженерию. Стандартный аргумент в защиту этой архитектуры — и именно он доминировал в публичной реакции — звучит так: «данные никогда не покидают устройство, значит всё в порядке». Это полуправда. Local-first ML действительно решает проблему резидентности данных: нет серверной копии, которую можно вскрыть массово, нет адтех-пайплайна, который выкачивает ваш социальный граф, нет цели для повестки, в которой сразу сто миллионов пользователей. Это реальный, существенный выигрыш по сравнению с тем, как персонализацию делают все остальные платформенные компании, и я готов его защищать.
Но агрегация — это собственный множитель риска, и локальное хранение с ним ничего не делает. Любой отдельный источник — ваши контакты, календарь, метаданные сообщений — чувствителен в ограниченной степени. Объединённый граф, который знает вашего работодателя, семейное древо с возрастами, частоту общения с каждым человеком, паттерны перемещений и ваши ежедневные занятия, принципиально ценнее любого из своих входов. А это хранилище лежит в открытом виде в SQLite, защищено только разрешением «Полный доступ к диску», не задокументировано, кроме двухпредложенной man-страницы, без переключателя для каждой фичи и без очевидного способа отказаться. Инструменты форензики уже читают копию для iOS. Исследователи, стоящие за разбором, провели очевидный мысленный эксперимент: отдайте это хранилище вредоносному ПО или абьюзивному партнёру с паролем от устройства, и у вас готовое досье: с кем вы общаетесь, как часто, где бываете, кто ваши дети.
Local-first решает проблему резидентности данных. На проблему агрегации он не влияет: объединённое досье на диске остаётся досье.

Исправления не экзотические, и именно поэтому их отсутствие так обидно. Шифруйте хранилище в состоянии покоя ключом, привязанным к присутствию пользователя. Выпустите видимый переключатель: не «Siri Intelligence» как монолит, а детальное управление тем, какие сигналы питают граф. Документируйте схему. И относитесь к выведенным фактам как к более чувствительным, а не менее: никто не соглашался на «эта система вычислила возраст вашей дочери», даже если формально разрешил доступ к входам, которые это сделали возможным. Если вы делаете local-first ML, проговорите себе на дизайн-ревью такую фразу: то, что мы не можем видеть данные, не значит, что их никто никогда не увидит. Планируйте на день, когда устройство будет скомпрометировано, изъято или продано, потому что что-то из этого случится с какой-то долей вашего парка.
Ошибка 5: выпускать инференс без пути для проверки
Подумайте, откуда мы вообще знаем, что всё это существует. Не из документации: официальное описание здесь сводится к той скупой man-странице. Мы знаем, потому что независимые исследователи реверс-инжинирили базы и сделали открытый дашборд, где пользователи могут читать собственный граф, а сопровождающий одного из инструментов форензики научил свою утилиту разбирать версию для iOS. Пользователи обнаружили выведенные подписи родства о собственных семьях, запустив сторонний код на собственных машинах. Это провал, и команды инженеров заходят в него с открытыми глазами: система формирует выводы о человеке, а у человека нет первосторонних средств их увидеть, поправить или удалить.
Это не просто галочка этики, это ещё и операционный вопрос. Если вы не видите граф, вы не можете его отлаживать. Когда пользователь пишет «ваш ассистент считает, что мой бывший — моя жена», единственный способ ответить, почему, — пройти по ребру назад через происхождение к сигналу, который его породил. Команды, которые рано строят путь чтения (внутренний просмотрщик, кнопку экспорта, функцию «объясни этот вывод» для каждого выведенного факта), выпускают лучшие модели, потому что неверные выводы становятся видимыми багрепортами, а не тихим раздражением. Команды, которые этого не делают, получают пользователей, снимающих экраны реверс-инжинирнутых дашбордов и выкладывающих их в соцсети, а это выглядит гораздо хуже, чем любая страница настроек.
Моё эмпирическое правило, выстраданное: для любой фичи, которая делает выводы о пользователе, интерфейс инспекции — не «приятное дополнение», которое появится в следующем релизе. Он выходит в том же релизе, или фичи не будет. Цена — панель настроек и JSON-экспорт. Выигрыш — доверие, которое не нужно вымаливать пресс-релизом. И, если говорить практически, регуляторы уже ходят вокруг именно этого пробела: системы, которые выводят чувствительные атрибуты людей, обязаны давать этим людям видимость, и «это on-device» не будет признанной защитой от невидимости.
Что позаимствовать для следующей local-first ML-фичи
Если снять весь контроверзный шум, это архитектура, которую я бы передал любой команде, делающей персонализацию без возможности звонить домой, и, честно говоря, большая часть персонализации домой звонить и не должна. Схема в сжатом виде:
- Много маленьких классификаторов вместо одной большой модели. По одному на сигнал, каждый независимо тестируется, переобучается и достаточно дёшев, чтобы работать от батареи бесконечно.
- Хранилище троек с реифицированными рёбрами. Каждый факт несёт уверенность, источник и временные метки; любой факт можно отозвать, не стирая историю. SQLite достаточно.
- Разрешение сущностей, настроенное на точность. Ложные слияния — катастрофическая ошибка; ложные разделения лишь замедляют работу. Подтвердите, прежде чем объединять.
- Инженерия приватности, которая выходит за рамки резидентности. Шифрование в покое, детальное согласие, ограничения сроков хранения, потому что агрегация создаёт цель, которой не был ни один отдельный вход.
- Путь инспекции с первого дня. Если система делает выводы о пользователе, пользователь должен иметь возможность их увидеть, поправить и удалить.
Если вам нужна конкретная отправная точка для серверной части, мы писали о том, как создавать LLM-фичи, которые полностью работают офлайн, и та же дисциплина применима и здесь: считайте, что сети нет, бюджет питания мал, и пользователь вам ничего не должен. Неудобное заключение: инженеры Apple создали по-настоящему достойную вещь и потом подорвали её молчанием. Классификаторы, схема, сдержанность в выборе локального инференса вместо отправки всего в дата-центр — вот что стоит перенять. Непродокументированная, всегда включённая, отключаемая только командой в терминале модель поведения — вот чего стоит избегать. Стройте граф. Скажите пользователю, что он есть. Обе половины — это инженерия, и вторая не опциональна.


