Apple 온디바이스 지식 그래프가 주는 교훈
Apple의 온디바이스 지식 그래프로 보는 프라이빗 로컬 우선 ML 설계법과 실무자가 흔히 저지르는 실수 5가지와 해법.

맥에게 “내 동생에게 문자 보내줘”라고 말하면 그냥 보냅니다. 스피너도, 눈에 보이는 검색도, 네트워크 왕복도 없습니다. 연락처에 있는 수백 명 중 누가 동생인지 이미 알고 있으니까요. 이게 가능한 이유는 macOS Ventura 이후의 모든 Mac이 조용히 온디바이스 지식 그래프를 돌리고 있기 때문입니다. 연락처, Photos의 얼굴 클러스터, 캘린더 참석자, 메일과 메시지 메타데이터, 위치 패턴, 스크린 타임 데이터를 읽어 하나로 융합하고, “당신이 누구인지, 누구를 아는지, 그 사람들이 당신과 서로 어떤 관계인지”를 질의할 수 있는 저장소를 만드는 한 쌍의 데몬이 있는 겁니다.
보안 연구자들이 최근 이 구조가 얼마나 깊은지 드러냈습니다. 두 데몬인 knowledgeconstructiond와 intelligenceplatformd는 ~/Library/IntelligencePlatform 아래에 SQLite 데이터베이스 51개를 관리합니다. 핵심은 graph.db인데, 181개 엔티티 클래스와 278개 술어로 이루어진 트리플 스토어이며, 누군가 연락처 카드에 직접 입력한 적 없는 가족 관계 추론까지 담겨 있습니다. 이 발견을 둘러싼 가장 큰 논쟁은 동의 문제이고, 충분히 정당한 논쟁입니다. 하지만 저는 수년간 ML 기능을 만들어 왔기 때문에, 분석글을 읽고 든 첫 반응은 달랐습니다. 대규모로 출하된 로컬 우선(local-first) ML 엔지니어링 중에서 가장 교훈이 많은 사례 중 하나라는 생각이었어요. 그래서 윤리 논쟁을 다시 하는 대신, 이런 시스템을 만들 때 실무자들이 흔히 저지르는 다섯 가지 실수를 짚고, Apple 엔지니어들이 무엇을 제대로 했고 무엇을 잘못했는지 살펴보려고 합니다. 여러분이 같은 일을 힘들게 배우지 않도록요.
실수 1: 작은 분류기 대신 거대한 모델 하나를 쓰기
많은 팀이 “OS가 가족을 이해한다”는 말을 들으면 루프 안에 거대한 대규모 언어 모델이 있다고 가정하기 쉽습니다. 실제로는 없고, 그게 바로 교훈입니다. 화제가 된 가족 관계 추론, 즉 이 연락처는 엄마이고 저 사람은 상사라고 판단하는 과정은 좁고 특화된 분류기들이 구조화된 신호를 처리해서 이루어집니다. 가족 공유 구성원 여부와 나이, 연락처의 관련 이름 필드, 캘린더 동석 패턴, 연락 빈도와 방향성, Photos에서 함께 찍힌 얼굴 등이죠. 각 분류기는 작은 질문 하나에 잘 답하고, 그래프가 그 답들을 이어 붙입니다.
이건 아주 현실적인 이유 때문에 중요합니다. 바로 예산입니다. 배터리로 돌면서 OS의 다른 모든 작업과 함께 계속 실행되는 데몬이 이벤트 하나마다 트랜스포머 순전파를 돌릴 여유는 없습니다. 작은 분류기는 Neural Engine에서 마이크로초 단위로 돌고, 단위 테스트가 가능할 만큼 결정적이며, 하나가 잘못 판단해도 그것만 재학습하면 나머지는 건드릴 필요가 없습니다. 범용 모델에 공수를 쏟아부어 결국 잘 고른 피처 30개 위의 그래디언트 부스팅 트리보다 못한 결과를 내는 팀을 여러 번 봤습니다. 같은 현상을 비전 쪽에서도 다룬 적이 있습니다. 특화된 CNN이 이미지 분류에서 프런티어 LLM을 일상적으로 이기면서도 비용은 일부에 불과합니다. 이 패턴은 어디서나 통합니다. 개인화 기능은 거의 항상 범용 모델을 필요로 하지 않습니다. 좋은 스키마와 지루하지만 뛰어난 분류기 더미가 필요할 뿐입니다.
과소평가되는 또 다른 장점은 우아한 성능 저하입니다. 사용자가 Photos를 쓰지 않아서 얼굴 인식 파이프라인이 전혀 돌지 않더라도, 가족 공유와 연락처만으로 관계 분류기는 여전히 작동합니다. 모놀리식 모델은 입력 분포가 바뀌면 치명적으로 무너지지만, 신호별 분류기 앙상블은 표 하나를 잃을 뿐입니다. 다음 온디바이스 기능을 설계할 때는 독립적인 신호부터 열거하고, 신호마다 가장 작은 모델이 무엇인지 물어보세요. LLM은 자연어 상호작용의 마지막 구간을 위해 아껴두세요. 그곳이 바로 LLM이 있어야 할 자리입니다.

실수 2: 출처(provenance)와 철회(retraction) 없이 사실 저장하기
분석글에서 대부분의 기사가 놓친 디테일이 하나 있는데, 제가 가장 우아하다고 느끼는 부분입니다. 이 그래프의 간선, 즉 “이 사람은 이 조직에서 일한다”는 한 행이 아닙니다. relationshipId를 공유하는 두 행입니다. 한 행은 관계 유형을 명명하고, 다른 행은 관련 엔티티를 가리킵니다. 이 간접 참조만을 위해 존재하는 관계 유형 클래스가 46개나 있습니다. 이것을 구체화(reification)라고 부르며, 이렇게 하는 이유는 간선 자체가 신뢰도 점수, 출처, 타임스탬프 같은 속성을 가질 수 있게 하고, 나중에 존재하지 않았던 척하지 않고도 철회할 수 있게 하기 위해서입니다.
자체 개인화 시스템에서 제가 가장 자주 보는 실수가 바로 이것입니다. 사실을 평평한 컬럼으로 저장하는 것. user.employer = "Acme". 이직하거나, 이혼하거나, 추론이 그냥 틀렸을 때까지는 잘 돌아갑니다. 그러다 보면 디버깅에 필요한 이력을 덮어쓰거나, 하위 시스템이 깨질까 봐 삭제하지 못해 낡은 사실을 그대로 두게 됩니다. 개인 정보는 빠르게 낡습니다. 사람은 이사하고, 관계는 끝나고, 직장은 바뀝니다. “우리는 이것을 신뢰도 0.7로 믿었고, 캘린더 참석자에서 출처를 얻었으며, 3월 3일에 철회했다”라고 표현할 수 없는 저장소는 조용히 유령으로 가득 찹니다. 이를 처리하는 스키마는 대략 이런 모습입니다:
-- A reified edge: two rows share one relationship id,
-- so the edge itself can carry confidence and provenance.
CREATE TABLE triples (
subject TEXT NOT NULL, -- an entity id
predicate TEXT NOT NULL, -- e.g. 'relationshipType', 'relatedEntity'
object TEXT NOT NULL, -- a value or another entity id
rel_id TEXT, -- groups the rows forming one edge
confidence REAL, -- how sure are we?
source TEXT, -- which signal produced this fact
created INTEGER NOT NULL,
retracted INTEGER -- soft delete: facts decay, history stays
);
-- One edge, two rows:
-- ('person:8f2a', 'relationshipType', 'employerOf', 'rel:91', 0.82, 'calendar', ...)
-- ('person:8f2a', 'relatedEntity', 'org:acme', 'rel:91', 0.82, 'calendar', ...)
구현 선택 자체도 많은 것을 말해줍니다. 이 모든 것은 평범한 SQLite 위에 있습니다. 특이한 그래프 데이터베이스도, 커스텀 스토리지 엔진도 없고, 가장 검증된 임베디드 데이터베이스의 테이블일 뿐입니다. 단일 기기에서 간선 수가 수백만 개 정도인데 전용 그래프 저장소를 쓰고 싶어진다면, 참으세요. 임베드 가능한 그래프 데이터베이스가 SQLite를 넘어서 빛을 발하는 지점에 대해서도 글을 쓴 적이 있는데, 솔직히 대부분의 애플리케이션은 그 지점에 도달하지 않습니다. 주어와 술어에 대해 체계적으로 인덱싱한 SQLite 트리플 스토어만으로도 놀라울 만큼 멀리 갈 수 있습니다. 복잡도 예산은 출처와 철회 의미론에 쓰세요. 이런 시스템이 실제로 깨지는 곳이 바로 거기입니다.
실수 3: 엔티티 해석을 해결된 세부 사항으로 취급하기
이런 시스템의 설계 문서를 읽을 때마다 “그다음에 엔티티를 통합한다”라는 글머리 기호가 있었는데, 마치 오후 하루면 끝나는 일인 것처럼 적혀 있습니다. 실제로는 전체 파이프라인에서 압도적으로 가장 어려운 부분입니다. 연락처에는 “James Whitfield”라고 적혀 있습니다. Photos에는 이름 없는 얼굴 클러스터가 있습니다. 캘린더에는 참석자 “j.whitfield@company.com”이 있습니다. 메시지에는 핸들 “+1-415-555-0142”가 있습니다. 그래프의 가치는 이 네 가지 관찰이 한 사람이 되는지, 그리고 러닝 클럽의 다른 James와는 올바르게 합쳐지지 않는지에 전적으로 달려 있습니다.
실용적인 아키텍처는 비대칭 오류 비용을 가진 점진적 클러스터링입니다. 잘못된 병합, 즉 서로 다른 두 사람을 같은 사람으로 판단하는 것은 하류의 모든 추론을 오염시키고, 두 실제 인물의 사실이 한 노드에 얽혀 버리기 때문에 되돌리기가 끔찍합니다. 잘못된 분할은 증거가 더 쌓일 때까지 그래프가 조금 덜 알게 된다는 뜻일 뿐입니다. 그래서 병합 임계값을 높게 설정하고, 여러 소스에 나타나는 전화번호 같은 공유 하드 식별자가 대부분의 일을 하게 하세요. 이름 유사도나 동시 출현 같은 소프트 신호는 동점일 때만 개입하도록 합니다. 핵심 루프는 의도적으로 지루합니다:
# Incremental entity resolution: precision over recall.
# A false merge corrupts everything downstream; a false split
# just means you learn slower. So merge only on strong evidence.
HARD_SIGNALS = {"phone", "email", "contact_id"} # near-certain identity
MERGE_THRESHOLD = 0.95 # soft-signal bar, set high
def ingest(observation, graph):
candidate = find_candidate(observation, graph)
if candidate is None:
return graph.new_entity(observation)
if shares_hard_signal(observation, candidate, HARD_SIGNALS):
return graph.merge(observation, candidate, confidence=1.0)
score = soft_match_score(observation, candidate) # name sim, co-occurrence
if score >= MERGE_THRESHOLD:
return graph.merge(observation, candidate, confidence=score)
return graph.new_entity(observation) # when in doubt, split
나중에 도움이 되는 두 가지 규칙이 있습니다. 첫째, 모든 병합 결정 자체도 출처를 가진 사실이어야 합니다. 어떤 신호가 병합을 정당화했는지 기록해 두세요. 사용자가 “그건 내 누나가 아니라 동료야”라고 말했을 때 노드를 삭제하지 않고 외과적으로 분리해야 하니까요. 둘째, 단일 분류기의 출력만으로 엔티티를 병합하게 두지 마세요. 독립적인 다른 신호의 확증을 요구하세요. Apple 설계에서 조용히 인상적인 점 중 하나가 바로 이것입니다. 가족, 고용, 커뮤니케이션 간선이 모두 해석된 엔티티에 매달려 있어서, 해석 오류가 증폭되지 않고 격리됩니다. 물론 해석 자체가 제대로 되었을 때에만 그렇습니다. 일정의 절반은 이 작업에 배정하세요. 그만큼 필요합니다.
실수 4: “온디바이스”면 프라이버시 작업이 끝났다고 가정하기
이제 엔지니어링에 대한 칭찬을 멈추는 부분입니다. 이 아키텍처를 옹호하는 표준 논리, 그리고 대중의 반응을 지배한 논리는 “기기 밖으로 나가지 않으니 괜찮다”는 것입니다. 그건 절반짜리 논변입니다. 로컬 우선 ML은 데이터 상주 문제를 실제로 해결합니다. 대량으로 유출될 서버 측 사본도 없고, 소셜 그래프를 빨아들이는 광고 기술 파이프라인도 없고, 한 번에 수억 명 사용자의 소환 대상이 될 중앙 저장소도 없습니다. 다른 플랫폼 기업들이 개인화하는 방식과 비교하면 이것은 실질적이고 의미 있는 이점이고, 저는 이 점을 옹호하겠습니다.
하지만 집계 자체가 독자적인 위험 증폭기이며, 로컬 저장은 이것에 아무 영향도 주지 않습니다. 연락처, 캘린더, 메시지 메타데이터 같은 개별 소스는 각각 제한된 방식으로 민감합니다. 그런데 융합된 그래프는 당신의 직장, 나이가 포함된 가족 관계도, 사람별 연락 주기, 이동 패턴, 일상 활동을 알고 있어서, 어떤 단일 입력보다도 범주적으로 더 가치가 큽니다. 게다가 이 저장소는 평문 SQLite에 있고, 전체 디스크 접근 권한으로만 보호되며, 두 문장짜리 man 페이지 외에는 문서화되어 있지 않고, 기능별 토글도 없고, 옵트아웃할 명확한 방법도 없습니다. 포렌식 도구는 이미 iOS 버전을 읽고 있습니다. 분석을 수행한 연구자들은 뻔한 사고 실험을 돌렸습니다. 이 저장소를 악성코드에 넘기거나, 기기 암호를 가진 가해성 파트너에게 넘기면 완성된 신상 기록이 된다는 것이죠. 누구와 대화하는지, 얼마나 자주, 어디를 가는지, 자녀가 누구인지까지요.
로컬 우선은 데이터 상주 문제를 해결합니다. 하지만 집계 문제에 대해서는 아무것도 하지 못합니다. 디스크에 있는 융합된 신상 기록은 여전히 신상 기록입니다.

해결책은 특별하지 않습니다. 그래서 그것이 빠져 있다는 점이 더 아픕니다. 저장소를 사용자 존재와 연결된 키로 저장 시 암호화하세요. 눈에 보이는 토글을 제공하되, “Siri Intelligence”라는 하나의 덩어리가 아니라 어떤 신호가 그래프에 들어갈지 세분화된 제어를 주세요. 스키마를 문서화하세요. 그리고 추론된 사실을 원본 사실보다 덜 민감하게 보지 말고 더 민감하게 다루세요. 사람들은 “이 시스템이 당신 딸의 나이를 추론했다”는 데 동의한 적이 없습니다. 기술적으로는 그 추론을 가능하게 한 입력 접근 권한을 허락했다 해도 말이죠. 로컬 우선 ML을 만든다면 설계 리뷰에서 이 문장을 스스로에게 말해보세요. “우리가 데이터를 볼 수 없다는 사실이 아무도 보지 않는다는 뜻은 아니다.” 기기가 침해되고, 압수되고, 팔리는 날을 대비하세요. 여러분 기기군의 일정 비율에는 언젠가 반드시 일어날 일이니까요.
실수 5: 추론을 출하하면서 검사 경로를 만들지 않기
이런 것이 존재한다는 걸 우리가 어떻게 아는지 생각해 보세요. 문서를 통해서가 아닙니다. 공식 설명은 그 간결한 man 페이지뿐입니다. 독립 연구자들이 데이터베이스를 역공학해서 사용자가 자신의 그래프를 읽을 수 있는 오픈소스 대시보드를 만들었고, 포렌식 도구 관리자가 자기 도구에 iOS 버전 파싱을 가르쳤기 때문에 우리가 알게 된 것입니다. 사용자들은 자기 기기에서 서드파티 코드를 돌려 자신의 가족에 대한 추론된 혈연 라벨을 발견했습니다. 이것은 실패 모드이고, 엔지니어링 팀은 눈을 뜨고도 여기에 빠집니다. 시스템이 한 사람에 대한 결론을 내리는데, 그 사람은 이를 보거나, 고치거나, 삭제할 자체 수단이 없습니다.
이것은 윤리 체크리스트 항목일 뿐 아니라 운영상의 문제이기도 합니다. 그래프를 볼 수 없다면 디버깅도 할 수 없습니다. “당신의 어시스턴트가 내 전 애인을 내 아내로 생각해요”라는 사용자 제보가 왔을 때, 왜 그런지 답하는 유일한 방법은 출처를 따라 그 간선을 만들어 낸 신호까지 추적하는 것입니다. 내부 뷰어, 내보내기 버튼, 추론된 모든 사실에 붙는 “이 결과를 설명해 주세요” 기능 같은 읽기 경로를 일찍 만드는 팀은 더 나은 모델을 출하합니다. 잘못된 추론이 조용한 불만이 아니라 눈에 보이는 버그 리포트가 되기 때문입니다. 그렇지 않은 팀은 결국 사용자들이 역공학된 대시보드를 소셜 미디어에 캡처해 올리는 상황을 맞게 되는데, 이는 어떤 설정 화면보다도 훨씬 나쁜 모습입니다.
제가 힘들게 배운 경험칙은 이렇습니다. 사용자에 대한 결론을 내리는 기능이라면, 검사용 UI는 나중 릴리스에 붙일 선택 사항이 아닙니다. 같은 릴리스에 들어가거나, 기능 자체가 나가지 않아야 합니다. 비용은 설정 화면 하나와 JSON 내보내기입니다. 그 대가는 보도자료로 구걸하지 않아도 되는 신뢰입니다. 그리고 실무적으로 규제 기관도 바로 이 공백을 주시하고 있습니다. 사람에 대해 민감한 속성을 추론하는 시스템은 그 사람에게 가시성을 제공해야 하며, “기기 안에서 처리됩니다”는 보이지 않게 만드는 것에 대한 인정된 방어가 되지 않을 것입니다.
다음 로컬 우선 ML 기능에서 가져올 것들
논쟁을 걷어내면, 클라우드로 전화를 걸 수 없는 개인화를 만드는 모든 팀에게 건네고 싶은 아키텍처가 이것입니다. 솔직히 대부분의 개인화는 집에 전화를 걸 필요가 없어야 합니다. 설계도를 요약하면 이렇습니다:
- 거대한 모델 하나보다 많은 작은 분류기. 신호마다 하나씩 두고, 각각 독립적으로 테스트하고 재학습할 수 있으며, 배터리로 영원히 돌 만큼 저렴하게 유지하세요.
- 구체화된 간선을 가진 트리플 스토어. 모든 사실에 신뢰도, 출처, 타임스탬프를 붙이고, 이력을 지우지 않고도 모든 사실을 철회할 수 있게 하세요. SQLite로 충분합니다.
- 정밀도에 맞춘 엔티티 해석. 잘못된 병합이 치명적인 오류이고, 잘못된 분할은 그저 속도를 늦출 뿐입니다. 통합하기 전에 확증을 받으세요.
- 거주성을 넘어서는 프라이버시 엔지니어링. 저장 시 암호화, 세분화된 동의, 보존 기간 제한. 집계가 어떤 단일 입력도 만들지 못했던 표적을 만들기 때문입니다.
- 첫날부터 있는 검사 경로. 시스템이 사용자에 대해 결론을 내린다면, 사용자가 그 결론을 보고, 수정하고, 삭제할 수 있어야 합니다.
서빙 측에 대한 구체적인 출발점이 필요하다면, 완전히 오프라인으로 동작하는 LLM 기능 구축에 대해 글을 쓴 적이 있습니다. 같은 원칙이 여기에도 적용됩니다. 네트워크가 끊겨 있고, 전력 예산은 작으며, 사용자는 여러분에게 아무것도 빚지지 않았다고 가정하세요. 불편한 마무리는 이것입니다. Apple의 엔지니어들은 정말 감탄할 만한 것을 만들었고, 그다음 침묵으로 그것을 훼손했습니다. 분류기, 스키마, 데이터센터로 모든 것을 보내는 대신 로컬에서 추론하려는 절제, 이 부분이 베낄 가치가 있는 부분입니다. 문서화되지 않은, 항상 켜져 있고, 터미널 명령으로만 옵트아웃할 수 있는 방식은 피해야 할 부분입니다. 그래프를 만드세요. 그리고 사용자에게 그것이 있다고 알리세요. 두 절반 모두 엔지니어링이고, 두 번째는 선택 사항이 아닙니다.


