Appleのオンデバイス知識グラフから学ぶ5つの教訓
Appleのオンデバイス知識グラフから、プライベートなローカルファーストMLの作り方を学ぶ。実践者が犯す5つのミスと有効な対策を解説。

Mac に「兄に電話して」と言えば、そのとおりに動きます。ローディング表示も、目に見える検索も、ネットワークとの往復もありません。連絡先にある何百人もの中から、どれが兄なのかをすでに把握しているのです。これが可能なのは、macOS Ventura以降のすべてのMacが、オンデバイスの知識グラフを静かに動かしているからです。連絡先、写真の顔クラスタ、カレンダーの参加者、メールやメッセージのメタデータ、位置情報のパターン、スクリーンタイムのデータを読み取り、それらすべてを統合して、「あなたが誰か」「誰を知っているか」「その人たちがあなたとどう関係し、互いにどう関係しているか」を問い合わせ可能なストアにまとめています。
セキュリティ研究者たちが最近、この仕組みがどこまで深いのかを明らかにしました。2つのデーモン、knowledgeconstructiondとintelligenceplatformdは、~/Library/IntelligencePlatform配下にある51個のSQLiteデータベースのディレクトリを管理しています。中核となるgraph.dbは、181のエンティティクラスと278の述語からなる語彙で書かれたトリプルストアで、誰も連絡先カードに入力していない推論された親族関係まで含まれています。この発見をめぐる最大の議論は同意についてであり、それはもっともな議論です。ただ、私は長年ML機能を本番に出してきた人間として、この解析記事を読んだときの第一印象は違いました。大規模に出荷されたローカルファーストMLの工学として、最も教育的な事例の一つだと思ったのです。そこで倫理の蒸し返しはやめて、この種のシステムを作るときに実践者が犯す5つのミスと、Appleのエンジニアが実際に何を正しくやり、何を間違えたかを順に見ていきます。苦労して学ぶ必要はありません。
ミス1:何でもできる巨大モデルに頼り、小さな分類器を使わない
「OSが家族を理解している」と聞いて、多くのチームがまず思い浮かべるのは、ループの中に大規模言語モデルがいるはずだ、ということです。実際にはいません。そしてそこがこの話の教訓です。話題になった親族推論、つまりこの連絡先があなたの母親で、あの連絡先が上司だと判断する仕組みは、構造化されたシグナルを処理する、狭く特化した分類器によって行われています。対象は、ファミリー共有のメンバーシップと年齢、連絡先の関連名フィールド、カレンダーの同席パターン、連絡の頻度と方向性、写真での顔の共起などです。各分類器は小さな問い一つに的確に答え、グラフがその答えをつなぎ合わせます。
これは非常に実際的な理由から重要です。それはバッテリー予算です。OSの他のあらゆる処理と並んで、バッテリー上で常時動くデーモンが、イベントごとにトランスフォーマーの順伝播を行う余裕はありません。小さな分類器はNeural Engine上でマイクロ秒単位で動き、単体テストできるほど決定的で、一つが誤動作しても他に触れずにその一つだけを再学習できます。汎用モデルにやらせようとして何四半期も費やすチームを見てきましたが、よく選ばれた30個の特徴量に対する勾配ブースティング木のほうが、はるかにうまくやれることが多いのです。同じ現象は画像認識でも取り上げました。特化型CNNは、画像分類でフロンティアLLMを、コストのごく一部で日常的に上回ります。このパターンはどこでも成り立ちます。パーソナライズ機能はほとんどの場合、汎用モデルを必要としません。必要なのは良いスキーマと、地味で優秀な分類器の山です。
もう一つ見過ごされがちな利点は、穏やかな劣化です。ユーザーが写真を使わないので顔認識パイプラインが一度も動かなくても、親族分類器にはファミリー共有と連絡先が残っています。モノリシックなモデルは入力分布がずれると壊滅的に劣化しますが、シグナルごとの分類器のアンサンブルなら、単に一票を失うだけです。次のオンデバイス機能を設計するときは、まず独立したシグナルを列挙し、シグナルごとに最小のモデルがどんな形かを考えてください。LLMは、自然言語での対話というラストワンマイルのために取っておきましょう。そここそが本来の居場所です。

ミス2:出所(provenance)と撤回の仕組みなしに事実を保存する
解析記事の中で、ほとんどの報道が見過ごした細部があります。そして私にとって最もエレガントだと感じる部分です。このグラフの辺、つまり「この人はこの組織で働いている」という関係は、1行ではありません。relationshipIdを共有する2行です。1行目は関係の種類を指定し、もう1行は関連するエンティティを指しています。この間接参照だけのために存在する関係種別クラスが46個あります。これはリファイケーション(関係の実体化)と呼ばれ、辺自体にプロパティ(信頼度スコア、出所、タイムスタンプ)を持たせられ、後から存在しなかったことにせず撤回できるからこそ行われます。
自作のパーソナライズシステムで私が最もよく見かけるミスがこれです。事実を平坦な列として保存してしまうのです。user.employer = "Acme"のように。転職したり離婚したり、推論が単に間違っていたりするまではうまく動きます。そしてそのとき、デバッグに必要な履歴を上書きしてしまうか、削除すると下流で何かが壊れるからと古い事実を放置するかのどちらかになります。個人の事実は急速に陳腐化します。人は引っ越し、関係は終わり、勤務先は変わります。「この事実は信頼度0.7で信じられ、カレンダーの参加者に由来し、3月3日に撤回された」と表現できないストアは、静かにゴーストで埋まっていきます。それに対処するスキーマは概ねこんな形です。
-- A reified edge: two rows share one relationship id,
-- so the edge itself can carry confidence and provenance.
CREATE TABLE triples (
subject TEXT NOT NULL, -- an entity id
predicate TEXT NOT NULL, -- e.g. 'relationshipType', 'relatedEntity'
object TEXT NOT NULL, -- a value or another entity id
rel_id TEXT, -- groups the rows forming one edge
confidence REAL, -- how sure are we?
source TEXT, -- which signal produced this fact
created INTEGER NOT NULL,
retracted INTEGER -- soft delete: facts decay, history stays
);
-- One edge, two rows:
-- ('person:8f2a', 'relationshipType', 'employerOf', 'rel:91', 0.82, 'calendar', ...)
-- ('person:8f2a', 'relatedEntity', 'org:acme', 'rel:91', 0.82, 'calendar', ...)
実装上の選択からも分かることがあります。この仕組み全体はプレーンなSQLiteの上にあります。特殊なグラフデータベースも、独自のストレージエンジンもなく、最も実戦で鍛えられた組み込みデータベースで問い合わせ可能なテーブルがあるだけです。単一デバイス上で辺の数が数百万程度にすぎないのに専用のグラフストアに手を伸ばしたくなったら、やめてください。埋め込み型グラフデータベースがSQLiteを超えて元が取れる場面については書いたことがありますが、正直なところ、ほとんどのアプリケーションはその段階に到達しません。主語と述語にしっかりインデックスを張ったSQLite上のトリプルは、驚くほど遠くまで連れて行ってくれます。複雑さの予算は、出所と撤回のセマンティクスに使ってください。これらのシステムが実際に壊れるのは、まさにそこなのですから。
ミス3:エンティティ解決を解決済みの細部として扱う
この種のシステムについて私が読んだ設計文書には、ほぼ例外なく「それからエンティティを統合する」という箇条書きがあり、まるで午後一つ分の作業であるかのように書かれています。実際にはパイプライン全体の中で群を抜いて最も難しい部分です。連絡先には「James Whitfield」とあります。写真には名前のない顔クラスタがあります。カレンダーには参加者「j.whitfield@company.com」があります。メッセージには「+1-415-555-0142」というハンドルがあります。グラフの価値は、これら4つの観測が一人の人物になるかどうか、そして、ランニングクラブにいるもう一人のJamesとは正しく統合されないかどうかに完全にかかっています。
実用的なアーキテクチャは、非対称な誤りコストを前提とした段階的クラスタリングです。誤統合、つまり別々の二人を同一人物と判断してしまうことは、後続のすべての推論を汚染し、ほどくのが非常に厄介です。二人の実在の人物の事実が一つのノードに絡まってしまうからです。一方、誤分割は、さらに証拠が集まるまでグラフが少しだけ知識不足になるにすぎません。ですから統合のしきい値は高く設定し、共有された強い識別子(二つのソースに現れる電話番号など)にほとんどの仕事をさせます。名前の類似度や共起といった弱いシグナルは、同点を破るためだけに使います。核となるループは、わざと地味に作ります。
# Incremental entity resolution: precision over recall.
# A false merge corrupts everything downstream; a false split
# just means you learn slower. So merge only on strong evidence.
HARD_SIGNALS = {"phone", "email", "contact_id"} # near-certain identity
MERGE_THRESHOLD = 0.95 # soft-signal bar, set high
def ingest(observation, graph):
candidate = find_candidate(observation, graph)
if candidate is None:
return graph.new_entity(observation)
if shares_hard_signal(observation, candidate, HARD_SIGNALS):
return graph.merge(observation, candidate, confidence=1.0)
score = soft_match_score(observation, candidate) # name sim, co-occurrence
if score >= MERGE_THRESHOLD:
return graph.merge(observation, candidate, confidence=score)
return graph.new_entity(observation) # when in doubt, split
後で役立つルールが二つあります。第一に、統合の判断そのものも出所付きの事実として記録してください。どのシグナルがその統合を正当化したのかを残しておくのです。ユーザーが「それは姉じゃなくて同僚だよ」と言ったときに、ノードを削除するのではなく、外科的に統合を解除する必要があるからです。第二に、単一の分類器の出力だけで統合を決めさせないこと。独立したシグナルによる裏付けを必ず求めてください。Appleの設計で密かに感心させられる点の一つがまさにこれです。親族、雇用、コミュニケーションの辺はすべて解決済みのエンティティにぶら下がるので、解決の誤りは増幅されずに封じ込められます。ただし、最初に解決を正しく行えていれば、の話です。タイムラインの半分はこの作業に充ててください。必ず必要になります。
ミス4:「オンデバイス」なら、プライバシーの作業は終わったと思い込むこと
ここからは、エンジニアリングを褒めるのをやめる部分です。このアーキテクチャに対する定番の擁護論、そして公の反応の大半を占めたのは「データは端末から一度も出ないのだから問題ない」というものでした。それは議論の半分にすぎません。ローカルファーストのMLは、データの所在という問題を確かに解決します。大量漏えいされるサーバー側のコピーはなく、他人の社会的グラフを吸い上げる広告技術パイプラインもなく、一度に一億人のユーザーを狙う召喚状の対象もありません。これは、他のあらゆるプラットフォーム企業がパーソナライズを行う方法に対する、本物で意味のある勝利です。その点は擁護します。
しかし、集約はそれ自体がリスクを増幅させるものであり、ローカル保存はそれに対して何もしてくれません。連絡先、カレンダー、メッセージのメタデータといった個々のソースは、どれも範囲の限られた形で機微な情報です。統合されたグラフは、あなたの勤務先、年齢付きの家系図、一人ひとりとの連絡頻度、移動パターン、日々の行動まで知っており、その入力のどれよりも質的に価値が高いのです。しかもこの特定のストアは平文のSQLiteにあり、フルディスクアクセスでしか保護されておらず、二文の man ページ以外に文書化されておらず、機能ごとのトグルも、オプトアウトする明確な方法もありません。フォレンジックツールはすでにiOS版のコピーを読めます。解析記事の研究者たちは当然の思考実験をしました。そのストアをマルウェアに渡す、あるいはデバイスのパスワードを知る虐待的なパートナーに渡せば、それだけで完成した身辺調査書になる。誰と話しているか、どれくらいの頻度か、どこへ行くか、子どもが誰か、がすべて分かってしまうのです。
ローカルファーストはデータの所在の問題を解決します。しかし集約の問題には何もしません。ディスク上にある統合された身辺調査書は、依然として身辺調査書なのです。

対策は特別なものではありません。だからこそ、それがないことが痛いのです。ストアは、ユーザーの存在に紐づけた鍵で保存時に暗号化する。目に見えるトグルを用意する。「Siri Intelligence」という一枚岩ではなく、どのシグナルがグラフに流れ込むかを細かく制御できるようにする。スキーマを文書化する。そして、推論された事実を生の事実より機微なものとして扱う。これは逆ではありません。「このシステムがあなたの娘の年齢を推測した」ことに同意した人は誰もいません。たとえ、それを可能にした入力へのアクセスを技術的には許可していたとしても、です。ローカルファーストMLを作るなら、設計レビューでこの一文を自分に言い聞かせてください。「私たちにデータが見えないからといって、誰も見ないわけではない」。そして、デバイスが侵害され、押収され、売却される日に備えてください。それは、艦隊の一部には必ず起きることだからです。
ミス5:推論を出荷しながら、検査の経路を用意しないこと
この仕組みが存在することを、私たちがどうやって知ったのかを考えてみてください。ドキュメントからではありません。公式の説明は、あの簡素な man ページだけです。知ったのは、独立した研究者がデータベースをリバースエンジニアリングし、ユーザーが自分のグラフを読めるオープンソースのダッシュボードを作ったからです。さらに、フォレンジックツールのメンテナーが、自分のツールにiOS版の解析を教え込みました。ユーザーたちは、自分のマシンに対して第三者のコードを走らせることで、自分の家族について推論されたラベルを発見したのです。これは障害モードです。エンジニアリングチームは、それを承知の上で陥ることがあります。システムは人物についての結論を生み出すのに、その人には、その結論を見て、修正して、削除するための自社純正の手段がないのです。
これは倫理のチェックリストの話だけではなく、運用上の話でもあります。グラフが見えなければ、デバッグもできません。ユーザーから「あなたのアシスタントが、元恋人を私の妻だと思っている」と報告されたとき、なぜそうなったのかに答える唯一の方法は、出所をたどって、その辺を生み出したシグナルまで遡ることです。読み取り経路を早い段階で作ったチーム、つまり社内ビューア、エクスポートボタン、推論された事実すべてに付く「これを説明」機能を備えたチームは、より良いモデルを出荷できます。誤った推論が、静かな不満ではなく、目に見えるバグ報告になるからです。作らなかったチームは、リバースエンジニアリングされたダッシュボードのスクリーンショットをユーザーがソーシャルメディアに投稿する羽目になります。それは、どんな設定画面よりもはるかに悪い見え方です。
私が痛い目を見て学んだ経験則はこうです。ユーザーについて結論を導く機能なら、検査用UIは後のリリースで追加する「あると嬉しい機能」ではありません。同じリリースに含めるか、そもそも機能を出さないかのどちらかです。コストは設定画面一枚とJSONエクスポートです。得られるのは、プレスリリースで懇願しなくても済む信頼です。そして現実的に言えば、規制当局はまさにこの隙間を注視しています。機微な属性を人について推論するシステムは、その人たちに可視性を提供する義務を負い、「オンデバイスだから」は、不可視性を正当化する防御としては認められないでしょう。
次のローカルファーストMLの機能から盗むべきもの
論争を取り除けば、これは「ホームに電話できない」パーソナライズを作るチームに渡したいアーキテクチャです。正直に言えば、ほとんどのパーソナライズはホームに電話すべきではありません。設計図を凝縮するとこうなります。
- 巨大な一つのモデルより、多数の小さな分類器。シグナルごとに一つずつ。それぞれ独立してテストでき、再学習でき、バッテリー上で永続的に動かせるほど安価です。
- リファイケーションされた辺を持つトリプルストア。すべての事実は信頼度、出所、タイムスタンプを持ち、履歴を消さずに撤回できます。SQLiteで十分です。
- 精度を重視したエンティティ解決。誤統合こそが破滅的な誤りで、誤分割は速度を落とすだけです。統合する前に裏付けを取りましょう。
- 居住地の問題を超えたプライバシー工学。保存時の暗号化、細やかな同意、保持期間の制限。集約は、どの単一の入力も決してなかった標的を生み出すからです。
- 初日から用意する検査の経路。システムがユーザーについて結論を出すなら、ユーザーはその結論を見て、修正して、削除できなければなりません。
提供側の具体的な出発点をお探しなら、完全にオフラインで動くLLM機能の構築について書いたことがあります。ここでも同じ規律が当てはまります。ネットワークはないもの、電力予算は小さいもの、ユーザーはあなたに何も借りがないもの、と想定してください。居心地の悪い締めくくりとして、Appleのエンジニアたちは、称賛に値するものを作りながら、沈黙によってそれを損なってしまいました。分類器、スキーマ、すべてをデータセンターに送るのではなく推論をローカルで行うという抑制、これは真似する価値のある部分です。文書化されず、常時稼働し、ターミナルコマンドでしかオプトアウトできない姿勢は、避けるべき部分です。グラフを作ってください。そして、そこにあることをユーザーに伝えてください。どちらの半分もエンジニアリングであり、後者は任意ではありません。


