深度解析塑造未来的技术文章。

Apple端侧知识图谱的五条工程启示

Apple 端侧知识图谱如何落地私密、本地优先的机器学习?剖析五个常见误区,并给出真正有效的修复方法。

一张发光的抽象节点与连线图谱,悬浮在暗室中的笔记本电脑上方。
个人知识图谱会从设备已经收集的信号中自动组装而成。

对你的 Mac 说一句“给我哥哥发消息”,它就照做了。没有转圈加载,没有可见的查找过程,也不需要网络往返,它早就知道通讯录里的几百个人中哪一个是你哥哥。这背后的原因是:自 macOS Ventura 起,每台 Mac 都在悄悄运行一个端侧知识图谱:一对守护进程读取你的通讯录、照片中的人脸聚类、日历的参会人、邮件和信息的元数据、位置规律以及屏幕使用时间,然后把这些信息融合成一个可查询的存储,记录你是谁、你认识谁,以及这些人与你、与彼此之间是什么关系。

安全研究人员最近揭开了这套机制有多深入。这两个守护进程(knowledgeconstructiond 和 intelligenceplatformd)在 ~/Library/IntelligencePlatform 下维护着一个包含 51 个 SQLite 数据库的目录。核心是 graph.db,它是一个三元组存储,使用 181 个实体类和 278 个谓词构成的词汇表,其中包括一些没有人在通讯录卡片里手动填写过、而是被推断出来的亲属关系。围绕这一发现最激烈的争论集中在隐私同意上,这个争论很有道理。但我做了多年的机器学习功能落地工作,读完这份技术剖析后,我的第一反应完全不同:这是大规模产品中最具启发性的本地优先(local-first)ML 工程实践之一。所以我不打算重复伦理层面的讨论,而是想梳理一下,在构建这类系统时,从业者常犯的五个错误,以及 Apple 的工程师究竟哪些做对了、哪些做错了,好让你不必自己吃这些苦头。

错误一:用一个大模型取代一组小分类器

大多数团队一听到“操作系统了解你的家人”,第一反应是以为其中有一个大语言模型在参与。其实并没有,而这恰恰是关键所在。那条引发热议的亲属推断(系统判定这个联系人是你的母亲,那个是你的老板)是由一组狭窄、专门化的分类器完成的,它们处理的是结构化信号:家庭共享成员身份和年龄、通讯录中的关联人字段、日历共同参会的模式、通信频率和方向性,以及照片中的人脸共现。每个分类器只把一个小问题回答好,图谱再把这些答案拼接起来。

这一点之所以重要,原因非常务实:预算。一个需要持续运行、靠电池供电、还要和系统其他任务争抢资源的守护进程,负担不起每个事件都跑一次 Transformer 前向传播。小型分类器在神经网络引擎上只需几微秒,足够确定,便于单元测试;而且一旦某个分类器出错,你只需重新训练它,不必动其他部分。我见过不少团队耗掉几个季度,想让一个通用模型去做一个基于三十个精心挑选特征的梯度提升树就能做得更好的事情。我们在视觉领域也讨论过同样的现象:专用 CNN 在图像分类上常常胜过前沿 LLM,而成本只是后者的一小部分。这个规律处处成立。个性化功能几乎从来不需要通用模型,它们需要的是一套好的 schema,以及一堆枯燥但出色的分类器。

另一个常被低估的好处是优雅降级。如果用户不用照片,人脸识别流水线从不运行,亲属分类器依然可以借助家庭共享和通讯录工作。单体模型在输入分布发生偏移时会灾难性地失效;而由信号专用分类器组成的集成,只是少了一票而已。设计下一个端侧功能时,先列举相互独立的信号,再问每个信号对应的最小模型是什么样子。把 LLM 留给自然语言交互的最后一公里,那才是它真正该待的地方。

许多小型专用机器排成一排工作,而一台巨大的机器被罩布盖着闲置在一旁。
对于常驻运行、受电池约束的推理场景,一组窄分类器的集成胜过一个庞大的单一模型。

错误二:存储事实时没有溯源和撤回机制

这份技术剖析里有个细节,大多数报道都略过了,但我觉得它是最优雅的部分。图谱中的一条边(“这个人就职于这家机构”)并不是一行数据,而是两行,它们共享同一个 relationshipId:一行给出关系类型,另一行指向相关实体。专门用来承载这种间接引用的关系类型类就有 46 个。这种做法叫做具体化(reification),之所以这么做,是为了让边本身可以携带属性(置信度、来源、时间戳),并且之后可以撤回,而不必假装它从未存在过。

这是我在自研个性化系统中最常见的错误:把事实存成扁平的列。比如 user.employer = "Acme"。这在用户换工作、离婚或推断本身就错了之前都能正常工作,而一旦这些情况出现,你要么覆盖掉调试时需要的历史记录,要么因为删除会影响下游而留着过时的事实。个人事实衰减得很快:人会搬家,关系会结束,雇主会更换。如果一个存储无法表达“我们以 0.7 的置信度相信了这一点,来源是日历参会人,已于 3 月 3 日撤回”,它就会悄无声息地积满“幽灵数据”。能处理这种情况的 schema 大致如下:

-- A reified edge: two rows share one relationship id,
-- so the edge itself can carry confidence and provenance.
CREATE TABLE triples (
subject    TEXT NOT NULL,          -- an entity id
predicate  TEXT NOT NULL,          -- e.g. 'relationshipType', 'relatedEntity'
object     TEXT NOT NULL,          -- a value or another entity id
rel_id     TEXT,                   -- groups the rows forming one edge
confidence REAL,                   -- how sure are we?
source     TEXT,                   -- which signal produced this fact
created    INTEGER NOT NULL,
retracted  INTEGER                 -- soft delete: facts decay, history stays
);
-- One edge, two rows:
-- ('person:8f2a', 'relationshipType', 'employerOf', 'rel:91', 0.82, 'calendar', ...)
-- ('person:8f2a', 'relatedEntity',    'org:acme',   'rel:91', 0.82, 'calendar', ...)

这种实现选择本身也说明了问题:整套东西都跑在普通的 SQLite 上。没有什么特殊的图数据库,也没有自定义存储引擎,只是一些可以用最久经考验的嵌入式数据库查询的表。如果你在单设备上面对的边数量只有几百万,就想引入专门的图存储,那就别这么做。我们之前写过可嵌入图数据库在 SQLite 之外的用武之地,而诚实的答案是,大多数应用根本到不了那个临界点。三元组存在 SQLite 里,只要在主语和谓词上做好索引,就能走得出奇地远。把你的复杂度预算花在溯源和撤回语义上吧,这些系统真正崩溃的地方正是在那里。

错误三:把实体消解当成一个已解决的小细节

我读过的每一份类似系统的设计文档,都有一条“然后我们统一实体”的要点,好像这是一下午就能搞定的活。实际上,它其实是整条流水线中最难的部分,而且难得多。你的通讯录里写着“James Whitfield”,照片里有一个没有名字的人脸聚类,日历里有一个参会人“j.whitfield@company.com”,信息应用里有一个账号“+1-415-555-0142”。图谱的价值完全取决于这四条观测能否合并成同一个人,同时还要正确地不与另一个 James 合并,也就是你跑步俱乐部里那位。

务实的架构是带有非对称错误代价的增量聚类。错误合并(把两个不同的人判定为同一个人)会污染所有下游推断,而且很难撤销,因为两个真实人物的事实已经缠在同一个节点上。错误拆分则只是意味着图谱暂时知道得少一点,等有了更多证据再说。因此你应该把合并阈值设得很高,让共享的强标识符(比如同一个电话号码出现在两个来源中)承担大部分工作,而姓名相似度和共现等软信号只用来打破平局。核心循环刻意保持枯燥:

# Incremental entity resolution: precision over recall.
# A false merge corrupts everything downstream; a false split
# just means you learn slower. So merge only on strong evidence.
HARD_SIGNALS = {"phone", "email", "contact_id"}   # near-certain identity
MERGE_THRESHOLD = 0.95                             # soft-signal bar, set high
def ingest(observation, graph):
candidate = find_candidate(observation, graph)
if candidate is None:
return graph.new_entity(observation)
if shares_hard_signal(observation, candidate, HARD_SIGNALS):
return graph.merge(observation, candidate, confidence=1.0)
score = soft_match_score(observation, candidate)  # name sim, co-occurrence
if score >= MERGE_THRESHOLD:
return graph.merge(observation, candidate, confidence=score)
return graph.new_entity(observation)  # when in doubt, split

还有两条后续规则能在日后帮你省下很多麻烦。第一,每一次合并决定本身也是一条带有溯源的事实,记录是哪些信号支持了这次合并,因为当用户说“那不是我姐姐,是我同事”时,你需要精确地拆分,而不是删掉整个节点。第二,绝不允许单个分类器的输出独自触发实体合并,必须有来自独立信号的佐证。Apple 设计中一个相当令人佩服的地方正是如此:亲属关系、工作关系和通信边都挂在已消解的实体上,因此一个消解错误会被限制在局部,而不是被放大,前提是你一开始就把消解做对了。在时间线上预留一半的时间给这件事吧,你会用得上的。

错误四:以为“在设备上”就意味着隐私工作已经完成

现在轮到我停止夸赞工程实现的部分了。对这套架构的标准辩护(也是公众反应中的主流观点)是“它从不离开你的设备,所以没问题”。这只是半个论点。本地优先的 ML 确实解决了数据驻留问题:不存在可以被大规模泄露的服务端副本,没有广告技术管线在抓取你的社交图谱,也不存在同时成为一亿用户传唤目标的单一数据库。这与其他所有平台公司做个性化的方式相比,是一个真实而有意义的进步,我愿意为此辩护。

但聚合本身是一种风险放大器,而本地存储对此无能为力。任何单一来源(你的通讯录、日历、信息元数据)在有限的范围内都是敏感的。而融合后的图谱,知道你的雇主、带年龄的家族树、你与每个人的通信节奏、你的移动模式以及你的日常活动,它在价值上远远超过任何一个输入。更糟的是,这个存储以明文 SQLite 的形式存在,只靠“完全磁盘访问权限”保护,除了一个两句话的 man 手册外没有任何官方文档,也没有按功能的开关,也没有明显的退出途径。取证工具已经能读取 iOS 版本的副本。剖析的研究人员做了一个显而易见的思想实验:把这个存储交给恶意软件,或者交给一个掌握设备密码的施虐伴侣,你就得到了一份现成的人物档案,包括你和谁通话、多久一次、去过哪里、你的孩子是谁。

本地优先解决了数据驻留问题,却对聚合问题毫无帮助:磁盘上的融合档案仍然是一份档案。

许多束光线汇聚进放在底座上的一只发光玻璃罐中。
将许多有限的信号融合进一个存储,会造成一个比任何单一输入都更有价值的单点故障。

解决办法并不新奇,而这恰恰让它们的缺失显得格外刺眼。对存储进行静态加密,密钥与用户在场状态绑定。提供一个可见的开关,不是把“Siri 智能”当作一个整体的黑箱,而是可以精细控制哪些信号流入图谱。公开 schema 文档。并且要把推断出来的事实视为比原始数据更敏感,而不是更不敏感:没有人同意“这个系统推断出了你女儿的年龄”,即便从技术上讲,他们确实授权了让这一推断成为可能的输入数据。如果你在做本地优先的 ML,请在设计评审时对自己说这句话:我们看不到数据,并不代表别人永远看不到。要为设备被攻破、被扣押或被出售的那一天做好准备,因为这些情况迟早会发生在你机队中的某一部分设备上。

错误五:上线推断功能却没有检视路径

想想我们是如何得知这一切的。不是从文档,官方描述只有那份简短的 man 手册。我们知道,是因为独立研究人员对数据库进行了逆向工程,并构建了一个开源仪表盘,让用户可以阅读自己的图谱;而一位取证工具的维护者也让他的工具能够解析 iOS 版本。用户是通过在自己的机器上运行第三方代码,才发现了关于自己家人的推断性亲属标签。这是一种失败模式,而工程团队往往是睁着眼睛走进去的:系统对一个人做出了结论,而这个人却没有任何官方途径去查看、更正或删除这些结论。

这不仅仅是伦理上的勾选项,它也是运营层面的问题。如果你看不到图谱,就无法调试它。当用户反馈“你的助手把我前任当成了我的妻子”,唯一能回答“为什么”的办法,就是沿着溯源关系追踪这条边,找到产生它的信号。那些尽早构建读取路径的团队(比如内部查看器、导出按钮,或者每个推断事实旁边的“解释这一点”功能)能交付更好的模型,因为错误的推断会变成可见的缺陷报告,而不是无声的不满。而那些没有这样做的团队,最终会看到用户在社交媒体上截图分享被逆向出来的仪表盘,这比任何设置页面都要糟糕得多。

这是我用惨痛经历总结出的经验法则:对于任何会对用户得出结论的功能,检视界面不是可以留到后续版本再补的锦上添花,它必须与功能在同一个版本中上线,否则这个功能就不该上线。成本不过是一个设置面板和一个 JSON 导出,回报则是你不必在新闻稿里苦苦哀求的信任。实际上,监管机构也正盯着这个空白。那些对人们推断敏感属性的系统,理应让这些人能够看见其中的内容,而“在设备上”不会被认可为让信息对用户不可见的理由。

下一个本地优先 ML 功能可以借鉴什么

抛开争议不谈,这就是我会交给任何需要做不能回传数据的个性化团队的架构,而且说实话,大多数个性化功能本就不该回传数据。浓缩后的蓝图如下:

  • 多个小分类器优于一个大模型。每个信号对应一个分类器,各自可独立测试、可重新训练,而且足够轻量,可以长期在电池供电下运行。
  • 带具体化边的三元组存储。每条事实都携带置信度、来源和时间戳;每条事实都可以撤回而不抹去历史。SQLite 就够用。
  • 为精确率调优的实体消解。错误合并是灾难性的错误,错误拆分只会让你变慢。在统一之前先进行佐证。
  • 超越数据驻留的隐私工程。静态加密、精细的同意管理、保留期限控制,因为聚合会制造一个任何单一输入都不曾构成的攻击目标。
  • 从第一天起就提供检视路径。如果系统对用户得出了结论,用户就应该能够查看、更正并删除这些结论。

如果你想找一个服务端的具体起点,我们写过构建完全离线可用的 LLM 功能,同样的纪律在这里也适用:假设网络已经断开,电量预算有限,而用户不欠你任何东西。这一结局令人不安:Apple 的工程师构建了一套确实值得赞赏的东西,却又因为沉默而削弱了它。分类器、schema,以及选择在本地进行推断而不是把一切都上传到数据中心的克制,这些才是值得借鉴的部分。而那种未经文档说明、始终在线、只能通过终端命令退出的姿态,则是应当避免的部分。构建图谱,并告诉用户它的存在。两半都是工程,而且后一半不是可选项。