深度解析塑造未来的技术文章。

AI 编程助手:五个误区逐一实测

AI 编程助手让敲代码更快,却未必让软件更好。我们用设计、验证与复杂度这些真实瓶颈,检验五个常见误区。

一台机械臂向工厂车间倾倒发光的砖块,砖块全部堆向唯一一个狭窄的检验闸口。
生成变快了,检验没有变快——而吞吐量取决于最慢的那个环节。

Jonathan Blow——《Braid》和《The Witness》的设计者,也是那种能花十年时间自己做一门编程语言的倔强之人——最近问了一个让每家 AI 编程助手厂商都该脸红的问题:如果 AI 已经解决了编程,为什么我的软件还是老样子?还是一样的崩溃,一样臃肿的更新,还是那些老生常谈的抱怨:应用吃内存,功能却不如被它取代的老工具。常见的回应是「再等半年」,但这个说法并不能真正回答问题。我觉得 Blow 戳到痛处,并没有说错。

我的看法是这样:在搭建了多年 ML 系统、又亲眼看着这些工具落地到真实团队之后,我认为 AI 编程助手现在确实很好用,但它们并没有真正改变你我每天用的软件。两件事同时成立,原因在于这些工具从未瞄准真正的约束。最清楚的理解方式,是拿我最常听到的五个观点逐一检验。

误区一:打字是软件开发的瓶颈

这个说法很有迷惑性:编程就是产出代码,那么一台能把代码产出快十倍的机器,就能让软件开发快十倍。这是个漂亮的三段论,但有一个漏洞——没有人的工作真是这样的。有条老经验法则,在《Clean Code》中广为流传,说开发者花在阅读代码上的时间远超写代码的十倍。这个比例比 LLM 早了十五年,但每一项认真审视工程师时间去向的研究,结论都指向同一个地方:理解现有系统、与其他人协调、等待决策。敲键盘的时间微不足道。

这一点你在自己的一周里就能感受到。自动补全确实省下了实实在在的时间——我绝不会放弃它——但我最难熬的日子,从来不是因为打字不够快,而是因为支付服务里有个没人写下来的不变量,或者三个团队对 API 该承诺什么意见不一。加速那个本来就不慢的环节,对整体吞吐量几乎没有帮助。一条冲压零件比检验线处理速度还快的工厂,并不会多出产品,只会堆出更大的一堆零件。

打字真正成为瓶颈的地方只有一处:从零开始、没有现成系统需要顾及的工作。样板代码、原型、一次性脚本、任何东西的第一个版本。这恰恰也是为什么演示看起来如同魔法——演示永远都是从零开始的。而生产环境中的工程工作几乎全是在既有系统上进行的,这类工作本质上是阅读。

误区二:AI 生成的代码天生就是经过验证的

乐观版的工作流程是:描述任务,模型写出代码,测试通过,合并。问题出在中间那一步。测试通过只能说明你想到要写的测试,与模型想到要写的代码彼此一致。两者完全可能同样地出错,而 LLM 的输出往往正是如此——模型产出流畅、符合惯用法、信心十足的代码,而这种流畅恰恰会让人放下审查的戒备。

下面是我在实际项目中见过的一个小例子,形式上未必完全一致,但本质相同。让它写一个按月执行的任务调度器,你大概会得到类似这样的代码:

from datetime import datetime
def next_monthly_run(day: int, hour: int = 9) -> datetime:
"""Next run time for a job that fires monthly on `day`."""
now = datetime.now()
candidate = now.replace(day=day, hour=hour, minute=0, second=0, microsecond=0)
if candidate <= now:
# Roll forward one month
month = now.month % 12 + 1
year = now.year + (1 if now.month == 12 else 0)
candidate = candidate.replace(year=year, month=month)
return candidate

像读同事的 Pull Request 那样读一下它。写法很地道,年份跨越也处理了,文档字符串甚至是准确的。现在在 4 月 15 日、day=31 的情况下运行它:now.replace(day=31) 会抛出 ValueError,因为四月没有 31 号。这个函数恰恰在最常见的调度需求——月末——上崩溃,而且只在较短的月份出问题,所以它可能在生产环境里看起来一切正常好几周,直到有人注意到。一个遍历整年 now 值的测试几秒钟就能发现这个问题。一个认真的人工审查者大概只有一半的概率能抓到。这种差距,就是验证问题的缩影。

这也是为什么我一直坚持认为,在 AI 占主导的工作流程里,理解性检查与测试之间的选择绝非纸上谈兵,而是整个问题的关键。阅读自己没写过的代码本来就比写它更难。而在这些工具产出的数量级下阅读没有人类写过的代码,会彻底颠覆审查的经济账。我接触的团队已经不缺代码了,他们缺的是既能理解代码做什么、又愿意在上面签上自己名字的人。

放大镜下,一块抛光大理石板上显露出一道发丝般的裂纹。
看似合理的代码,失效方式就像大理石:裂纹只有仔细看才能发现。

误区三:代码便宜了,软件设计也就便宜了

还有一种更微妙的想法:既然代码几乎不花钱,架构就没那么重要了,因为我们随时可以重写。抽象糟糕?重新生成一个。数据模型不对?那也重新生成。我听到资深工程师一本正经地这么说过,但这混淆了修改文本的成本与修改决策的成本。

软件的难点从来不在代码本身。难的是决定什么东西值得做,把一个混乱的人类领域建模成机器能执行的东西,并做出架构上的押注,而且这些押注在需求变化时不会崩塌——而需求总是会变。这些问题关乎意图与价值,而不是模式补全。一个在现有软件语料上训练的模型,能告诉你同类系统通常长什么样,却无法告诉你你的系统应该长什么样,因为答案存在于你的用户、你的约束条件,以及你的组织对风险的承受力之中。在这一点上我们几乎没有任何进展,而且我认为这不是一个可以靠规模化解决的能力缺口,而是一种类别错配。

重写也并非免费。工程投入的大部分花在修改已经存在的系统上,而修改系统首先意味着要逆向推导其中蕴含的意图——那些没人记录的不变量,那个恰好对某个重要客户至关重要的边界情况。模型不知道这些意图,团队往往也不知道。这正是规格与实现之间的鸿沟,而 bug 恰恰就藏在这里。生成更多实现只会让这道鸿沟越来越宽,除非有人把规格牢牢抓在手里。

Fred Brooks 有个术语,用来描述让软件保持连贯的东西:概念完整性——即一个人,或少数几个步调一致的人做出了决策的那种感觉。流畅的代码生成并不会把我们推向这一点。恰恰相反,它让成千上万个互不协调的微决策变得更廉价,而这正是导致系统看起来经过设计、用起来却像是拼凑而成的原因。

误区四:软件没有变化,说明 AI 编程失败了

现在说说反方观点,因为 Blow 的论述同样并非无懈可击。跳出大众市场的商业软件来看,事情其实正在发生变化。独立游戏圈里,一些小团队用自研引擎做出了策略游戏,而十年前这需要暴雪那种规模的人力。更让我觉得意味深长的是个人软件的悄然兴起:人们在打造自己的邮件客户端、日历应用、理财工具和 git 前端,完全按照自己的思维方式来定制。这些工具粗糙,绝对经不起分发给一万个陌生人,但它们确实存在,每天都在被使用,而在以前它们根本不划算。

即便是机构,也在以总体指标忽略的方式发生转变。我了解一些组织的现代化计划,本质上是这样的:通过像样的 API 把遗留系统暴露出来,让员工借助智能体式编程工具,在其上构建自己的端点和界面。这不是「我的软件看起来还是老样子」。这是软件正在溶解为更个人化的东西——如果你只盯着应用商店的排行榜,它就是隐形的。

不过,Blow 的观察之所以让人觉得真实,更深层的原因其实是组织层面的,而非技术层面。商业软件是由公司所优化的东西塑造的——用户黏性、锁定、发布节奏、支持成本——而 AI 只是让你更快地得到你本来就想要的东西。它并不会改变你想要什么。一家因为臃肿不在成本表上而发布臃肿软件的公司,现在只会在更短的开发周期里发布同样臃肿的软件。面向数千用户发布的软件,质量标准由激励机制、测试纪律和品味决定,而这些都不是模型的输出。

还有一个很朴素的滞后论点。真正可靠的 AI 编程可能只有大约一年的历史;在那之前它很不稳定,再往前它还只是个玩具。产品从构思、开发到上线需要数年时间。现在就用已发布软件的变化来评判这些工具的效果,就像在新犁发明一个月后,用收成来评判它的好坏。

误区五:下一代模型会填平这道鸿沟

乐观派最有力的说法是:前面所有的质疑描述的都是当下的模型,而当下的模型是我们将来会用到的最差的模型。这话部分正确。上下文窗口会变大,幻觉出来的 API 会减少,智能体也会更擅长运行自己的测试。我预计会有实质性的进步,尤其是在规格明确的任务上。

但请注意,哪些瓶颈是能力问题,哪些不是。随着模型更可靠,验证会变得更容易——这属于能力范畴。但决定什么值得做、维持概念完整性、改变组织的优化目标——这些都不在任何模型的路线图上,因为它们本来就不是模型的问题。还要小心把基准测试的进步当作证据:基准测试遗漏了真实工作的大部分内容,而真实工作恰恰是那种规格不明确、充满意图的类型。

所以我在这里把赌注立在纸面上:对于有强烈品味的个人开发者和小团队,这些工具会变得极其好用;而大众市场软件即便有所改进,也会很有限——因为那里的约束从来不是代码。如果这听起来很悲观,其实并非如此。这意味着杠杆掌握在你自己手里,掌握在你的团队架构里,而不是在某家实验室的下一次发布中。

一位园丁在阳光充足的工作台上,用手动工具修剪盆景。
软件质量依然是个需要持续打理的问题,而不是产线问题。

真正能提升软件质量的是什么

如果生成变得廉价而验证依然昂贵,理性的应对就是转移投入。具体来说:

  • 把测试和类型当作生产基础设施。属性测试、不变量检查和快速的 CI,正是让廉价生成变成廉价正确生成的关键。像预算算力一样为它们做预算。
  • 先写规格,再写提示词。规格如今是团队产出的杠杆最高的工件,因为它是模型无法提供的东西,也是评审人员用来核对的依据。
  • 在 AI 真正擅长的地方使用它:从零开始的原型、迁移、样板代码、个人工具,以及快速探索设计空间。对于意图没有文档记录的关键遗留路径,则要保持警惕。
  • 保护设计时间。当生成速度提升三倍,压力就会是把路线图也填满三倍。要克制住。做决策本身就是工作。

瓶颈从来不是打字,而始终是决策与证明。

Blow 的问题是有答案的,而且如果你读得对,这答案是令人乐观的。软件看起来还是老样子,是因为软件质量始终受制于决策、验证和用心,而 AI 编程助手虽然确实有用,加速的却是那个本来就不慢的环节。这意味着让软件变得更好的工具,依然是老一套:品味、规格,以及证明事情的纪律。只不过模型让人再也没法假装看不见这一点了。