权重空间编程：LLM 的第三根杠杆
梯度下降从来都不是什么神圣的东西。它只是脚手架，是我们手头唯一能塑造数十亿个没人读得懂的数字的通用工具，于是整个深度学习的信仰体系都围绕它搭了起来。MIT CSAIL...
人工智能与机器学习
探索人工智能、深度学习、大语言模型和机器学习工程的最新动态。
26 篇文章
JavaScript 框架隐藏的 AI 成本
代理花了十一分钟读迁移指南，才写下第一行代码。这不是你的代理，而是同事上周在一个 SvelteKit 项目上用的那个，提示词和你一小时前给 React 应用的一模一样。你的那次大约八分钟、四百万 token 就完成了。他们的那次花了十七分钟，消耗接近一千万...
无推荐信息流：策展胜过算法
周五晚上11点。你很累，打开 YouTube，首页迎面而来的是一堵尖叫式缩略图墙、震惊的表情，还有系统在2019年就认定你喜欢的那三个话题。上面没有一个是你想看的，但你还是会往下刷，因为界面就是为“刷”而设计的。如果你有过这种特别的疲惫感，就能明白为什么无推荐信息流最近突然火了起来，也能明白为什么一个用 Hacker...
为什么LLM腔一眼就能认出，如何修正
花十分钟读一读2023年底以来的博客文章，你就会感觉到：所有文章仿佛出自同一个有点过分热情的实习生之手。这就是LLM腔——大语言模型在被要求写作时默认采用的那种独特、一眼就能认出的文风。它并非某个模型的缺陷，而是这类系统训练方式带来的结构性产物。如果你把AI生成的文字发给读者，不管你是否意识到，它都在消耗读者的注意力、...
自托管 Mistral Large 4：踩坑后的经验教训
Mistral 发布 Mistral Large 4 的权重时，一个约 1 万亿参数、每次激活约 520...
Stack Overflow 正在消亡：关于其替代者的 5 个误区
Stack Overflow 现在每月的新问题不到 1,000 个，比它 2008 年上线的第二个月还少。如果你在过去十五年里任何时候学过编程，这个数字都应该让你愣住。这个曾经是互联网上开发者知识层核心的网站已经停滞不前，最省事的说法是 ChatGPT...
离线优先AI：打造断网也能用的大模型
停电已经九个小时，手机网络挤爆了，车库冰柜里还塞着你周六买的肉。这还能吃吗？换作平时你会去问聊天机器人。但现在，最先崩掉的是互联网。...
世界模型与视频预测：我之前想错了什么
Genie...
LLM猜想生成与证明检查：谁更胜一筹
第二杯和第三杯咖啡之间，最近不少计算复杂性理论研究者读到了一句他们从没想过会看到的话：一个确定性算法能在大约 2^(n/√(log n))...
推理模型是训练出来的，不是提示出来的
去年团队午餐时我曾经不太有说服力地捍卫过一个观点，如今我更加确信它了：如果你对推理模型的理解还停留在“就是个被要求一步步思考的普通大模型”，那你其实并没有真正理解推理模型，而这种误解正在悄悄地让你在生产环境中损失金钱和准确率。推理模型不是一种提示技巧，而是训练的产物。让它们擅长数学和代码的思维链行为，来自带可验证奖励的...
专用CNN与前沿大模型的图像分类之争
一位皮肤科医生最近把200个经活检确诊的皮肤病变图像拿给两个前沿大模型，以及一个微调过的Inception...
全双工语音模型：测试五个语音AI迷思
我花了两年时间在经典技术栈上构建语音助手：语音转文字进，大语言模型居中，文字转语音出。我们上线的每一项延迟优化都让它变快了，但不知为何体验反而更差。最近出现的一批全双工语音模型，比如 Dessa，这是 Block...
DeepSeek推理引擎：测试五个常见误区
DeepSeek将其生产级LLM推理引擎以Apache...
时间序列基础模型让定制训练变得多余
五年前，如果你在预测团队里说出这样的观点，大概会被笑话：对于大多数时间序列问题，用自己的数据训练模型现在已经是浪费时间。时间序列基础模型在你永远看不到的数百万条序列上训练，覆盖你从未涉足的领域，它很可能在CPU上跑一次前向推理的时间里，零样本击败你精心调优的流水线。Mistral本周发布的Timestral提供从5M到...
混合推理智能体：潜空间思考，文本行动
关于 LLM 智能体，有个不太舒服的事实：它们生成的大部分 token...
AI 代码理解度检查 vs 自动化测试：各自何时更有效
这种场景正变得越来越常见：你的编码 agent 写了四个文件、共 600 行代码，测试全部通过，linter 也没报错，于是你合并了。两周后线上出了问题，你盯着 diff 看，就像在看陌生人写的代码一样，因为从功能上说，确实是别人写的。问题不在代码本身，而在代码和你脑中的心智模型之间的断层。AI...
Flash级大模型才是推理效率的真故事
如果你每天都在争论模型排行榜，这个观点可能会让你不太舒服：对大多数生产环境的LLM工作负载来说，“最聪明”的模型往往是错误的选择。真正值得关注的工程故事，藏在那些中间档位的“Flash”版本里，比如本周刚上线Hugging...
为什么AI基准测试漏掉了90%的真实工作
我有个朋友负责一家中型物流公司的运营。去年春天，她的团队花了三周评估能不能让LLM接手他们的异常处理流程，也就是那些没人愿意干的活：对账三个彼此不兼容的系统里对不上采购订单的发票。供应商的演示稿上全是漂亮的数字：MMLU、GSM8K、HumanEval，外加一堆智能体基准。模型在每个标准测试里都拿了高分。可等他们拿一周...
机械可解释性的五个误区，经得起检验吗
多年来，机械可解释性领域的主流观点相当悲观：神经网络是一团乱麻，要理解它，得先找另一个模型替你把它解开。这种信念左右了研究议程，支撑起了一整套基于稀疏自编码器的子领域，也悄悄让不少工程师觉得探究 LLM...
智能编程 CLI 拆解：循环、上下文与权限
模型才是简单的那部分。至少这是我的观点。过去几年我看着十几款智能编程 CLI 崛起、分叉、又栽跟头，现在我觉得这话是对的：智能编程 CLI的成败取决于它的 harness（外围运行框架），而不是模型本身。OpenCode 2.0...
机器翻译的低资源语言难题
全球大约有7000种语言在使用。Google翻译支持其中约130种，大多数商用机器翻译系统能较好处理的语言则不到30种。如果你说的是约鲁巴语、克丘亚语或高棉语，你对机器翻译的体验大概从“勉强能用”到“离谱到好笑”不等。令人不太舒服的事实是：过去十年NLP的进展大多以英语为先，而高资源语言与低资源语言之间的差距正在拉大，...
状态空间模型 vs Transformer：实用指南
Transformer 不会独占鳌头太久了。我知道这话说得有点满。这些年我们眼看着 Transformer 架构从语言模型一路统治到蛋白质折叠等各个领域。但过去几个月，我在生产负载上拿状态空间模型和 Transformer 基线做了大量对比测试，我确信这个转变是真实的。并不是因为 SSM...
AI工具正在悄然改变开发者的思维方式
我是在持续使用 Copilot 大约半年后注意到这个变化的。当时我在调试一个 Python 脚本，还没读完错误信息就已经下意识地打开了 AI 助手。回溯信息就摆在眼前——KeyError: 'user_id'——但我的第一反应已经变成了"粘贴到聊天窗口"，而不是"先看看再想想"。那一刻让我感到不安，远比任何关于 AI...
LLM Agent 本质上就是分布式系统
AI 社区正在构建多 Agent 系统：一组 LLM 分工协作、相互通信，去解决单个模型无法胜任的问题。一个“研究员”Agent 负责收集信息，一个“程序员”Agent 负责编写实现，一个“审查员”Agent 负责检查质量，一个“协调员”Agent 负责管理整个工作流。这个构想很有吸引力：各司其职的 Agent...
超越自注意力：Transformer 之后是什么
Transformer 架构已经支撑 AI 领域八年了。如今主流的大语言模型、大多数图像生成系统，以及越来越多的音频和视频模型，都建立在《Attention Is All You Need》论文提出的自注意力机制之上。但自注意力有个根本性的问题：它的计算和内存开销随序列长度呈二次方增长。输入长度翻一倍，开销就翻四倍。
在自己的硬件上运行大语言模型
去年我花了4200美元搭建了一套本地推理设备，能以合理的速度跑动一个70B参数的模型。一位同事看了我的配置，问了个显而易见的问题：“为什么不直接用API？这些钱够买八年的API额度了吧。”他的算账没错，但他没看懂这笔账的真正逻辑。