循环小模型:生产环境中要停止犯的5个错误
循环Transformer与NVFP4量化改变了小模型的能力边界。这是ML从业者在生产环境选型时仍常犯的五个错误。

去年我给一个团队提过建议,他们每月花大约4000美元,把简单的工单分类提示词通过前沿模型API来处理。这类工作负载是分类和短文本摘要。一个跑在单块GPU上的小语言模型完全能胜任,但团队里没人相信这一点,因为他们上一次测试30B以下的模型时,它在依赖推理的任务上表现很差,之后就再也没看过。
这种盲区的代价正在迅速攀升。Inkling 2 Mini的发布打破了这种成见。这是一个26.4B参数的开放权重混合专家模型,每个token会把中间层循环三次,其智能体编程得分超过了所有100B以下的开源模型,而且只需约20GB内存。一个能离线跑在笔记本上的模型,在SWE-bench风格的任务上超越了体量几倍于它的模型。“小”与“强”之间的差距已经缩小到,从业者手里关于模型规模的大多数经验法则基本过时了。下面是我最常见到的五个错误,以及应对之道。
错误一:把参数量当作能力上限
我们大多数人继承的心智模型很简单:参数是预算,能力随预算线性增长。这其实从来不完全对——训练数据和算力同样至关重要——但在架构开始发挥实际作用之前,它是个够用的经验法则。循环结构就是最清晰的例子。Inkling 2 Mini会把中间12层(24层中的两个六层块)对每个token循环运行三次,而首尾块只运行一次。直觉是:前后层主要负责在嵌入与内部表示之间转换,中间层承载抽象推理。所以你把算力花在了推理发生的地方。
这项已发表的消融实验值得关注:在28项评测中,循环中间12层在27项上优于循环最后12层;而无循环的基线模型,要达到中间循环模型的损失水平,估计需要多出1.5到1.9倍的算力。这不是什么边际调优技巧,而是一种不同的算力分配策略,它在一个具体且可预测的方向上打破了朴素的参数量经验法则。
建议是:评估小模型时,要问算力在每个token上究竟花在哪里,而不仅仅是有多少权重。一个26B参数、只有3.4B活跃参数且中间层循环的模型,更接近“一个会多想一会儿的小模型”,而不只是“一个小模型”。这与我之前提过的一个观点相关:推理能力是训练进模型里的,而不是靠提示词引导出来的——而现在,它也越来越多地被设计进架构里了。
错误二:把推理能力与知识混为一谈
循环模型的故事里,从业者总会忽略这一点,而它迟早会让你吃亏。循环提升的是推理能力,并不会凭空创造知识。事实存在于权重里,而权重的数量就是那么多。Inkling 2 Mini团队对此直言不讳:在事实性基准AA-Omniscience上,该模型的得分与同等规模的其他模型持平。他们的可变循环研究变体,随着循环次数增加,在串行推理和长上下文基准上持续提升——一直到十次循环,是训练时次数的两倍——但像SimpleQA这类知识密集型基准,并不会因为多跑几遍而有所变化。
我看着一位朋友在生产环境中调试过完全相同的误区。他们在一个客服机器人工作负载上,把大模型换成了一个推理能力突出的小模型,看到推理质量明显提升,于是直接上线。两周后问题来了:模型编造了不存在的产品SKU,还虚构了政策细节。它对并不存在的事实进行了非常漂亮的推理。一位早期的Hacker News测试者也在两轮提示之内撞上了同样的墙:要求它写一个涉及冷门API角落的WordPress插件,得到的是自信满满、结构良好、却完全错误的代码。
解决办法不是“换个更大的模型”,而是架构层面的:把小型推理模型与检索和工具搭配使用。值得注意的是,Inkling 2 Mini在BrowseComp和DeepSearchQA上领先同类开源模型,这两个基准衡量的是搜索和工具使用能力。一个工具使用得当的小模型,往往能胜过一个靠回忆过时事实的大模型,因为检索到的上下文是最新的,而且可以审计。我的原则是:如果你的工作负载失败的是推理,循环小模型会有帮助;如果失败的是知识,那就修检索,而不是增加参数。
错误三:一口咬定低比特量化不靠谱
五年前,“我们量化到了4比特”听起来像是一种致歉。你为了能装进更小的硬件,接受了实实在在的质量损失,而低于4比特就是纯粹的科研实验。如今这一假设正让人们付出真金白银的硬件成本。Inkling 2 Mini是端到端以NVFP4训练的,并且原生以NVFP4部署,只有最后四层使用MXFP8——量化不再是训练后的压缩步骤,而是训练配方的一部分。结果是:约20GB的占用,质量却与BF16的同类模型相当。

这带来的下游影响相当惊人。Unsloth团队对量化的痛苦比谁都清楚,他们观察到,这些原生低比特模型对进一步量化的反应异常良好,据报道即便是1比特,top-1一致率仍能保持在约90%。发布后几天内Hugging Face上就出现了GGUF版本,实践者已经在飞机上用MacBook Pro跑它(团队现场演示了在航班中离线构建一个可玩的飞行模拟器),也有人在7900XTX等消费级显卡上运行。
建议是:别再把量化当作性能损失,而是要问模型是否原生以低精度训练。如果是,那么4比特(或更低)版本就是一等公民,你的“我们需要80GB显存”的容量估算就需要重算。如果你正在探索这能为离线部署带来什么,我们在构建可离线工作的LLM中讨论过架构模式,在在自有硬件上运行大语言模型中讨论过硬件方面的内容。
错误四:只评测一次就锁定模型选择
代价最大的错误其实不在技术层面,而在流程层面。团队在开发某个功能时做一次横向评测,选定模型,然后把这个决定当作永久性的。但单位参数能力的前沿推进速度,远超大多数采购周期。Inkling 2 Mini在DeepSWE v1.1上得分48.2%,在Vals Index v2.2上得分46.5%,领先所有总参数低于100B的开放权重模型;而且它的解码速度比同等表现的模型更快,因为拥有3.4B活跃参数的MoE每个token读取的权重远少于稠密的27B模型。九个月前做出的模型选择,已经不再是一个决定,而是一个未经审视的习惯。
但是,朴素地重新评测本身也是个陷阱。公开排行榜衡量的是基准作者认为有趣的东西,而不是你的产品实际需要什么。这正是为什么AI基准会漏掉大部分真实工作背后的核心问题,而小模型让情况更糟,因为它们的能力画像更加参差不齐:Inkling 2 Mini在智能体编程上是同级最佳,但在MultiChallenge上只拿到中等的50.0%,在ComplexConstraints上是33.4%,两项都落后于Qwen3.8-27B。如果你的工作负载是约束密集的多轮对话,那么那些亮眼的编程分数对你毫无意义。
建议是:基于你自己的生产流量,建立一套小型、带版本的评测集——200到500条真实用例,并附上已知的正确输出——每个季度对新发布的模型跑一次。这比想象中便宜,而且能同时捕捉两个方向的意外:比基准看起来更强的模型(有评论者提到Inkling 2 Small“用起来比基准显示的更好”),以及在排行榜上表现出色、却在你的约束密集型提示上失败的模型。每季度花一天时间,第一次让你降一档模型规格时,它就回本了。
错误五:忽视账本中的成本一侧
模型选型的讨论往往执着于准确率,把成本当作事后考虑。这在生产环境中恰恰本末倒置,因为成本曲线决定了什么才真正可行。斯坦福大学的Hazy Research实验室对Inkling 2 Mini做了早期的每焦耳智能测量,得分0.703——而Qwen3.6-35B-A3B为0.430,Gemma-4-26B-A4B为0.159,Qwen3.5-27B仅为0.036。这不是高出几个百分点,而是处于完全不同的量级。而且它会产生复利效应:一个能用更少token得出答案的模型(循环的核心卖点就是不把推理过程写出来也能完成推理),每个任务在算力和延迟上的开销都更低。
最让我兴奋的实际影响是多智能体密度。因为它是小型MoE,你可以把多个智能体的KV缓存装进同一块GPU的显存里。20个模拟村民全部由一台离线MacBook驱动的演示很有趣,但真正有分量的版本是:在一台DGX Spark或一台工作站上跑十几个生产级智能体,而不是调用一批按token计费、还要承担数据外流的API。我们在为什么闪速级LLM才是真正的推理效率故事中写过这一更大范围的转向,而循环小模型让这一论点更加有力。
建议是:围绕每个完成任务的成本来建立成本模型,而不是每个token的成本。循环会增加每个token的挂钟时间(中间层要运行三次,内存带宽计算也要重复读取),因此朴素的每秒token数比较可能在任一方向上产生误导。应当端到端地测量:任务是否完成、用了多少token、消耗了多少能源和延迟。一个每个token慢20%、却能用一半token、更少重试就完成任务的模型,每次都会胜出。

周一到底该做什么
- 按任务类型审计你的API支出。 凡是分类、抽取、路由或简短的智能体循环,都可以考虑换成30B以下的本地模型。算一算成本。
- 把评测集拆分为推理失败与知识失败。 循环小模型解决前者,检索解决后者。不要把两者混为一谈。
- 检查候选模型是否以低精度训练。 如果是,先测试4比特版本而不是最后再测,它才是原生形态。
- 每季度用自己的流量做基准测试。 公开分数只是筛选工具,而不是决策依据。
- 在本地硬件上原型验证一个多智能体工作负载。 当没有按token计费的计量器时,持久化智能体的经济账会彻底改变。
更大的转变不在于某一个模型,而在于前沿实验室的研究方向——循环、量化感知训练、带修复的激进专家剪枝——如今能在几个月内就落地到开放权重中,而且规模适配你已经拥有的硬件。未来几年的赢家不会是API预算最多的人,而是那些定期重新审视自身模型假设的人,因为这些假设的保质期比代码短得多。
一个推理能力强、检索可靠的小模型,在成本、延迟,而且往往在准确率上,都能胜过一个记忆自信却推理懒散的大模型。


