深度解析塑造未来的技术文章。

Ruby 正则与大小写转换漏洞:Unicode 大小写折叠之坑

Ruby 正则与字符串大小写转换的七个漏洞,揭示 Unicode 大小写折叠为何是内存安全雷区,并附审计指南。

一个铅字印刷块分裂成两个较小的块,位于印刷托盘上方
一个字符变成两个,这就是整个漏洞的关键:德语的 sharp s 大写成 SS,缓冲区的计算就乱了套。

一家 Rails 应用在存储邮箱地址之前,会先调用 upcase 做规范化,这是成千上万篇教程推荐的做法。某用户以 mueller@straße.example 注册,表单在某个环节居然把编码当成了 Windows-1252。upcase 调用会把结尾的 ß 变成 SS——原本一个字节的位置变成了两个字节,其中一个字节就写到了堆缓冲区的末尾之外。这并非假设。这是对 Ruby 核心团队刚刚修复的七个 Ruby 正则与字符串大小写转换漏洞之一的合理还原,其中好几个已经有可用的远程代码执行(RCE)概念验证。

此次公告与三个紧急发布版本同时发布——Ruby 4.0.10、3.4.13 和 3.3.14。它是一个很好的案例,说明了更深层的道理:大小写转换看似是字符串库里最简单的操作,实际上却是最危险的之一。这里是 Unicode 庞杂的规范与数十年历史的 C 代码相遇的接缝处,而堆溢出恰恰就在这条接缝上滋生。

七个漏洞,两个子系统,一个根本原因

这七个公告(在 CVE 编号排队等待分配的同时,先以 GHSA 标识符追踪)大致分为两类。两个位于 String 的大小写转换中:一个单字节堆缓冲区溢出,以及一个会级联成堆溢出的整数溢出。另外五个位于 Ruby 的正则表达式引擎中:模式编译期间的 double free、编译期间的整数溢出、大小写不敏感匹配中的越界读取、大小写不敏感反向引用匹配中的越界读取,以及 Regexp#to_s 中的堆缓冲区溢出。

注意这些漏洞的共同点。这不是通常意义上的粗心编码——Ruby 的 C 核心久经考验、经过大量模糊测试。问题在于两个子系统都实现了 Unicode 大小写语义,而 Unicode 大小写语义是个陷阱。大小写不敏感的正则匹配需要同时对模式和输入做折叠,这意味着引擎在运行与 String#upcase 相同的易错映射表,只是路径更热、攻击者对输入的影响更大。大小写不敏感模式下的反向引用必须比较折叠后的子串。Regexp#to_s 则要把模式的源文本连同选项重新输出,它在为一段本身就涉及大小写感知逻辑的重建过程分配缓冲区。这些代码路径都要回答同一个看似简单、实则很难的问题:这个字符串改变大小写之后会变多大?

Ruby 3.3 能拿到修复,是因为它仍处于安全维护期。Ruby 3.2 及更早版本已经停止维护,什么都拿不到——如果你还在用这些版本,这份公告就是你的迁移截止日期,而不只是一条提醒。

大小写转换出错的简史

在 ASCII 中,改变大小写只是翻一个比特位。二十六个字母对,一一对应,长度不变,也与区域无关。K&R 时代 C 语言里的 toupper() 用一张查找表就把这个思路体现得淋漓尽致。大多数人带入成年的正是这种心智模型,而它也嵌在世界各地 C 代码的缓冲区大小计算逻辑里。但对于基本拉丁字母之外几乎所有的书写系统来说,这种模型都是错的。

Unicode 定义了数千种大小写映射,其中相当一部分并非一对一。德语的 sharp s(ß)大写为 SS。ff 连字大写为 FF。亚美尼亚语的连字也会展开。希腊语有依上下文而定的 sigma——σ 与词尾的 ς,所以正确的折叠取决于前后字符。土耳其语和阿塞拜疆语则有有点 I / 无点 I 的问题:i 大写为 İ,ı 大写为 I,这一问题在土耳其语区域设置下曾搞坏了从 Java 应用到 PHP 的 strtoupper 等一大堆软件。切罗基语则在 2015 年的 Unicode 8.0 中追加了小写字母,把原本无大小写的文字变成了有大小写的文字,使各处软件的既有假设全部失效。

旧式编码让情况更糟。Windows-1252 有小写 ß 的字节(0xDF),却没有大写版本的字节——因为历史上德语正文从来不用它,写的就是 SS。于是,当一个处理 Windows-1252 字符串的大小写转换例程遇到 ß 并正确地替换为 SS 时,字符串会多出一个字节。公告发布后流传的一些深入分析认为,这正是那个单字节溢出:转换循环似乎是逐字符检查缓冲区余量,于是位于严格按大小分配的字符串末尾的 ß 会产生一个多余的 S,写到分配区域之外。由攻击者控制的单个 S 溢出是一种令人头疼、非常棘手的利用原语,但公告确认已经存在实现 RCE 的概念验证,所以确实有人完成了堆喷布局。

大小写转换不是双射,不保持长度,不与区域无关,也并非在每种编码中都能表示。假设它们具备这些性质的代码,就是等待模糊测试器发现的漏洞。

为什么正则引擎才是更大的隐患

Ruby 的正则引擎是 Onigmo,它是 Oniguruma 的一个分支,确实相当出色——支持数十种编码、完整的 Unicode 大小写折叠、后行断言、命名分组和反向引用,全部用 C 实现,其分层结构可以追溯到 1990 年代末。问题恰恰出在这种分层上。Onigmo 中大小写不敏感的匹配意味着每个比较点都可能运行折叠逻辑,而折叠会改变长度,因此模式偏移、字符串偏移和匹配边界之间的记账工作异常复杂。其中两个已修复的漏洞正是这套机制中的越界读取——一个出现在一般的大小写不敏感匹配中,另一个专门出现在大小写不敏感的反向引用匹配中,引擎在这里要把先前捕获的(已折叠的)子串与当前位置进行比较。

不过,利用模型比内部实现更值得关注。五个正则漏洞中有三个会在模式编译阶段触发,公告也直言不讳地指出了谁会受影响:编译攻击者可控模式的应用。你可能觉得这种情况很少见,其实并不。每一个被包裹在 Regexp.new(query) 中的搜索框、每一条从数据库加载的可配置校验规则、每一个根据运维人员(或被攻陷的租户)控制的配置文件来构建模式的日志解析或路由层,都是可以被恶意输入触达的编译路径。在这份公告之前,编译恶意模式的最坏结果是 ReDoS:灾难性回溯的模式把 CPU 跑满。烦人,但还能恢复。现在最坏的结果变成了内存损坏,并且已有 RCE 概念验证。对于你多年来一直在生产环境中运行的同一行代码来说,这是性质完全不同的风险。

这里有个值得点明的模式:规范说的是一回事,C 代码做的是另一回事,而两者之间的差距是可以被利用的。我们之前也讨论过这种动态——规范与实现之间的差距正是 bug 的藏身之处——而 Unicode 的大小写折叠表,是让 C 程序员去实现的最复杂的规范之一。这些表会随 Unicode 版本变化,特殊大小写规则还有各种子条款,而 2003 年编写缓冲区大小计算代码的人,面对的是一个比今天你的字符串所用 Unicode 更小、更简单的版本。

整数溢出:四 GB 变成六字节

第二个字符串漏洞很好地说明了另一种失效模式:在 64 位世界中使用 32 位长度运算。公告发布后流传的这个概念验证使用了 Shift_JIS,字符串超过四 GB:

str = ("\x82\xA0" + ("A" * (2**32 + 4))).force_encoding(Encoding::Shift_JIS)
puts "str.bytesize: #{str.bytesize}"   # 4294967302
new_str = str.downcase
puts new_str.bytesize   # 6 on unpatched builds (!)
puts new_str.bytes      # [130, 160, 97, 97, 97, 97]

一个 4,294,967,302 字节的字符串输入后,downcase 的结果长度却只报告为 6。在转换路径的某处,长度被通过 32 位类型计算或截断了,2³² + 6 回绕成了 6,随后的分配或拷贝就按这个值来确定大小——这是典型的“整数溢出导致堆溢出”的流水线。四 GB 听起来像是荒谬的输入,但别忘了,运行中进程里的字符串不必一次性通过网络到达:它们可以从分块数据、解压缩、导入任务和文件解析器中的拼接逐步构建起来。能够影响字符串累积数据量、又能让 downcase 作用于它的攻击者,就同时掌握了这个漏洞的两半。

两个字符串漏洞与 Alpine 那个存在了十年的 asterisk 漏洞有着共同的架构教训:危险的代码位于一条没人会把它当作攻击面的路径上。没人会对 upcase 做威胁建模。这正是这些漏洞能潜伏多年的原因——它们一直待在人类不会审计的路径上,而且直到最近,模糊测试器也没能足够智能地构造出合法的多字节编码字符串去触达它们。

是机器发现了这些漏洞,这改变了计算方式

看看致谢名单。七个公告中有四个感谢了 Ada Logics 的 Stephan Lipp——该公司是 OSS-Fuzz 大部分测试框架开发背后的力量——以及 Anthropic。这是一位模糊测试基础设施专家与一个 AI 模型的组合,而这并非近来第一个带有这种特征的公告。这条发展脉络值得回味:模糊测试始于 1990 年 Barton Miller 把随机垃圾数据喂给 Unix 工具;2013 年 AFL 的覆盖率引导变异让它变得聪明起来;2016 年起 OSS-Fuzz 对开源项目进行持续高强度测试,使其工业化;如今又多了一层能够推理代码的能力——构造一个 4 GiB 的 Shift_JIS 字符串,或者一个以 ß 结尾的 Windows-1252 缓冲区,需要理解编码的合法性和长度运算,而不只是变异字节。

一台机械扫描臂在传送带上检查穿孔卡片,其中一张发光。
覆盖率引导的模糊测试加上语言模型推理,正以远超人类的速度审计老旧的 C 代码。

这种战略含义是双向的。防御方获得了对代码库的持续、不知疲倦的审计,而任何团队都无力人工审查这些代码。但同样的能力任何拥有模型和算力的人都能获得,而且并非每个人都会提交公告。那个让内存破坏类漏洞在冷门代码路径中可以多年安然存活的“舒适时代”正在结束;发现漏洞的经济成本已经崩塌。我以前说过 AI 扫描器正在上门讨债,要我们偿还技术债,而这就是收据:一个被数百万人使用的语言运行时,不是被一个周末闲逛的研究员发现问题,而是被一条会一直运行下去的自动化流水线找到了问题。

我的立场是:这强化了内存安全语言的必要性,但不是讨论里通常那种轻率的说法。把 Onigmo 用 Rust 重写并不能修复逻辑问题——会改变字符串长度的大小写折叠依然是规范层面的隐患,缓冲区大小的问题依然必须正确回答。内存安全真正消除的是后果的梯度。逻辑错误变成了 panic、错误结果或失败的请求,而不是 RCE。这不是小事;它是事故与停机通知之间的区别。

如何审计你自身的暴露面

从最明显的做起,逐步向外扩展。升级到 4.0.10、3.4.13 或 3.3.14——Onigmo 内嵌在 Ruby 构建中,所以没有单独的库需要打补丁;运行时本身就是补丁。然后审计你的应用代码中两种危险形态:攻击者可影响的字符串流入大小写操作,以及攻击者可影响的模式流入 Regexp.new 或 Regexp.compile。

  • 不要把用户输入编译进模式。如果用户提供搜索词,用 Regexp.escape 对其转义。如果确实需要正则的表达能力,就在前面加上白名单和严格的超时限制——但要知道,超时只能防御 ReDoS,无法防御内存损坏。
  • 在信任边界处规范化编码。这两个字符串漏洞依赖于特殊编码(Windows-1252、Shift_JIS)。如果你的应用只处理 UTF-8,就在边界处明确说明:在入口处强制或转码编码,并拒绝无法干净转换的内容。
  • 优先使用大小写不敏感比较,而不是大小写转换。a.casecmp?(b) 直接回答问题;a.upcase == b.upcase 则会按输入声称的编码分配两个新字符串。比较 API 的语义表面要小得多。
  • 在不可信数据上搜索 upcase、downcase、swapcase 和 capitalize。每个调用点都是一处隐藏着长度假设的地方。对于你自己编写的、做了自定义大小写逻辑的任何 C 扩展也是如此——它们无法享受核心团队修复带来的任何好处。
  • 对你自己拥有的代码做模糊测试。Ruby 本身由 OSS-Fuzz 做模糊测试,但你的 C 扩展没有。AFL++ 或带 ASan 的 libFuzzer 能在你的代码中找到与机器刚在 Ruby 中发现的相同类别的漏洞。
  • 了解你所用运行时的维护状态。Ruby 3.2 已停止维护,也没有收到这些修复。当补丁流已经中断时,「它还能用」并不是一种安全态势。

针对最常见的场景——为唯一性检查而规范化用户名或邮箱——给出一个具体的前后对比:

# Before: allocates a new string, trusting the input's claimed encoding
def normalize(username)
username.upcase
end
# After: pin the encoding at the boundary, fold for comparison only
def normalize(username)
utf8 = username.encode(Encoding::UTF_8, invalid: :replace, undef: :replace)
utf8.downcase(:fold)
end
# And for comparisons, skip allocation entirely:
def same_user?(a, b)
a.encode(Encoding::UTF_8).casecmp?(b.encode(Encoding::UTF_8))
end

如果运行时未打补丁,这些都无法让你安全——这正是升级的意义。但这些习惯能缩小你的应用从底层继承漏洞的范围,也能让你的代码诚实地面对一个事实:文本不等于字节。

工作台上的挂锁,其中一把被放大镜照着打开,旁边摆着精细工具
审计你的暴露面:那些不是你亲手装上的锁,依然算你的。

对语言运行时的更深层教训

有一种冲动是把这件事归档为「C 很危险,等下一集再说」,公告发布后的一些敷衍回应确实就是这么做的。但我想再深入一步。这七个漏洞其实并非真的与 C 有关——它们关乎的是不断演进的国际化标准与僵化的实现假设之间的错配。Unicode 会持续添加文字、完善映射。地球上每一个语言运行时都有依据某个过去版本的表格编写的大小写转换代码,其缓冲区大小则依据过去对字符串可能膨胀多少的理解来确定。Ruby 这个月中招了;下一个中招的,可能是别人的正则引擎、大小写折叠器或规范化例程。

实践上的结论是:把文本转换当作安全边界,而不是普通的工具函数。任何重新编码、改变大小写、规范化或折叠的操作,都是一种解析器,而解析器正是内存漏洞的温床。作为一个语言爱好者,我觉得更令人满足的历史性结论是:谦逊的德语 ß——自 Fraktur 字体时代起就让印刷工人颇费周折的字母——竟然能跨越六个世纪的排版史,在堆缓冲区末尾之外多写下一个字节。语言从来就不简单,只是我们造机器时假设它很简单。