Ruby 정규식 취약점: 유니코드 대소문자 변환의 함정
Ruby 정규식과 문자열 대소문자 변환에서 발견된 취약점 7개와 유니코드 케이스 폴딩이 메모리 안전성을 위협하는 이유, 점검 방법을 정리했습니다.

Rails 앱은 이메일 주소를 저장하기 전에 upcase를 호출해 정규화합니다. 수많은 튜토리얼이 권하는 방식이죠. 어떤 사용자가 파이프라인 어딘가에서 Windows-1252를 괜찮은 인코딩이라고 판단한 폼으로 mueller@straße.example을 입력해 가입합니다. 그러면 upcase 호출이 마지막 ß를 SS로 바꾸는데, 원래 한 바이트였던 자리에 두 바이트가 들어가고, 그중 하나가 힙 버퍼 끝을 넘어 기록됩니다. 가설이 아닙니다. 코어 팀이 방금 패치한 Ruby 정규식 및 문자열 대소문자 변환 취약점 일곱 개 중 하나를 그럴듯하게 재구성한 시나리오이며, 그중 여러 개는 원격 코드 실행(RCE) 증명 코드가 이미 존재합니다.
이번 보안 권고는 Ruby 4.0.10, 3.4.13, 3.3.14 긴급 릴리스와 함께 나왔습니다. 대소문자 변환은 문자열 라이브러리에서 가장 단순한 연산처럼 보이지만 실제로는 가장 위험한 연산 중 하나라는 더 깊은 사실을 보여주는 좋은 사례입니다. 유니코드의 방대한 명세가 수십 년 된 C 코드와 만나는 지점이고, 힙 오버플로우가 자라나는 곳이 바로 그 접점입니다.
일곱 개의 버그, 두 개의 하위 시스템, 하나의 근본 원인
일곱 건의 권고(CVE 번호는 밀린 할당 절차를 거치는 중이라 GHSA 식별자로 추적됩니다)는 두 계열로 나뉩니다. 두 건은 String의 대소문자 변환에 있습니다. 하나는 1바이트 힙 버퍼 오버플로우이고, 다른 하나는 정수 오버플로우가 힙 오버플로우로 이어지는 경우입니다. 나머지 다섯 건은 Ruby 정규식 엔진에 있습니다. 패턴 컴파일 중 발생한 이중 해제, 컴파일 중 정수 오버플로우, 대소문자 무시 매칭에서의 범위 외 읽기, 대소문자 무시 역참조 매칭에서의 범위 외 읽기, 그리고 Regexp#to_s의 힙 버퍼 오버플로우입니다.
이들을 묶는 공통점을 봐야 합니다. 흔히 말하는 부주의한 코딩 문제가 아닙니다. Ruby의 C 코어는 오래되었고, 충분히 검증되었으며, 퍼징도 많이 되었습니다. 문제는 두 하위 시스템 모두 유니코드 대소문자 규칙을 구현한다는 점이고, 그 규칙은 함정입니다. 대소문자를 무시하는 정규식 매칭은 패턴과 입력을 모두 폴딩해야 하므로, 엔진은 String#upcase와 같은 까다로운 매핑 테이블을 더 자주 실행되는 경로에서, 그리고 공격자가 입력을 더 많이 통제할 수 있는 상태로 사용하고 있습니다. 대소문자를 무시하는 모드의 역참조는 폴딩된 부분 문자열끼리 비교해야 합니다. Regexp#to_s는 패턴의 소스 텍스트와 옵션을 다시 내보내야 하는데, 그 재구성 과정에도 대소문자를 인식하는 로직이 들어가 버퍼 크기를 정해야 합니다. 이 모든 코드 경로는 같은 질문에 답해야 합니다. 대소문자를 바꾸고 나면 이 문자열은 얼마나 커질까?
Ruby 3.3은 아직 보안 유지보수 기간이라 수정을 받습니다. Ruby 3.2 이하는 지원이 종료되어 아무것도 받지 못합니다. 이런 버전을 쓰고 있다면 이 권고는 경고가 아니라 마이그레이션 마감일로 받아들이세요.
대소문자 변환이 잘못되어 온 짧은 역사
ASCII에서 대소문자 변환은 비트 하나를 뒤집는 일입니다. 알파벳 26쌍이 일대일로 대응하고, 길이가 바뀌지 않으며, 로케일에 영향을 받지 않습니다. K&R 시절 C의 toupper()가 이 발상을 룩업 테이블 하나에 담고 있습니다. 대부분의 개발자가 머릿속에 품고 있는 모델이고, 전 세계 C 코드의 버퍼 크기 계산 로직에도 이 모델이 들어 있습니다. 하지만 기본 라틴 문자를 넘어서는 거의 모든 문자 체계에서는 틀린 모델입니다.
유니코드는 수천 개의 대소문자 매핑을 정의하고, 그중 상당수는 일대일이 아닙니다. 독일어 에스체트(ß)는 대문자로 SS가 됩니다. ff 합자는 FF가 됩니다. 아르메니아 합자도 확장됩니다. 그리스어에는 문맥에 따라 달라지는 시그마가 있습니다. 단어 중간의 σ와 단어 끝의 ς가 있어서, 올바른 변환은 주변 문자에 의존합니다. 터키어와 아제르바이잔어에는 점 있는 I와 점 없는 I 문제가 있습니다. i는 İ가 되고 ı는 I가 되는데, 이 때문에 터키 로케일에서 Java 앱부터 PHP의 strtoupper까지 여러 소프트웨어가 깨졌습니다. 체로키 문자는 2015년 유니코드 8.0에서 소문자가 소급해서 추가되었고, 원래 대소문자가 없던 문자 체계가 대소문자가 있는 체계가 되면서 세상 곳곳의 소프트웨어 가정이 무너졌습니다.
레거시 인코딩은 상황을 더 나쁘게 만듭니다. Windows-1252에는 소문자 ß(0xDF)를 위한 바이트가 있지만, 대문자 버전을 위한 바이트는 없습니다. 독일어 본문에서는 역사적으로 대문자 형태를 쓰지 않았고, 그냥 SS라고 썼기 때문입니다. 그래서 Windows-1252 문자열을 다루는 대소문자 변환 루틴이 ß를 만나 올바르게 SS로 바꾸면 문자열이 한 바이트 커집니다. 권고 이후 나온 날카로운 분석들은 이것이 바로 그 1바이트 오버플로우라고 봅니다. 변환 루프가 버퍼 여유 공간을 문자 단위로 확인하는 것처럼 보이고, 크기가 빠듯하게 잡힌 문자열의 마지막 문자가 ß이면 할당 영역 밖으로 S 하나가 기록됩니다. 공격자가 통제하는 S 하나로 1바이트 힙 오버플로우를 익스플로잇하는 것은 까다롭고 번거롭지만, 권고에 따르면 RCE PoC가 실제로 존재하므로 누군가는 힙 그루밍을 해낸 것입니다.
대소문자 변환은 전단사 함수가 아니고, 길이를 보존하지 않으며, 로케일에 독립적이지도 않고, 모든 인코딩으로 표현되지도 않습니다. 이런 가정을 하는 코드는 퍼저가 찾아오기를 기다리는 취약점입니다.
정규식 엔진이 더 큰 걱정인 이유
Ruby의 정규식 엔진은 Oniguruma를 포크한 Onigmo입니다. 수십 가지 인코딩, 완전한 유니코드 대소문자 폴딩, 룩비하인드, 명명된 그룹, 역참조를 모두 처리하며, 1990년대 후반으로 거슬러 올라가는 계층 구조를 가진 C 코드로 되어 있습니다. 그 계층 구조 자체가 문제입니다. Onigmo에서 대소문자를 무시한 매칭은 비교 지점마다 폴딩 로직이 실행될 수 있고, 폴딩은 길이를 바꾸므로 패턴 오프셋, 문자열 오프셋, 매치 경계 사이의 계산이 매우 복잡해집니다. 패치된 버그 중 두 건이 바로 이 기계 장치에서 발생한 범위 외 읽기입니다. 하나는 대소문자 무시 매칭 전반에서, 다른 하나는 특히 대소문자 무시 역참조 매칭에서 발생합니다. 이 경우 엔진은 이전에 캡처된(폴딩된) 부분 문자열을 현재 위치와 비교합니다.
하지만 노출 모델이 내부 구현보다 더 중요합니다. 다섯 개의 정규식 버그 중 세 개는 패턴 컴파일 중에 발생하며, 권고는 누가 노출되는지를 분명히 밝힙니다. 바로 공격자가 통제하는 패턴을 컴파일하는 애플리케이션입니다. 드물다고 생각할 수 있지만 그렇지 않습니다. Regexp.new(query)로 감싸진 모든 검색 상자, 데이터베이스에서 불러온 설정 가능한 검증 규칙, 운영자(또는 침해된 테넌트)가 제어하는 설정 파일로 패턴을 만드는 로그 파싱이나 라우팅 계층, 이 모두가 악의적 입력이 도달할 수 있는 컴파일 경로입니다. 이 권고 이전에 악의적 패턴 컴파일의 최악의 결과는 ReDoS였습니다. 백트래킹이 폭주해 CPU를 점유하는 패턴이죠. 성가시지만 복구 가능한 문제였습니다. 이제 최악의 결과는 RCE PoC가 있는 메모리 손상입니다. 몇 년 동안 운영 환경에서 돌아가던 같은 한 줄 코드인데, 위험의 성격이 근본적으로 달라진 것입니다.
여기서 짚어둘 만한 패턴이 있습니다. 명세는 한 가지를 말하는데 C 구현은 다른 것을 하고, 그 간극이 공격에 쓰입니다. 이 흐름은 이전에도 다룬 적이 있습니다. 명세와 구현의 간극은 버그가 사는 곳입니다. 그리고 유니코드 대소문자 폴딩 테이블은 C 프로그래머에게 구현을 요구할 수 있는 가장 풍부한 명세 중 하나입니다. 테이블은 유니코드 버전마다 바뀌고, 특수 케이싱 규칙에는 세부 조항이 있으며, 2003년에 버퍼 크기 계산 코드를 쓴 사람은 여러분의 문자열이 오늘날 도착하는 유니코드보다 훨씬 작고 단순한 유니코드를 기준으로 작업했습니다.
정수 오버플로우: 4기가바이트가 6바이트가 되다
두 번째 문자열 버그는 다른 실패 모드를 잘 보여줍니다. 64비트 세계에서의 32비트 길이 연산입니다. 권고 이후 공개적으로 돌고 있는 이 PoC는 Shift_JIS와 4기가바이트가 넘는 문자열을 사용합니다:
str = ("\x82\xA0" + ("A" * (2**32 + 4))).force_encoding(Encoding::Shift_JIS)
puts "str.bytesize: #{str.bytesize}" # 4294967302
new_str = str.downcase
puts new_str.bytesize # 6 on unpatched builds (!)
puts new_str.bytes # [130, 160, 97, 97, 97, 97]
4,294,967,302바이트짜리 문자열을 넣으면 다운케이스된 결과의 크기가 6으로 보고됩니다. 변환 경로 어딘가에서 길이가 32비트 타입으로 계산되거나 잘렸고, 2³² + 6이 6으로 래핑되었으며, 이후의 할당이나 복사가 그 값에 맞춰 크기가 정해졌습니다. 전형적인 정수 오버플로우에서 힙 오버플로우로 이어지는 흐름입니다. 4기가바이트는 터무니없는 입력처럼 보이지만, 실행 중인 프로세스의 문자열은 네트워크로 한 번에 도착하지 않을 수 있다는 점을 기억하세요. 문자열은 청크, 압축 해제, 가져오기 작업이나 파일 파서의 연결 과정에서 조금씩 만들어집니다. 문자열에 쌓이는 데이터 양을 공격자가 조작할 수 있고, 그 문자열에 downcase가 호출되게 만들 수 있다면, 이 버그의 두 요소를 모두 통제하는 셈입니다.
두 문자열 버그는 Alpine의 십 년 묵은 애스터리스크 버그와 아키텍처 교훈을 공유합니다. 위험한 코드가 아무도 공격 표면이라고 생각하지 않는 경로에 있다는 것입니다. upcase를 위협 모델링하는 사람은 없습니다. 바로 그래서 이런 버그가 수년간 살아남습니다. 사람이 감사하지 않는 경로에 있었고, 최근까지 퍼저가 유효한 멀티바이트 인코딩 문자열을 만들어낼 만큼 똑똑하게 도달하지 못했기 때문입니다.
버그를 찾은 것은 기계였고, 그것이 계산을 바꿉니다
크레딧을 보세요. 일곱 개 권고 중 네 개가 Ada Logics의 Stephan Lipp에게 감사를 표합니다. Ada Logics는 OSS-Fuzz 하네스 개발의 상당 부분을 맡아온 회사입니다. 그리고 Anthropic도 있습니다. 퍼징 인프라 전문가와 AI 모델이 짝을 이룬 것이고, 최근 이런 조합이 나온 첫 권고도 아닙니다. 이 계보는 음미할 가치가 있습니다. 퍼징은 1990년 Barton Miller가 유닉스 유틸리티에 무작위 데이터를 던지면서 시작되었고, 2013년 AFL의 커버리지 기반 뮤테이션으로 똑똑해졌으며, 2016년부터는 OSS-Fuzz가 오픈소스 프로젝트를 지속적으로 두드리며 산업화되었습니다. 이제는 코드를 추론할 수 있는 계층까지 얻었습니다. 4GiB Shift_JIS 문자열이나 ß로 끝나는 Windows-1252 버퍼를 만들려면 바이트를 뒤섞는 것 이상으로, 인코딩 유효성과 길이 연산을 이해해야 하기 때문입니다.

전략적 함의는 양날의 검입니다. 방어하는 쪽은 어떤 팀도 손으로 검토할 여유가 없는 코드베이스를 지치지 않고 계속 감사할 수 있게 됩니다. 하지만 같은 능력을 모델과 컴퓨팅 자원이 있는 누구나 가질 수 있고, 모든 사람이 권고를 신고하는 것은 아닙니다. 흔한 메모리 손상 버그가 외진 코드 경로에서 몇 년 동안 조용히 살아남을 수 있던 편안한 시대는 끝나가고 있습니다. 버그를 찾는 경제성이 무너졌기 때문입니다. 저는 앞서 AI 스캐너가 기술 부채의 청구서를 들고 온다고 주장한 적이 있는데, 이번이 그 영수증입니다. 수백만 명이 쓰는 언어 런타임이 한가한 연구자가 주말에 찾은 것이 아니라, 계속 돌아가기만 하면 되는 자동화 파이프라인에 의해 허점이 드러났습니다.
제 입장은 이렇습니다. 이 사건은 메모리 안전 언어의 필요성을 강화하지만, 보통 논의에서 말하는 식의 피상적인 방식은 아닙니다. Onigmo를 Rust로 다시 짰다고 해서 로직의 문제가 해결되지는 않았을 것입니다. 길이를 바꾸는 케이스 폴딩은 여전히 명세 수준의 위험이고, 버퍼 크기 질문은 여전히 정확히 답해야 합니다. 메모리 안전성이 제거하는 것은 결과의 심각도 기울기입니다. 로직 버그는 패닉, 잘못된 결과, 실패한 요청이 되지 RCE가 되지 않습니다. 이것은 작은 차이가 아닙니다. 사고와 장애 공지의 차이입니다.
내 노출 범위를 감사하는 방법
가장 기본적인 것부터 시작해 바깥으로 넓혀 가세요. 4.0.10, 3.4.13 또는 3.3.14로 업그레이드하세요. Onigmo는 Ruby 빌드에 내장되어 있어서 따로 패치할 라이브러리가 없습니다. 런타임 자체가 패치입니다. 그다음 애플리케이션 코드에서 위험한 두 가지 형태를 감사하세요. 공격자가 영향을 줄 수 있는 문자열이 대소문자 변환 연산으로 흘러 들어가는 경우와, 공격자가 영향을 줄 수 있는 패턴이 Regexp.new나 Regexp.compile로 흘러 들어가는 경우입니다.
- 사용자 입력을 패턴으로 컴파일하지 마세요. 사용자가 검색어를 입력한다면
Regexp.escape로 이스케이프하세요. 정말로 정규식의 힘이 필요하다면 허용 목록과 엄격한 타임아웃을 앞단에 두세요. 다만 타임아웃은 ReDoS에는 도움이 되지만 메모리 손상에는 도움이 되지 않는다는 점을 기억하세요. - 신뢰 경계에서 인코딩을 정규화하세요. 두 문자열 버그는 Windows-1252, Shift_JIS 같은 특이한 인코딩에 의존합니다. 앱이 UTF-8만 다룬다면 가장자리에서 그것을 명확히 하세요. 유입 시점에 인코딩을 강제하거나 트랜스코딩하고, 깔끔하게 변환되지 않는 입력은 거부하세요.
- 대소문자 변환보다 대소문자 무시 비교를 선호하세요.
a.casecmp?(b)는 질문을 던지고,a.upcase == b.upcase는 입력이 주장하는 인코딩으로 새 문자열 두 개를 할당합니다. 비교 API는 의미상의 표면이 훨씬 작습니다. - 신뢰할 수 없는 데이터에 대해
upcase,downcase,swapcase,capitalize를 검색하세요. 호출 지점마다 길이에 대한 가정이 숨어 있습니다. 직접 작성한 C 확장이 자체적으로 대소문자 로직을 구현하고 있다면 같은 주의가 필요합니다. 그런 코드는 코어 팀의 수정 혜택을 전혀 받지 못합니다. - 직접 가진 코드를 퍼징하세요. Ruby 자체는 OSS-Fuzz로 퍼징되지만, 여러분의 C 확장은 그렇지 않습니다. ASan을 켠 AFL++나 libFuzzer를 쓰면, 기계가 Ruby에서 방금 찾아낸 것과 같은 버그 유형을 여러분의 코드에서도 찾아낼 수 있습니다.
- 런타임의 유지보수 상태를 확인하세요. Ruby 3.2는 지원이 종료되어 이 수정을 받지 못했습니다. 패치 스트림이 멈춘 상태에서 '아직 동작한다'는 것은 보안 태세가 아닙니다.
가장 흔한 패턴인 사용자 이름이나 이메일을 고유성 검사를 위해 정규화하는 경우의 전후 비교입니다:
# Before: allocates a new string, trusting the input's claimed encoding
def normalize(username)
username.upcase
end
# After: pin the encoding at the boundary, fold for comparison only
def normalize(username)
utf8 = username.encode(Encoding::UTF_8, invalid: :replace, undef: :replace)
utf8.downcase(:fold)
end
# And for comparisons, skip allocation entirely:
def same_user?(a, b)
a.encode(Encoding::UTF_8).casecmp?(b.encode(Encoding::UTF_8))
end
패치되지 않은 런타임에서는 이런 습관만으로 안전해지지 않습니다. 그 목적은 업그레이드입니다. 하지만 이런 습관은 하위 계층에서 애플리케이션이 물려받는 버그의 범위를 줄이고, 여러분의 코드가 '텍스트는 바이트가 아니다'라는 사실에 솔직하게 대응하도록 만들어 줍니다.

언어 런타임에 대한 더 깊은 교훈
이 사건을 'C는 위험하다, 더 많은 소식은 11시에'라고 치부하고 싶은 유혹이 있습니다. 실제로 권고에 대한 피상적인 반응들도 그렇게 했습니다. 하지만 저는 한 발 더 나아가고 싶습니다. 이 일곱 개의 버그는 사실 C에 관한 것이 아닙니다. 진화하는 국제화 표준과 고정된 구현 가정 사이의 불일치에 관한 것입니다. 유니코드는 앞으로도 문자 체계를 추가하고 매핑을 다듬을 것입니다. 지구상의 모든 언어 런타임에는 과거 버전의 테이블에 맞춰 작성되고, 문자열이 얼마나 커질 수 있는지에 대한 과거의 이해에 따라 크기가 정해진 대소문자 변환 코드가 있습니다. 이번 달에는 Ruby가 걸렸고, 다음에는 다른 누군가의 정규식 엔진, 대소문자 변환기, 또는 정규화 루틴이 걸릴 것입니다.
실무적인 결론은 텍스트 변환을 유틸리티 함수가 아니라 보안 경계로 취급하라는 것입니다. 재인코딩, 대소문자 변환, 정규화, 폴딩을 하는 모든 것은 파서이고, 메모리 버그는 파서에 살고 있습니다. 언어 덕후로서 개인적으로 가장 흥미롭게 느끼는 역사적 교훈은 이것입니다. 프락투어 시절부터 인쇄업자들이 씨름해 온 소박한 독일어 글자 ß가 여섯 세기에 걸친 타이포그래피 역사를 건너와 힙 버퍼 끝 너머에 바이트 하나를 쓸 수 있다는 것입니다. 언어는 결코 단순한 적이 없었습니다. 우리가 기계를 단순하다고 가정하고 만들었을 뿐입니다.


