다음에 올 것을 만들어가는 기술에 대한 심층 기사.

OpenSSL EVP_EncodeBlock 오버플로우: 흔한 오해 5가지 검증

OpenSSL EVP_EncodeBlock 버퍼 오버플로우(CVSS 9.8)를 통해 base64 인코더 API의 보안 맹점을 짚고, 흔한 오해 5가지를 검증합니다.

거대한 깔때기가 빛나는 큐브들을 작은 넘치는 유리컵에 쏟아붓고 있다.
EVP_EncodeBlock은 호출자가 버퍼 크기를 제대로 잡았다고 믿으며, 그걸 확인하지 않습니다.

바이트를 base64 텍스트로 바꾸는 것밖에 안 하는 함수가 CVSS 9.8점을 받았습니다. OpenSSL의 EVP_EncodeBlock 버퍼 오버플로우(추적 번호 CVE-2026-121481)는 얼핏 지루해 보이지만, base64 인코딩이 인증서 처리, HTTP 클라이언트, 프록시 인증, 그리고 인프라 곳곳의 접착 코드 밑바닥에 깔려 있다는 걸 깨닫는 순간 얘기가 달라집니다. 수정 자체는 커밋 4개면 끝났지만, 에러 반환값이 대체 어떤 모습이어야 하느냐를 두고 메인테이너들 사이에서 꽤 뜨거운 논쟁이 있었습니다.

이 CVE를 둘러싼 논의는 API 설계에 관심 있는 사람이라면 놓칠 수 없는 자료입니다. 인코딩 함수에 대해 엔지니어들이 품는 가정이 여럿 드러나는데, 그 가정들이 수십 년, 여러 라이브러리에 걸쳐 같은 종류의 버그를 계속 만들어 내고 있기 때문입니다. 흔한 믿음 다섯 가지를 골라서, 실제로 무슨 일이 있었는지와 비교해 보겠습니다.

EVP_EncodeBlock 버퍼 오버플로우는 실제로 어떻게 작동하나

base64 인코딩은 데이터를 부풀립니다. 입력 3바이트마다 출력 문자 4개가 생기니까, 출력 크기는 4 * ((n + 2) / 3)이고, C 문자열로 쓰려면 NUL 종결자 1바이트를 더해야 합니다. OpenSSL의 EVP_EncodeBlock()은 이 크기를 호출자가 계산해서 대상 버퍼를 할당하도록 만듭니다. 함수 자체는 입력 포인터, 출력 포인터, 그리고 int 타입의 입력 길이를 받습니다. 출력 버퍼가 얼마나 큰지는 전혀 모르기 때문에 아무것도 검증할 수 없습니다. 그냥 씁니다.

이제 계산을 해 봅시다. int의 최댓값은 2,147,483,647입니다. 입력 길이가 (INT_MAX / 4) * 3, 즉 1,610,612,733바이트(약 1.6GB)를 넘으면 내부 크기 계산이 부호 있는 32비트 정수에서 넘칩니다. 길이 계산이 래핑되면서 함수가 생각하는 출력 끝 위치가 실제와 어긋나고, 호출자가 할당한 버퍼 바깥으로 쓰기가 일어납니다. 호출자는 문서에 나온 공식을 따라 똑같이 넘치는 계산을 했기 때문에, 양쪽이 얼마나 공간이 있는지에 대해 치명적으로 어긋날 수 있습니다.

업스트림 수정은 가드를 추가했습니다. dlen > (INT_MAX / 4) * 3인 입력을 거부하고, NULL 버퍼와 음수 길이도 함께 거부합니다. 이 API를 래핑한다면(그리고 해야 합니다) 검사도 경계에서 해야 합니다:

#include <limits.h>
#include <stddef.h>
#include <openssl/evp.h>
/*
* Mirrors the upstream guard: refuse inputs whose encoded size
* cannot be represented in an int, and verify the destination
* capacity ourselves since the API never sees it.
*/
int b64_encode_checked(const unsigned char *in, size_t n,
unsigned char *out, size_t out_cap)
{
size_t need;
if (in == NULL || n > ((size_t)INT_MAX / 4) * 3)
return -1;
need = ((n + 2) / 3) * 4 + 1;   /* +1 for the NUL terminator */
if (out == NULL || out_cap < need)
return -1;
if (EVP_EncodeBlock(out, in, (int)n) < 0)
return -1;
return 0;
}

이 API가 강제하는 것을 눈여겨보세요. 라이브러리 내부의 크기 공식을 호출자가 정확하게, 그것도 영원히 다시 구현해야 합니다. 진짜 취약점은 그 계약입니다. 오버플로우는 그 계약이 결국 부러진 지점일 뿐입니다.

오해 1: “디코더가 공격 표면이고, 인코더는 지루하다”

보안 리뷰 문화에는 강한 편향이 있습니다. 파싱은 위험하고, 직렬화는 단순 장부 정리라는 생각이죠. 디코더는 적대적인 바이트를 받아들이기 때문에 퍼징되고, 감사받고, 메모리 안전 언어로 다시 작성됩니다. 인코더는 출력을 만들고, 출력은 안전해 보입니다. 이 믿음은 특정하고 반복적인 방식으로 틀렸습니다. 인코더 버그는 출력 크기 계산에서 생기는데, 그 계산은 호출의 양쪽 모두가 신뢰하고 있기 때문입니다.

이런 패턴은 계속 반복됩니다. PR 스레드 자체도 CVE-2026-121481이 이전의 OpenSSL 오버플로우 CVE-2021-23840과 닮았다고 적고 있습니다. 그 CVE도 거대한 입력에서 길이 계산이 넘친 EVP update 함수의 문제였습니다. base64에는 특히 이런 형태가 있습니다. OpenJDK의 Base64 디코더가 65바이트를 원격 코드 실행으로 바꿔 버렸을 때, 우리는 “사소한” 코덱이 RCE 프리미티브가 된 과정을 다룬 적이 있습니다. 디코더는 잘못된 입력을 받아들여서 CVE를 얻고, 인코더는 정상 입력의 계산을 잘못해서 CVE를 얻습니다. 둘 다 같은 종류입니다. 공격자가 영향을 줄 수 있는 길이에 대한 산술 연산이죠.

판정: 틀림. 위협 모델이 파서에서 멈춘다면, 정문은 지키면서 뒷문은 열어 둔 셈입니다.

오해 2: “CVSS 9.8이면 오늘 밤 모든 걸 내려놓아야 한다”

여기서는 회의론자를 조금 옹호하겠습니다. 1.6GB 입력이 필요한 인코더에 붙은 9.8점은 Heartbleed가 아닙니다. TLS 핸드셰이크 어디에도 대량 데이터의 base64 인코딩은 없습니다. 인증서는 TLS 안에서 PEM이 아니라 DER로 전달됩니다. 이 문제가 실제로 피해를 주려면, 신뢰할 수 없는 데이터가 1.6GB를 넘는 규모로 EVP_EncodeBlock()(또는 OpenSSL HTTP 클라이언트의 base64encode() 같은 내부 호출자)에 도달해야 합니다. 16비트 길이 접두사를 가진 프로토콜 필드로는 절대 거기까지 도달할 수 없습니다.

그렇다고 “인위적이다”라는 말도 충분하지 않습니다. 제보자는 실제 커맨드라인 경로를 시연했습니다. openssl s_client에 거대한 -proxy_pass 값을 넘기되, 셸 인자 길이 제한을 피하려고 환경 변수로 전달합니다. 특정 설정에서는(GOST 엔진은 기본으로 과도하게 긴 비밀번호를 받아들입니다) 그 값을 프록시 CONNECT 요청용으로 기꺼이 base64 인코딩합니다. 이건 실험실의 호기심이 아닙니다. 표준 도구가 표준 환경 변수로 표준 프록시 인증을 하는 것뿐입니다.

제 입장은 이렇습니다. CVSS는 함수의 특성을 재는 척도로 보고, 노출 정도는 호출 그래프로 재야 합니다. 긴급 패치 시간을 잡기 전에 코드베이스와 의존성을 뒤져서 실제로 무엇을 누가 인코딩하는지, 입력이 얼마나 커질 수 있는지 확인하세요. 그다음에 어쨌든 패치하세요. 다만 순서를 맞춰서요. 판정: 절반만 맞음. 점수는 실제이지만, 패닉의 강도는 도달 가능성에 비례해야 하고, 도달 가능성은 당신의 코드만 답할 수 있는 질문입니다.

오해 3: “수정은 쉽다. 에러 코드만 반환하면 된다”

이야기 전체에서 제가 가장 좋아하는 부분입니다. 오버플로우 자체는 단순한 부분이었습니다. 어려운 건 EVP_EncodeBlock()이 그걸 두고 무엇을 해야 하느냐를 결정하는 일이었고, 메인테이너들은 합의하지 못했습니다.

최초 패치는 잘못된 입력에 대해 -1을 반환했는데, wolfSSL의 호환성 계층과 EVP_DecodeBlock()의 기존 실패 경로에 맞춘 것이었습니다. 반발이 바로 나왔습니다. 한 메인테이너는 서드파티 호출자가 반환값을 검사하지 않고 size_t로 캐스팅할 수 있다고 걱정했습니다. 그 캐스팅 아래서 -1은 SIZE_MAX가 되고, 이는 막으려던 오버플로우보다 더 나쁠 수 있습니다. 그럼 0을 반환하자고요? 그런데 0은 이미 정상 성공 값입니다. 바이트 0개를 인코딩하면 0이 나오죠. 한 메인테이너는 성공 케이스에서 에러를 던졌다가 데인 적이 있다고 했습니다. 그럼 OPENSSL_assert()를 쓰자는 다른 제안도 나왔습니다. 계약 위반 시 크래시를 내고 사전 조건을 문서화하자는 거죠. 이에 시니어 메인테이너는 단호하게 답했습니다. 라이브러리 안의 assert는 “DoS가 기다리고 있는 것”이라고요.

모든 선택지가 나빴고, 나쁜 이유도 각각 달랐습니다. -1은 부호 없는 캐스팅을 깨뜨리고, 0은 성공과 충돌하며, assert는 논리 오류를 공격자가 조종할 수 있는 크래시로 바꿉니다. API의 에러 시맨틱이 설계된 적 없이 물려받기만 했을 때 생기는 일입니다. 명세와 구현의 간극이 가장 순수한 형태로 드러난 것입니다. 문서에는 “인코딩된 바이트 수를 반환한다”고 적혀 있었지만, 인코딩이 불가능할 때 무슨 일이 일어나야 하는지는 아무도 적어 두지 않았습니다.

스레드에서 주목할 세부 사항이 두 가지 더 있습니다. 첫째, 리뷰어가 최초 패치가 f == NULL을 무조건 거부한다는 점을 찾아냈습니다. 그런데 NULL 입력 포인터와 dlen == 0으로 빈 버퍼를 인코딩하는 것은 언제나 동작했고, 실제 애플리케이션들이 이에 의존하고 있었습니다. “분명히 옳은” 검증조차 정당한 경계 사례를 깨뜨린 것입니다. 둘째, 리뷰어가 반환값을 검사하지 않는 호출 지점을 grep으로 찾았는데, 그것들이 OpenSSL 내부에 있었습니다. PEM_SignFinal()과 NETSCAPE_SPKI_b64_encode()입니다. 실패할 수 없던 시절에 작성된 호출자들이 있으면, 함수를 새로 실패 가능하게 만드는 것만으로는 아무 소용이 없습니다. 판정: 완전히 틀림. 에러 시맨틱은 API 설계이고, 그걸 뒤늦게 덧붙이는 건 패치가 아니라 수술입니다.

안개 낀 황혼 속에서 철로가 세 갈래로 갈라지고 있다.
-1을 반환하든, 0을 반환하든, assert를 쓰든. 수정 논쟁의 모든 갈래에는 각자의 위험이 있었습니다.

오해 4: “기가바이트 단위 데이터를 base64 인코더에 넣을 사람은 없다”

이 직관은 base64가 인증서, 키, 짧은 토큰처럼 작은 것에만 쓰인다는 생각에서 나옵니다. 대체로 맞는 말입니다. 하지만 현대 시스템에는 자리 잡은 거대한 blob들이 조용히 늘어나 있고, 그것들은 자주 인코딩됩니다. 증명 문서(attestation), SAML 응답, 컨테이너 이미지 매니페스트, 프록시 자격 증명, 중간 장비가 다시 인코딩하는 웹훅 페이로드 등이 그렇습니다. 이 CVE의 재현 예시도 특별하지 않았습니다. 환경 변수로 전달된 비밀번호가 HTTP 프록시용 자격 증명을 인코딩하는 코드 경로를 탄 것뿐입니다. 그 파이프라인 어디에도 1.6GB 상한을 염두에 두고 설계된 것은 없었습니다. 누구도 그 상한을 어디에도 적어 두지 않았으니까요.

여기에 상황을 더 나쁘게 만드는 아키텍처 습관도 있습니다. 한 번에 인코딩하는 API는 전체 페이로드를 메모리에 다 읽은 다음 변환하도록 유도합니다. OpenSSL에도 스트리밍 대안이 있습니다. EVP_EncodeInit(), EVP_EncodeUpdate(), EVP_EncodeFinal()이 청크 단위로 데이터를 처리하면서 “전체 출력 크기를 먼저 계산하는” 문제를 피해 갑니다. 스트리밍은 컨텍스트 객체와 루프를 대가로 합니다. 대신 공격자 영향을 받는 길이이면서 동시에 신뢰되는 길이가 하나도 필요 없어집니다. 판정: 틀림. 입력은 한계에 닿을 때까지 자라고, 그 한계가 부호 있는 정수 오버플로우라면 한계가 당신을 찾아옵니다.

오해 5: “우리 퍼저라면 이걸 잡았을 것이다”

아닙니다. 왜 그런지 이해할 가치가 있습니다. libFuzzer 같은 커버리지 기반 퍼저는 기본 최대 입력 길이가 킬로바이트 단위로, 기본값이 4096바이트입니다. 16억 바이트 입력이 필요한 버그는 찾기 어려운 정도가 아니라 탐색 공간 자체를 벗어나 있습니다. EVP_EncodeBlock()을 100년 동안 퍼징해도 오버플로우에는 닿지 않을 수 있습니다. 흥미로운 동작이 퍼저가 절대 방문하지 않을 규모에서만 존재하기 때문입니다.

해결책은 더 큰 퍼즈 입력이 아닙니다. 1.6GB를 반복마다 할당하고 싶은 사람은 없습니다. 해결책은 산술을 인코딩과 분리해서 테스트하는 것입니다. 크기 계산을 따로 빼내고, 평범한 단위 테스트로 그 경계를 두드려 보세요:

#include <assert.h>
#include <limits.h>
/* Mirrors the upstream guard, computed in a wide type. */
static int encoded_len_fits_int(long long dlen)
{
return dlen >= 0 && dlen <= ((long long)INT_MAX / 4) * 3;
}
int main(void)
{
long long limit = ((long long)INT_MAX / 4) * 3; /* 1,610,612,733 */
assert(encoded_len_fits_int(0));
assert(encoded_len_fits_int(limit));
assert(!encoded_len_fits_int(limit + 1));
assert(!encoded_len_fits_int(-1));
/* The encoded size at the limit must itself fit in an int. */
assert(4 * ((limit + 2) / 3) <= INT_MAX);
return 0;
}

그다음 중간 크기에서 차등(differential) 검사를 추가하세요. 호출자 쪽 공식으로 예상 출력 길이를 계산하고, 인코딩한 뒤, 함수가 정확히 그 바이트 수만큼 쓰고 더는 쓰지 않았는지 단언합니다. 모든 것을 AddressSanitizer 아래서 수백 메가바이트 입력으로 CI에서 돌리세요. 넓은 루프를 충분히 태울 만큼 크고, 점심 전에 끝날 만큼 작습니다. 퍼징은 여전히 코덱의 바이트 단위 로직에 맞는 도구입니다. 정수 오버플로우가 대규모에서 나는 문제에는 애초에 맞는 도구가 아니었습니다. 이 둘의 역할을 혼동하는 것이 이런 버그가 10년 동안 지속적인 퍼징을 견뎌내는 이유입니다. 판정: 틀림.

인코더 API가 당신을 공격하기 전에 감사하는 법

OpenSSL 사용 코드를 검토하든 어떤 라이브러리의 인코딩 경로를 평가하든, 같은 몇 가지 질문이면 이 버그 종류 전체를 잡아낼 수 있습니다:

  • 누가 출력 크기를 계산하나? 호출자가 자명하지 않은 공식으로 계산한다면 양쪽이 어긋날 수 있습니다. 출력 용량을 파라미터로 받고, 용량이 부족하면 깔끔하게 실패하는 API를 선호하세요.
  • 길이를 어떤 정수 타입이 나르나? int 길이 파라미터는 부호 비트가 붙은 2GB 상한이나 다름없습니다. size_t가 오버플로우를 불가능하게 만들지는 않지만, 64비트 머신에서 실제로 할당 가능한 어떤 버퍼의 가장자리보다도 상한을 멀리 밀어냅니다.
  • 0, 경계, 그리고 경계 바로 다음 값에서는 무슨 일이 일어나나? 빈 입력, 정확히 (INT_MAX/4)*3, 그리고 그 값에 1을 더한 값, 이 세 가지가 중요한 테스트 케이스입니다.
  • 함수가 최근에 실패 가능해졌나? 실패할 수 없던 것에 에러 반환을 추가하는 패치가 있었다면, 모든 호출 지점을 grep으로 확인하세요. 반환값을 검사하지 않으면 고쳐진 버그가 조용한 버그로 바뀝니다.
  • 스트리밍 변형이 있나? 청크 단위의 encode/update/final API는 신뢰할 수 있는 전체 길이가 하나도 필요 없게 만듭니다.

첫 번째 항목은 더 밀고 나가겠습니다. 호출자가 라이브러리의 내부 크기 공식을 복제하도록 만드는 API는 버그 공장이며, 업계는 이런 API를 그만 만들어야 합니다. 호출받는 쪽이 팽창 계수, 패딩 규칙, 종결자 규칙을 알고 있습니다. 모든 호출자에게 4 * ((n + 2) / 3) + 1을 다시 유도하게 하면, 누군가는 어딘가에서 틀리게 되어 있습니다. 아니면 너무 작은 타입으로 맞게 계산하게 되죠.

돋보기가 컨베이어 벨트 위의 빛나는 블록들을 살피고 있다. 그중 하나에 금이 가 있다.
인코더 감사는 바이트를 섞는 방식만이 아니라 크기 계산에 집중해야 합니다.

base64와 그 너머를 위한 정리

CVE-2026-121481은 일주일 안에 피드에서 사라지겠지만, 버그 종류는 사라지지 않을 겁니다. 인코딩 함수는 보안 리뷰의 사각지대에 놓여 있습니다. 길이를 신뢰받고, 대규모 퍼징에서 면제되며, 에러 동작이 한 번도 명세되지 않은 API로 감싸여 있습니다. OpenSSL 메인테이너들은 오버플로우 자체보다 -1, 0을 반환할지 아니면 크래시를 낼지를 두고 더 많은 말을 나눴습니다. 그리고 그게 옳았습니다. 모든 다운스트림 호출자가 몇 년 동안 감당하게 될 부분이 바로 그것이니까요.

그러니 패치는 하세요. 그리고 grep도 하세요. 인코더 호출 지점을 찾고, 버퍼 크기를 누가 계산하는지 확인하고, 반환값이 실제로 검사되는지 검증하고, 신뢰할 수 없는 대용량 데이터를 다루는 것은 스트리밍 API로 옮기세요. 인코더에서 나올 다음 9.8점은 누군가의 크기 공식 안에 이미 들어 있고, 그것을 찾아낼 만큼 큰 입력을 기다리고 있습니다.