다음에 올 것을 만들어가는 기술에 대한 심층 기사.

Java4Shell: OpenJDK Base64 버그가 65바이트로 RCE를 부른다

Java4Shell은 OpenJDK AVX-512 Base64 디코더의 메모리 손상 결함입니다. 65바이트가 RCE로 이어지는 원리와 지금 할 수 있는 완화 조치를 정리합니다.

컨베이어 벨트 위에서 빛나는 작은 결함이 거대한 산업 기계를 망가뜨리는 일러스트
스택에서 가장 작은 부품인 Base64 고속 경로가 결국 뚫리는 지점이었습니다.

등호 하나와 A 64개. 패치되지 않은 OpenJDK 서버의 힙을 망가뜨리는 데 필요한 입력은 이게 전부입니다. 65자짜리 Base64 문자열 하나가 Java의 유명한 메모리 안전장치를 그대로 통과해서 배열 끝 너머 62바이트를 덮어씁니다. 보안 회사 Calif가 Java4Shell(CVE-2026-114938, CVSS 9.2)이라는 이름으로 공개한 이 취약점은 애플리케이션 코드가 아니라 JVM의 Base64 디코더 안에 숨어 있는 손으로 짠 어셈블리 코드에 있습니다. 인증 전 원격 코드 실행(RCE)은 Keycloak, Jenkins, Jira, Confluence, Artifactory, PingFederate에서 시연됐습니다. 조직이 x86-64 서버에서 Java를 돌리고 있다면, 통계상 대부분 그렇겠지만, 이건 여러분의 문제입니다.

저는 취약점을 다루는 게 일이라서 대부분의 취약점이 서로 비슷하게 느껴집니다. 또 다른 역직렬화 버그, 또 다른 인증 우회, 또 다른 경로 탐색 같은 것들이죠. Java4Shell은 점수 때문이 아니라 취약점이 어디에 있는지 때문에 다릅니다. 이 버그는 최적화 코드, 즉 AVX-512 벡터 명령어로 Base64를 빠르게 디코딩하는 기능에 있는데, 이 기능이 실제로 필요한 애플리케이션은 거의 없습니다. 이 취약점이 어떻게 발견되고 어떻게 악용됐는지, 그리고 여러분의 프록시가 이미 여러분을 지켜주고 있을지도 모르는 이유를 보면 소프트웨어 보안이 어디로 가고 있는지 알 수 있습니다.

문제: 깨진 마스크를 가진 JIT 인트린직

이 버그를 이해하려면 OpenJDK가 Base64를 어떻게 빠르게 만드는지 알아야 합니다. HotSpot JVM은 어떤 메서드가 자주 실행되는지 살펴보고, C2 컴파일러가 그 메서드를 네이티브 코드로 바꾸게 합니다. 일부 연산에서는 한 걸음 더 나아가 특수한 CPU 명령어를 쓰는 손으로 튜닝한 어셈블리 루틴, 즉 인트린직(intrinsic)으로 교체합니다. AVX-512 VBMI를 지원하는 x86-64 칩에서는 Base64 디코딩이 바로 이런 처리를 받습니다. 인트린직은 입력을 256바이트 또는 64바이트 블록 단위로 처리하면서 VMOVDQU8 명령어와 64비트 마스크를 사용해 목적지 버퍼에 어떤 바이트를 쓸지 결정합니다.

문제는 입력의 패딩 끝부분에 대해 이 마스크를 계산하는 방식에 있습니다. Base64는 출력 끝을 = 문자로 패딩하고, 어셈블리 코드는 패딩 바이트를 하나 볼 때마다 출력 길이를 줄입니다. 예를 들어 블록 끝에 =가 하나만 있는 것처럼 잘못된 입력이 들어오면, 계산된 출력 길이가 -1이나 -2로 언더플로가 납니다. 이 음수 값이 비트 연산 명령어(bzhiq)로 흘러 들어가는데, 입력이 64 이상이면 마스크가 변하지 않고 64비트가 모두 1로 남습니다. 비트가 전부 켜져 있으니 쓰기도 전부 일어납니다.

구체적인 트리거를 따라가 보겠습니다. A 64개 뒤에 =를 붙여 총 65자를 보냅니다. JVM은 디코딩된 길이를 50바이트로 계산하고 50바이트짜리 배열을 할당합니다. 인트린직은 앞의 64자를 정상적으로 디코딩한 뒤 길이 없는 등호에 부딪히고, 길이가 언더플로되고, 마스크가 전부 켜집니다. 그 결과 50바이트 버퍼 끝 근처에서 64바이트짜리 벡터 쓰기가 발생합니다. 주변 힙 객체 62바이트가 공격자가 영향을 줄 수 있는 상수 데이터로 덮어써집니다. Java의 검증 코드는 결국 입력이 잘못됐다는 걸 알아채고 IllegalArgumentException을 던지지만, 그때는 이미 피해가 난 뒤입니다. 집에 불이 난 뒤에야 예외 처리기가 바닥을 닦고 있는 셈이죠.

// Pseudocode of the mask calculation (after Calif's write-up)
input_mask := bzhiq(-1, input_length)
output_len := (input_length / 4) * 3
// handle padding
if input[input_length - 1] == '=':
output_len -= 1
input_mask >>= 1
if input[input_length - 2] == '=':
output_len -= 1
input_mask >>= 1
// For a lone '=' tail, output_len was already 0
// -> now it's -1, and bzhiq(-1, 255) leaves all bits set
output_mask := bzhiq(-1, output_len)   // == -1u64, all 64 bits 1
// evmovdqub then writes all 64 bytes where ~50 were allocated

트리아지에 중요한 세부 사항이 하나 있습니다. 이 취약 경로는 AVX-512 VBMI를 지원하는 x86-64 호스트에서만 실행됩니다. AWS Graviton 같은 ARM 서버는 취약한 스텁을 절대 실행하지 않고, 구형 Xeon도 마찬가지입니다. 취약한 코드 경로는 HotSpot 기반 JVM, 즉 OpenJDK, Oracle JDK, GraalVM에만 있습니다. 다른 JIT 구조를 쓰는 OpenJ9와 Azul Prime은 영향을 받지 않습니다. 참고로 OpenJDK 17에서는 고속 경로에 진입하는 임계값이 더 높아서 트리거가 A 64개가 아니라 A 128개와 =입니다. 작은 차이지만 탐지 규칙을 작성한다면 중요합니다.

실패한 첫 번째 가정: "Java는 메모리 안전하다"

이 소식이 올라왔을 때 엔지니어링 슬랙 채널의 첫 반응은 불신이었습니다. Java에서 메모리 손상이라고? 메모리 안전성이 핵심 아니었나? 이 직관, 즉 런타임은 요새이고 배신할 수 있는 건 애플리케이션 코드뿐이라는 생각이 첫 번째로 실패한 모델입니다. 이 모델이 팀들이 자기 스택을 감사하는 방식을 좌우하기 때문에 짚어볼 가치가 있습니다.

Java 언어는 모든 배열 접근을 검사하고 모든 할당을 관리합니다. 하지만 Java 런타임은 방대한 C, C++, 어셈블리 코드 덩어리입니다. JIT 컴파일러, 가비지 컬렉터, 인트린직, 네이티브 이미지 코드까지 전부 프로세스의 완전하고 중개 없는 권한으로 실행되며, 바이트코드에 제공하는 보장은 이 코드들에게 적용되지 않습니다. 모든 인트린직은 속도라는 이름으로 안전벽에 뚫은 작은 구멍이고, 그 구멍들은 소수의 VM 엔지니어들이 관리합니다. 이건 Alpine Linux의 10년 묵은 SSH 애스터리스크 버그가 보여준 구조적 교훈과 같습니다. 가장 무서운 결함은 모두가 의존하지만 거의 아무도 읽지 않는 코드에 숨어 있습니다.

여기에는 제가 계속 보는 보안 감사의 사각지대가 있습니다. 팀들은 자기 JSON 파서를 퍼징하고, REST 핸들러를 침투 테스트하고, 직접 쓴 모든 줄에 정적 분석을 돌립니다. 그러면서 JDK는 성숙하고 널리 배포됐으며 똑똑한 사람들이 관리한다는 이유로 블랙박스처럼 취급합니다. 하지만 성숙도가 방어가 되지는 않습니다. 오히려 반대에 가깝습니다. 수십 년에 걸쳐 쌓인 최적화들은 각각 당시에는 합리적이었지만, 모두가 받는 공격 표면을 하나씩 더합니다. 그 혜택이 필요한지와 상관없이요. Base64 AVX-512 인트린직은 방대한 데이터를 디코딩하는 애플리케이션을 가속하려고 존재합니다. 200바이트짜리 인증 헤더를 디코딩하는 여러분의 REST API는 위험은 떠안고 혜택은 거의 받지 못합니다. Calif는 이를 공유지의 비극이라고 부르는데, 맞는 말입니다. 기능이 필요했던 사람들은 혜택을 얻었고, 나머지는 버그만 얻었습니다.

실패한 두 번째 가정: "제약된 쓰기라서 익스플로잇하기 어렵다"

두 번째로 실패한 모델은 기술적 세부 사항을 읽고 방심한 사람들에게서 나왔습니다. 고정된 오프셋에 상수 값을 덮어쓰고, 쓰이는 바이트를 통제할 수 없다면요? 이런 버그 대부분은 "크래시만 나는 버그"로 분류되어 우선순위가 낮아집니다. 이런 판단은 이해는 되지만 틀렸습니다. 그리고 왜 틀렸는지가 이번 사건에서 가장 배울 점이 많은 부분입니다.

현대의 익스플로잇은 단일 프리미티브가 무엇을 할 수 있는지가 아니라, 주변 시스템을 그 프리미티브 주위에 배치하도록 설득할 수 있는지에 관한 것입니다. Calif의 기법은 힙 그루밍이었습니다. 원격에서 할당자의 동작을 조작해서, 오버플로된 버퍼 바로 뒤에 예측 가능하고 쓸모 있는 객체가 놓이도록 한 것입니다. 이 작업을 네트워크를 통해 했고, 요청 타이밍을 이용해 대상에서 할당과 해제가 언제 일어날지 제어했습니다. 쓰기가 상수 값일 수는 있지만, 피해 범위에 어떤 객체가 있는지 통제할 수 있다면 무엇이 손상될지도 통제할 수 있습니다. 이후 그들은 Heartbleed 스타일의 메모리 노출을 만들어 ASLR을 무력화할 만큼 정보를 빼냈고, 이를 연결해 완전한 원격 코드 실행에 이르렀습니다.

메모리 블록이 의도된 패턴으로 배열된 추상적인 도시 격자, 중앙에는 빨간 블록 하나
힙 그루밍은 쓰기가 닿는 대상을 통제해서, 상수 값만 쓰는 제한된 쓰기를 무기로 바꿉니다.

보고서에는 이 공격을 실제 인터넷에서 성공시키는 방법에 대한 실용적인 세부 사항도 나옵니다. 원격 힙 그루밍은 왕복 시간과 지터에 민감합니다. 할당자가 원하는 상태에 있으려면 요청이 특정 리듬으로 도착해야 하기 때문입니다. 연구자들은 TCP 스택을 역공학하는 대신, 대상과 같은 클라우드 리전에 VM을 빌렸습니다. 물리 문제를 돈으로 해결한 셈입니다. 숙련된 익스플로잇 개발자들이 이런 방식을 수년간 써 온 것을 봤는데, 공격자의 제약은 기술적인 만큼 경제적이라는 좋은 상기입니다. 자원이 많은 공격자에게 네트워크 지터는 예산 항목일 뿐입니다.

또 하나 짚을 점은 만능 익스플로잇은 없다는 것입니다. Jira, Jenkins, Keycloak 같은 각 애플리케이션은 Base64를 다르게 쓰고, 다르게 할당하고, 다른 그루밍 표면을 노출합니다. 이건 좋은 소식입니다. 나쁜 소식은 진입점이 엄청나게 많다는 것입니다. 인증 헤더, 파일 업로드 필드, 클라이언트 인증서 처리, 메시지 페이로드 등 Base64 텍스트가 JVM으로 넘어가는 곳이라면 어디든 잠재적인 트리거입니다. 한 기여자는 클라이언트 측 변형도 시연했습니다. 악성 서버에 TLS 연결을 여는 Java 애플리케이션은 어떤 서비스도 노출하지 않고도 장악될 수 있습니다. 인터넷에 노출된 게이트웨이뿐 아니라 배치 작업과 내부 도구도 범위에 들어갑니다.

방 안의 켄타우로스: AI가 한 시간 만에 찾아냈다

이제 모든 보안 팀의 위협 모델을 다시 조정해야 하는 부분입니다. 연구원 Quang Luong은 약 한 시간 만에 취약점을 찾았고, 그 뒤 두 시간쯤 지나 동작하는 익스플로잇을 만들었습니다. AI 토큰 비용은 총 200달러 미만이었습니다. 그의 방법은 AI 코딩 에이전트를 HotSpot에서 복잡성이 경계를 넘는 영역, 즉 JIT, 인트린직, 널리 접근 가능한 API, 암호 코드에 겨누고 노이즈를 걸러내는 것이었습니다. 에이전트가 찾아낸 대부분은 도달할 수 없는 쓰레기였습니다. 그는 계속 프롬프트를 던졌고, 20분쯤 끈질기게 하자 Base64 발견이 나타났습니다.

Calif는 이를 "켄타우로스 해커"라고 부릅니다. 사람은 복잡한 시스템이 어디서 잘못되는지에 대한 직관을 제공하고, AI는 끈기를 제공한다는 뜻입니다. 저도 정확하다고 생각하는데, 그 함의는 양날의 검입니다. Java4Shell을 찾아낸 바로 그 루프는 API 키만 있으면 누구나 쓸 수 있고, 익스플로잇 개발 단계, 즉 재사용 가능한 그루밍 파이프라인을 만들고 에이전트가 애플리케이션별 체인을 찍어내게 하는 과정도 점점 자동화되고 있습니다. 성숙하고 널리 배포된 C와 어셈블리 코드에서 버그를 찾는 경제성이 무너졌습니다. 방어자는 다음 Java4Shell급 버그 열두 개를 이미 누군가 찾고 있다고 가정해야 합니다. 그것도 취약점 신고를 하지 않는 사람들이요. 이런 압박은 Project Zero의 줄어드는 공개 유예 기간 같은 논쟁의 배경입니다. 발견이 싸지면 패치 기간이 승부의 전부가 됩니다.

Calif가 제안한 대응책은 도발적이고, 저도 대체로 동의합니다. 같은 AI 레버리지를 코드를 추가하는 데 쓰지 말고 삭제하는 데 쓰라는 것입니다. 그들은 이를 "바이브 언코딩(vibe-uncoding)"이라고 부릅니다. 코드베이스에서 죽은 기능, 오래된 프로토콜 지원, 불필요한 최적화를 찾아내 제거해서 공격 표면을 줄이자는 겁니다. 솔직한 반론은 삭제가 위험하다는 것입니다. 겉보기에 쓰이지 않는 기능에도 숨은 의존성이 있고, 제거에는 팀들이 만성적으로 예산을 적게 쓰는 테스트가 필요합니다. 하지만 방향은 옳습니다. JDK에 여러분이 절대 쓰지 않을 워크로드를 위한 손수 짠 어셈블리 고속 경로가 들어 있다면, 최적의 보안 태세는 그 경로를 아예 배포하지 않는 것입니다. 그게 어렵다면 JVM은 적어도 끌 수 있는 스위치를 줍니다. 이제 실제로 효과가 있는 방법을 보겠습니다.

실제로 효과 있는 방법: 패치, 플래그, 프록시

온콜 로테이션이 신경 쓰는 부분은 여기입니다. 해결책은 세 단계로 나뉘는데, 다음 변경 기간을 기다리지 말고 오늘 그중 최소 두 가지는 해야 한다고 봅니다.

  1. 수정된 OpenJDK 빌드로 패치하세요. 업스트림 수정(JDK 커밋 5177a70)이 마스크 계산을 바로잡습니다. 이것이 유일한 완전한 해결책입니다. 영향을 받는 버전은 17 라인의 17.0.6부터 시작해 21 이후의 현재 릴리스까지 이어집니다. 사용 중인 특정 버전 라인의 수정 버전 목록을 확인하고, 검증되기 전까지는 OpenJDK, Oracle JDK, GraalVM 등 모든 HotSpot JVM을 대상 범위에 넣으세요.
  2. 임시 통제로 인트린직을 비활성화하세요. JVM을 -XX:-UseBASE64Intrinsics 옵션으로 시작하면 하드웨어 가속 Base64가 완전히 꺼집니다. 기가바이트 단위의 Base64를 디코딩하는 게 아니라면 성능 비용은 무시할 만합니다. 그런데 거의 아무도 그렇게 하지 않습니다. 대안으로 -XX:UseAVX=2는 x86-64에서 AVX-512를 끕니다. 다만 ARM에서는 이 플래그를 설정하지 마세요. JVM이 시작을 거부합니다. 이것은 PHP CVE 대응 방식과 같은 철학입니다. 취약한 구성 요소가 좁고 교체 가능한 고속 경로일 때는 기다리는 것보다 그 경로를 죽이는 편이 낫습니다.
  3. 프록시로 익스플로잇 타이밍을 깨세요. Calif의 한계 섹션에 따르면, 현재의 원격 그루밍 프로파일은 부분적인 요청 본문이 정확한 타이밍에 애플리케이션에 도달하는 것에 의존합니다. 요청 본문 전체를 버퍼링하는 리버스 프록시, 기본값으로 nginx가 그렇게 합니다, 는 이 타이밍을 망가뜨립니다. 이것은 결코 수정이 아니지만, 패치하는 동안 가장 현실적인 공격 경로를 확실히 약화시킵니다.

탐지에 대해서도 한 문장 덧붙이겠습니다. Semgrep이 호스트를 악용 가능하게 만드는 조건들의 조합을 확인하는 무료 스크립트를 공개했습니다. 조건은 HotSpot 계열 VM, 관련 명령어를 지원하는 x86-64 하드웨어, 그리고 영향받는 버전 범위입니다. 노출됐다고 가정하기 전에 전체 플릿에 돌려 보세요. ARM 기반 컨테이너와 OpenJ9 잔여 시스템은 안전하고, 이를 빨리 아는 것만으로도 주말을 아낄 수 있습니다. 스캔할 때는 버전 라인이 중요하다는 점을 기억하세요. 수정은 라인마다 특정 패치 릴리스에 들어갔으니 "우리는 21을 쓰고 있어요"는 답이 아닙니다.

빛나는 코어를 감싸는 세 겹의 방어막, 가장 안쪽 링에서 스위치를 올리는 손
방어는 겹겹이 쌓으세요. 핵심부는 패치하고, 고속 경로는 끄고, 프록시로 공격자의 타이밍을 깨세요.

더 큰 교훈: 감사하지 않은 최적화는 부채다

사고 대응에서 한 발 물러서 보면 Java4Shell은 불편한 찌꺼기를 남깁니다. 버그는 어떤 구석진 기능에 있지 않았습니다. 컴퓨팅에서 아마도 가장 지루하고, 가장 보편적이며, "이제 당연히 괜찮겠지"라고 여겨지는 연산인 Base64에 있었습니다. 취약점이 존재한 이유는 누군가 이 지루한 것을 빠르게 만들었기 때문입니다. 최신 벡터 명령어를 쓰고, 어셈블리로 짜고, 코드 리뷰를 통과한 꼬리 처리의 경계 사례를 가진 채로요. 성숙한 런타임에는 이런 것이 가득합니다. 그리고 이제 그 하나하나를 비용이 근사한 저녁 한 끼보다 적게 드는 지칠 줄 모르는 에이전트들이 사냥하고 있습니다.

모두가 AI가 무엇을 만들 수 있는지 묻고 있습니다. 더 나은 보안 질문은 AI가 무엇을 삭제하도록 도울 수 있는지일지도 모릅니다.

제 생각은 이렇습니다. 업계는 감사된 코드와 안전하다고 가정된 코드의 차이를 곧 배우게 될 것이고, 그 수업료는 비쌀 겁니다. 표준 라이브러리, VM 인트린직, 압축 코덱, 이미지 디코더처럼 우리가 한 번도 의심하지 않은 기반 계층이야말로 사람의 관심이 가장 부족한 곳이고, AI 지원 탐색이 가장 높은 바운티를 얻는 곳입니다. 켄타우로스 모델은 버그를 더 빨리 찾을 뿐 아니라, 사람 연구자들이 "해결된" 코드를 감사하는 기대 가치가 너무 낮다고 보고 건너뛴 곳에서도 버그를 찾아냅니다.

그러니 JVM을 패치하고, 할 수 있는 곳에서는 인트린직 플래그를 켜고, nginx가 시간을 벌어주게 하세요. 그리고 자기 의존성 트리를 살펴보며 언코딩 질문을 던지세요. 이 기능들 중 무엇을 선택해서 들였고, 무엇을 그냥 물려받았나? 주말을 날려버릴 65자짜리 문자열은 아마 이미 작성되어 있을 겁니다. 남은 질문은 그걸 손에 쥔 사람이 취약점을 신고할 것인가 하는 것뿐입니다.