기계 번역의 저자원 언어 문제
지구상에서 쓰이는 언어는 대략 7,000개입니다. 구글 번역은 그중 약 130개를 지원하고, 대부분의 상용 MT 시스템은 30개 미만의 언어를 제대로 처리합니다. 요루바어, 케추아어, 크메르어를 쓰는 사람이라면 기계 번역 경험이 '겨우 쓸 만하다'에서 '어이없을 정도로 틀린다' 사이를...
AI & 머신러닝
인공지능, 딥러닝, LLM, 머신러닝 엔지니어링의 최신 동향을 살펴보세요.
기사 6개
상태 공간 모델 vs 트랜스포머: 실전 가이드
트랜스포머가 업계를 지배하는 시대가 그리 오래가지 않을 겁니다. 과한 주장처럼 들리죠. 언어 모델부터 단백질 접힘 예측까지 몇 년 동안 트랜스포머 아키텍처가 모든 분야를 휩쓰는 걸 우리 모두 지켜봤으니까요. 하지만 지난 몇 달 동안 실제 프로덕션 워크로드에서 상태 공간 모델(SSM)을...
AI 도구가 개발자의 사고방식을 조용히 바꾸고 있다
Copilot을 꾸준히 쓰기 시작한 지 여섯 달쯤 됐을 때 그 변화를 알아챘습니다. Python 스크립트를 디버깅하던 중이었는데, 에러 메시지를 제대로 읽기도 전에 AI 어시스턴트부터 찾고 있더라고요. 트레이스백은 바로 눈앞에 있었습니다. KeyError: 'user_id'. 그런데...
LLM 에이전트는 결국 분산 시스템이다
AI 커뮤니티는 멀티 에이전트 시스템을 만들고 있습니다. 한 모델로는 풀 수 없는 문제를 해결하려고 LLM들이 작업을 나누고, 소통하고, 협업하는 팀을 구성하는 방식입니다. '리서처' 에이전트는 정보를 모으고, '코더' 에이전트는 구현을 맡고, '리뷰어' 에이전트는 품질을 점검하고,...
Self-Attention 이후: 트랜스포머 다음에 올 것들
트랜스포머 아키텍처가 AI를 움직여 온 지도 어느덧 8년이 되었습니다. 주요 언어 모델 대부분, 이미지 생성 시스템 대부분, 그리고 점점 늘고 있는 오디오·비디오 모델이 'Attention Is All You Need' 논문에서 소개된 셀프 어텐션 메커니즘 위에 만들어져 있습니다....
내 하드웨어에서 대형 언어 모델 돌리기
작년에 로컬 추론 장비를 만드는 데 4,200달러를 썼습니다. 이 장비로 70B 파라미터 모델을 꽤 쓸 만한 속도로 돌릴 수 있었죠. 동료가 제 세팅을 보더니 당연한 질문을 던졌습니다. ‘그냥 API 쓰면 안 돼? 그 돈이면 API 크레딧을 8년 치는 쓰겠다.’ 계산 자체는 틀린 말이...