일리아는 무엇을 보았나?
들어가며
규모를 늘리면 무엇이 가능해지는가, 그리고 가능해진 기술을 어떤 근거로 공개하고 통제할 것인가.
1. 이 목록을 ‘AI의 정답지’로 읽으면 안 되는 이유
출발점은 게임 개발자 존 카맥(John Carmack)의 일화다. AI를 빠르게 배우고 싶었던 카맥에게 수츠케버가 중요한 읽을거리들을 건넸고, 카맥은 그것을 읽으며 분야의 구조가 머릿속에서 정리되었다고 회고했다. 여기서 매력적인 부분은 논문 수가 적다는 사실보다, 복잡해 보이던 분야가 몇 가지 연결된 원리로 이해되기 시작했다는 경험이다.
다만 책은 자신이 다루는 목록이 수츠케버가 직접 공개하고 인증한 원본이라고 주장하지 않는다. 책은 온라인에서 재구성된 목록을 채택한다. 따라서 ‘목록에 있다’는 이유만으로 특정 기술이 수츠케버의 유일한 해답이라고 해석하거나, 목록에서 빠졌다는 이유로 중요하지 않은 연구라고 단정하면 안 된다. 책에서 GPT-2를 길게 다루는 것도 그것이 목록의 항목이어서가 아니라, 목록의 기술들이 현실에서 어떤 결과를 낳았는지 보여 주기 때문이다.
읽을거리의 형식도 논문에 한정되지 않는다. AlexNet과 ResNet 같은 연구 논문, Karpathy와 Chris Olah의 블로그, Stanford CS231n 강의, 분산 학습과 스케일링에 관한 연구, 압축과 복잡도에 관한 글이 함께 놓인다. 여기서 드러나는 학습 기준은 ‘새로운 정리를 증명했는가’만이 아니다. 어떤 글은 새 구조를 제안하고, 어떤 글은 그 구조를 작동시키며, 어떤 글은 다른 사람이 이해하고 재현할 수 있게 만든다.
복습할 때는 제목을 외우기보다 각 자료에 세 가지 꼬리표를 붙이는 편이 낫다. 무엇이 막혀 있었는가, 무엇을 바꾸었는가, 무엇으로 좋아졌음을 확인했는가. 이 세 가지가 연결되면 이름이 낯설어져도 아이디어를 복원할 수 있다.
2. 수츠케버의 경력에서 읽어야 할 것은 ‘학습 가능한 규모’다
책이 수츠케버의 경력을 소개하는 이유는 유명인의 이력을 암기시키려는 데 있지 않다. 그가 왜 큰 신경망과 실험 중심의 연구를 신뢰하게 되었는지를 설명하기 위해서다.
2012년 AlexNet은 사람이 설계한 이미지 특징에 의존하던 컴퓨터 비전에서, 이미지의 표현 자체를 신경망이 학습하는 방식이 큰 성능 차이를 낼 수 있음을 보였다. 여기서 중요한 경험은 ‘신경망이 승리했다’보다 구체적이다. 데이터가 충분하고, 학습이 안정적이며, GPU로 실험을 감당할 수 있다면, 이전에는 비현실적이라고 여겼던 모델도 실제로 작동했다.
2013년 DNNresearch의 Google 합병 뒤 수츠케버는 Google Brain에서 순차 데이터의 학습과 대규모 신경망 연구를 이어 갔다. 이후 2015년 말 OpenAI 설립에 참여했다. 책은 이 이동을 개별 논문의 아이디어를 넘어 큰 실험과 엔지니어링을 지속할 수 있는 조직에 대한 관심과 연결한다. 이것은 저자의 해석이며, 한 사람의 동기를 완전히 설명하는 확정된 공식은 아니다.
여기서 ‘스케일’은 파라미터 수 하나를 뜻하지 않는다. 더 많은 학습 데이터, 더 큰 모델, 더 많은 연산, 더 긴 학습 시간은 서로 관련되어 있지만 다른 자원이다. 데이터가 부족한 채 모델만 키우면 과적합할 수 있고, 좋은 구조라도 학습이 불안정하면 추가 연산을 성능으로 바꾸지 못한다.
3. GPT-2: 다음 단어를 맞히는 일이 왜 큰 논쟁이 되었나
언어 모델의 기본 과제는 앞선 문맥을 보고 다음 토큰의 확률을 예측하는 것이다. 토큰은 단어 전체일 수도 있고 단어의 일부일 수도 있다. 문장 전체의 확률은 다음처럼 나눠 쓸 수 있다.
P(x₁, …, xₜ) = ∏ P(xᵢ | x₁, …, xᵢ₋₁)
이 식은 긴 글을 통째로 한 번에 추측하는 대신, 앞에서 만들어진 문맥을 조건으로 한 단계씩 이어 간다는 뜻이다. 학습에서는 실제로 등장한 다음 토큰에 높은 확률을 주도록 파라미터를 조정한다. 생성에서는 모델이 내놓은 분포에서 토큰을 선택하고, 그것을 문맥에 붙여 같은 작업을 반복한다.
이렇게 단순하게 서술되는 과제도 잘 수행하려면 많은 규칙성을 이용해야 한다. 문법, 문체, 앞에서 언급한 사람과 장소, 문단의 주제 등이 모두 다음 토큰의 확률에 영향을 준다. 그렇다고 다음 토큰을 잘 맞힌다는 사실 하나로 인간과 같은 이해를 증명할 수는 없다. 학습 목표가 단순하다는 것과 학습된 행동이 단순하다는 것은 다른 주장이고, 행동이 복잡하다는 것과 그 행동이 신뢰할 만하다는 것도 다른 주장이다.
2019년 GPT-2의 가장 큰 모델은 약 15억 개의 파라미터를 가졌다. 뉴스 기사처럼 이어지는 글이나 문맥에 맞는 답변은, 특정 작업만을 위해 별도로 훈련하지 않은 모델에서도 여러 행동이 나타날 수 있음을 보여 주었다. 이런 맥락에서 zero-shot은 해당 과제의 예제로 추가 학습하지 않고 수행한다는 뜻이다. 사전학습 데이터가 없었다거나, 관련 내용을 전혀 보지 않았다는 뜻은 아니다. 모델의 구성과 당시 공개 의도는 OpenAI의 GPT-2 발표에서 확인할 수 있다.
책은 그럴듯한 가상의 유니콘 기사 사례를 소개한다. 복습에서 남겨야 할 것은 기사 자체보다 평가의 함정이다. 인물 소개와 인용, 기사다운 어조가 유지된다는 사실은 문체와 문맥 연결 능력의 증거다. 기사 속 사건이 사실이라는 증거는 아니다. 생성 모델은 틀린 내용을 자연스럽게 이어 쓸 수도 있다. ‘유창함’과 ‘사실성’을 따로 평가해야 하는 이유다.
4. 단계적 공개는 무엇을 시험하려 했나
OpenAI는 2019년 2월 가장 큰 GPT-2 모델을 즉시 배포하지 않고 작은 모델부터 공개했다. 이후 더 큰 모델을 순차적으로 내놓았고, 같은 해 11월 15억 파라미터 모델을 공개했다. 이는 성능 발표뿐 아니라 공개 방식 자체를 실험 대상으로 삼은 사건이었다.
우려는 대량의 허위 정보, 사칭, 스팸 등 텍스트 생성 비용이 낮아질 때 생길 수 있는 악용이었다. 반대편에는 공개가 독립적인 재현과 안전성 검증을 가능하게 하며, 소수 조직의 판단만으로 접근을 제한하는 데에도 비용이 있다는 주장이 있었다. 어느 쪽도 ‘성능이 좋으니 공개’ 또는 ‘위험할 수 있으니 비공개’라는 한 문장으로 끝나지 않는다.
이 논쟁을 읽을 때는 세 질문을 분리해야 한다. 첫째, 지금 모델이 실제로 할 수 있는 일은 무엇인가. 둘째, 그 능력이 어떤 사용 조건에서 피해로 이어지는가. 셋째, 공개를 늦추거나 접근을 제한하는 조치가 그 피해를 얼마나 줄이는가. 첫 질문의 실험만으로 세 번째 정책의 효과까지 입증할 수는 없다.
전체 모델을 공개할 때 OpenAI는 당시까지 강한 악용 증거를 확인하지 못했다고 설명했다. 이것은 관측 결과에 관한 보고다. 악용이 불가능하다는 증명도, 제한적 공개가 효과 없었다는 인과적 결론도 아니다. 관측 범위와 탐지 능력에 제한이 있기 때문이다. 이 점은 2019년 11월 공개 보고를 읽을 때도 유지해야 한다.
5. ‘일리아는 무엇을 보았나?’는 사실과 추측을 나누는 질문이다
책은 2023년 11월 OpenAI 이사회의 Sam Altman 해임과 복귀, 이후 수츠케버의 퇴사까지를 스케일링과 안전성의 긴장 속에서 설명한다. 이 사건을 계기로 비밀스러운 기술적 돌파구가 있었던 것 아니냐는 추측이 퍼졌고, 장 제목의 질문도 주목받았다.
하지만 ‘특정 위험한 모델을 보았기 때문에 해임을 주도했다’는 설명을 확인된 사실처럼 외우면 안 된다. 책에는 보도와 일화, 저자의 해석이 섞여 있다. OpenAI가 2024년 공개한 외부 검토 요약은 당시 조치가 제품 안전성이나 개발 속도에 대한 우려에서 비롯된 것이 아니었다고 설명한다. 이것 역시 회사가 공개한 조사 요약이라는 성격을 갖는다. 적어도 공개 자료만으로 비밀 모델과 인사 결정을 직접 연결할 수 없다는 점은 분명하다. 공개 검토 요약
‘일리아는 무엇을 보았나?’는 아직 답이 정해진 질문이 아니다. 공개적으로 검증할 수 있는 질문은 따로 있다. 성능의 증가를 보여 주는 증거와 위험에 관한 증거를 어떻게 구별하고, 불확실한 상태에서 어떤 결정을 할 것인가.
6. 딥러닝의 성과를 판단하는 네 가지 관점
첫째는 학습된 표현이다. 사람이 중요한 특징을 먼저 정하는 대신, 손실을 줄이는 과정에서 모델이 표현을 바꾸게 한다. CNN에서는 합성곱 필터가, RNN에서는 문맥을 요약하는 상태가 그 표현이다.
둘째는 학습 가능성이다. 표현할 수 있는 함수가 많아도 좋은 파라미터를 실제로 찾을 수 없다면 소용없다. AlexNet의 ReLU와 최적화, ResNet의 잔차 연결, LSTM의 셀 상태는 각기 다른 방식으로 이 문제에 접근한다. 모델의 용량과 모델을 학습시키는 능력은 구별해야 한다.
셋째는 엔지니어링이다. GPU 메모리, 통신, 데이터 처리, 실험 시간, 추론 지연은 연구가 끝난 뒤 붙는 부록이 아니다. 실험을 일주일에 한 번 할 수 있는지 하루에 여러 번 할 수 있는지가 검증할 수 있는 가설의 수를 바꾼다.
넷째는 압축과 일반화다. 복잡한 경험을 재사용 가능한 구조로 표현한다는 관점은 언어 모델과 표현 학습을 연결하는 직관이다. 예를 들어 문장을 하나씩 외우는 대신 공통 문법을 익히면 보지 못한 문장에도 대응할 수 있다. 다만 데이터 압축, 좋은 예측, 인간과 같은 지능을 모두 동의어로 취급해서는 안 된다.
7. 덮고 나서 답해 볼 질문
이 책의 목록은 수츠케버가 직접 인증한 최종 목록인가? 아니다. 책은 재구성된 목록을 바탕으로 기술적 흐름을 읽는다. 권위자의 의도를 확정하는 자료로 사용하지 않는다.
GPT-2의 놀라운 점을 ‘글을 잘 쓴다’보다 정확하게 설명하면? 다음 토큰 예측으로 사전학습한 모델이 여러 문맥에서 길게 이어지는 형식과 행동을 보여 주었다는 점이다. 그 결과가 곧 사실성이나 일반 지능의 증명은 아니다.
큰 모델을 만들면 자동으로 성능이 좋아지는가? 데이터, 최적화, 연산과 모델 구조가 함께 맞아야 한다. 규모가 커져도 학습이 불안정하거나 데이터가 부족하면 성능은 나아지지 않을 수 있다.
블로그와 강의가 논문 옆에 있는 이유는? 좋은 설명과 재현 가능한 구현은 다른 사람이 이해하고 실험할 수 있게 한다. 분야의 확산을 이해하려면 새 알고리즘만 보면 부족하다.
안전성과 스케일링은 어떤 관계인가? 더 많은 일을 할 수 있게 되는 변화는 유용성과 악용 가능성을 함께 바꿀 수 있다. 능력의 평가와 공개·통제의 판단을 연결하되, 같은 문제로 섞지 않는 것이 출발점이다.