진행자: 3년 전에 저희가 대화를 나눴죠. 지난 3년 동안 가장 크게 업데이트된 점은 무엇이라고 보세요? 그때 느꼈던 것과 지금의 체감은 어떤 점이 가장 달라졌나요? Dario Amodei: 전반적으로 보면, 기반 기술의 지수적(exponential) 진전은 제가 예상했던 흐름과 거의 비슷하게 진행됐습니다. 여기저기 ±1~2년 정도의 오차는 있었지만요. 구체적으로 ‘코드(code)’가 어떤 방향으로 갈지는 정확히 예측하지 못했을 수도 있습니다. 다만 지수 곡선을 놓고 보면, 모델이 ‘똑똑한 고등학생’에서 ‘똑똑한 대학생’, 그리고 ‘박사·전문직 수준의 일을 하기 시작하는 단계’로 행진하듯 올라온 건 대체로 제가 기대하던 모습이고, 코드에서는 그 범위를 넘어선 부분도 있습니다. 최전선(frontier)은 다소 고르지 않지만 전체적으로는 예상과 비슷합니다. Dario Amodei: 그런데 가장 놀라운 건, 우리가 지수 구간의 ‘끝’에 얼마나 가까운지에 대한 대중적 인식이 거의 없다는 점입니다. 제게는, 이 업계 안팎에서 사람들이 우리가 지수의 끝에 가까워졌다는 사실과는 무관하게, 늘 하던 낡은 정치적 쟁점들만 반복해서 이야기하는 게 정말 믿기지 않을 정도로 이상하게 느껴집니다. 진행자: 지금 그 ‘지수’가 어떤 모습인지 이해하고 싶습니다. 3년 전 녹화할 때 제가 첫 질문으로 “스케일링(scaling)은 왜 먹히고, 왜 작동하나요?”를 물었는데요. 지금도 비슷한 질문이 있습니다만, 지금은 더 복잡해진 것 같습니다. 대중 관점에서는 3년 전만 해도 컴퓨트(compute)를 여러 자릿수로 늘려가며 손실(loss)이 어떻게 좋아지는지, 공개된 트렌드가 분명히 있었잖아요. 그런데 지금은 RL 스케일링이 있고, 그에 대한 공개 스케일링 법칙(scaling law)은 알려져 있지 않습니다. 이게 어떤 이야기인지도 선명하지 않고요. 진행자: 이게 모델에 ‘스킬’을 가르치는 건가요? ‘메타러닝(meta-learning)’을 가르치는 건가요? 지금 시점의 스케일링 가설(scaling hypothesis)은 도대체 뭔가요? Dario Amodei: 사실 저는 2017년 무렵부터 갖고 있던 가설을 지금도 거의 그대로 갖고 있습니다. 지난번에도 얘기했을 수 있는데, 저는 “The Big Blob of Compute Hypothesis(거대한 컴퓨트 덩어리 가설)”라는 문서를 쓴 적이 있어요. 그건 특히 언어모델만을 겨냥한 문서가 아니라, 더 일반적인 문서였습니다. 제가 그걸 썼을 때는 GPT-1이 막 나왔던 시점이었죠. 당시에는 로보틱스도 있었고, ‘추론(reasoning)’을 언어모델과 분리된 별도 문제로 다루려는 시도도 있었고, AlphaGo나 OpenAI의 Dota 같은 곳에서 벌어진 RL 스케일링도 있었죠. DeepMind의 StarCraft, AlphaStar 같은 것들도 기억하실 거고요. Dario Amodei: 그 문서는 더 일반적 맥락에서 “정말 중요한 건 몇 가지뿐이다”라는 주장을 담고 있습니다. Rich Sutton이 몇 년 뒤에 “The Bitter Lesson”을 발표했는데, 결은 비슷합니다. 가설의 핵심은 이렇습니다. ‘영리한 기법’, ‘새로운 방법이 필요하다’ 같은 것들은 그렇게 중요하지 않다는 겁니다. 중요한 건 소수의 요소뿐이에요. 제가 당시 7가지를 나열했는데, 첫째는 얼마나 많은 원시 컴퓨트(raw compute) 를 갖고 있느냐입니다. 둘째는 데이터의 양(quantity). 셋째는 데이터의 품질과 분포(quality & distribution) 인데, 특히 넓은 분포가 필요합니다. 넷째는 얼마나 오래 학습하느냐. 다섯째는 ‘달까지 스케일’할 수 있는 목적함수(objective function) 가 필요하다는 겁니다. 사전학습(pre-training)의 목적함수는 그중 하나고, 또 다른 하나가 RL 목적함수입니다. 즉 “목표가 있고, 그 목표를 달성하러 나가라”는 형태죠. 그 안에는 수학·코딩처럼 객관적으로 검증 가능한 보상도 있고, RLHF 같은 더 주관적인 보상(혹은 그 상위 버전)도 있습니다. 여섯째와 일곱째는 정규화(normalization)나 컨디셔닝(conditioning) 같은 것들, 즉 수치적 안정성(numerical stability)을 맞춰서 ‘거대한 컴퓨트 덩어리’가 난류가 아니라 매끈한 층류(laminar flow)처럼 흘러가게 만드는 요소들이었어요. 이 가설은 지금도 유효하다고 생각합니다. 저는 이 가설과 어긋나는 현상을 거의 보지 못했습니다. Dario Amodei: 사전학습 스케일링 법칙(pre-training scaling laws)은 그 가설의 한 사례였고, 지금까지도 계속 이어지고 있습니다. 이제는 널리 알려졌듯이, 사전학습은 잘 작동하고 있고, 계속 성능 향상을 주고 있습니다. 변화한 점은, 이제 우리가 RL에서도 같은 현상을 보고 있다는 겁니다. 즉, 사전학습 단계가 있고 그 위에 RL 단계가 붙습니다. RL도 사실 동일합니다. 다른 회사들이 자기 릴리즈에서 “수학 경시(AIME 같은)로 모델을 훈련했고, 모델 성능이 학습 시간에 대해 로그-선형(log-linear) 으로 증가한다” 같은 내용을 공개한 적이 있는데요. 우리도 그걸 보고 있고, 그건 수학 경시에만 국한되지 않습니다. 다양한 RL 과제에서 같은 스케일링을 보고 있습니다. 즉 사전학습에서 보던 스케일링을 RL에서도 보고 있다는 거죠. 진행자: Rich Sutton과 “The Bitter Lesson”을 말씀하셨는데요. 제가 작년에 그를 인터뷰했을 때, 그는 LLM에 굉장히 ‘덜’ 기대하는 쪽이더라고요. 그의 관점이라고 단정할 수는 없지만, 한 가지 이의를 이렇게 요약할 수 있을 것 같습니다. 진짜 인간 학습의 핵심을 가진 무언가라면, Excel을 쓰고 PowerPoint를 쓰고 웹브라우저를 탐색하는 법을 배우기 위해 이런 수십억 달러 규모의 데이터·컴퓨트·맞춤형 환경을 요구하지는 않을 것이다. 우리가 RL 환경으로 이런 스킬들을 ‘주입’해야 한다는 사실은, 사실 핵심적인 인간 학습 알고리즘이 빠져 있다는 신호일 수 있다. 그래서 우리는 ‘잘못된 것’을 스케일링하고 있는 거다. 그렇다면, 인간처럼 현장에서 즉흥적으로 배우는 에이전트가 곧 나오거나 이미 나오고 있다면, 왜 굳이 RL 스케일링에 이렇게 집착하느냐는 질문이 생깁니다. Dario Amodei: 여러 가지를 다르게 생각하게 만드는, 실제로 흥미로운 퍼즐이 있습니다. 하지만 그 퍼즐이 ‘결정적으로 중요’할지는 모르겠고, 제 추측으로는 아마 중요하지 않을 가능성이 큽니다. 그리고 저는 RL이 사전학습과 본질적으로 다르다는 식으로 보는 건 오히려 핵심을 흐린다고 생각합니다. Dario Amodei: RL을 잠깐 빼고 사전학습만 보더라도, 2017년 무렵에는 꽤 흥미로운 일이 있었어요. Alec Radford가 GPT-1을 만들던 시절을 떠올려 보면, GPT-1 이전 모델들은 텍스트의 넓은 분포를 대표하지 않는 데이터셋으로 학습하는 경우가 많았습니다. 표준적인 언어모델 벤치마크 같은 것들이었죠. GPT-1은 (기억이 맞다면) 팬픽션 같은 데이터, 문학 텍스트에 가까운 데이터로 훈련했습니다. 인터넷 텍스트 중에서도 아주 작은 비중의 분포죠. 그 시절 데이터셋은 대략 10억 단어 수준으로, 지금 기준으로는 매우 작고 분포도 좁았습니다. 그래서 일반화(generalization)가 잘 되지 않았습니다. 팬픽션 코퍼스에서 성능이 좋아져도 다른 과제로의 일반화는 제한적이었죠. 우리는 다양한 텍스트에서의 예측 성능 같은 여러 지표를 봤습니다. Dario Amodei: 그러다 인터넷 전체 과제에 걸쳐 학습했을 때—Common Crawl 같은 일반 인터넷 스크레이프, 혹은 Reddit 링크를 스크랩하는 방식(우리가 GPT-2에서 했던 방식) 같은 것들—그때부터 일반화가 생기기 시작했습니다. 저는 RL에서도 비슷한 일을 보고 있다고 생각합니다. 처음엔 수학 경시 같은 단순 RL 과제로 시작해서, 그다음엔 코드 같은 더 넓은 훈련으로 이동하고, 지금은 더 많은 과제로 넓혀가고 있습니다. 그리고 점점 일반화가 늘어날 거라고 생각합니다. 그래서 RL vs 사전학습의 구분은 크게 중요하지 않다고 봅니다. Dario Amodei: 다만, RL이든 사전학습이든 공통으로 남는 퍼즐이 하나 있습니다. 사전학습에서는 수조(trillions) 토큰을 쓰는데, 인간은 수조 개의 단어를 보지 않습니다. 샘플 효율(sample efficiency) 차이가 실제로 존재합니다. 모델은 랜덤 가중치에서 시작해 훨씬 더 많은 학습이 필요합니다. 그런데 일단 학습이 되고 나면, 예를 들어 컨텍스트 길이(context length)가 백만(1,000,000) 같은 수준으로 길어졌을 때(긴 컨텍스트의 유일한 장애는 사실상 추론(inference) 쪽) 모델이 컨텍스트 내부에서 학습하고 적응하는 능력은 꽤 좋습니다. 저는 이걸 완전히 설명할 답을 갖고 있진 않습니다. Dario Amodei: 제 생각엔, 사전학습은 인간이 배우는 방식과 같지 않지만, 인간 학습과 인간 진화(evolution) 사이 어딘가에 있습니다. 우리는 많은 ‘사전분포(prior)’를 진화에서 받습니다. 인간의 뇌는 완전한 백지상태가 아니죠. 이 주제로는 책도 많이 쓰였고요. 반면 언어모델은 훨씬 ‘백지’에 가깝습니다. 실제로 랜덤 가중치에서 시작하니까요. 인간 뇌는 각 영역이 입력·출력과 연결된 구조를 갖고 시작합니다. 그래서 사전학습(그리고 RL까지 포함해)을 ‘진화와 현장 학습 사이 중간 지대’로 생각해야 할 수도 있습니다. 그리고 모델의 인컨텍스트 학습(in-context learning)은 ‘장기 학습과 단기 학습 사이’ 어딘가로 볼 수 있겠죠. 즉, 진화 → 장기 학습 → 단기 학습 → 즉각 반응이라는 계층이 있고, LLM의 학습 단계들은 그 스펙트럼 어딘가에 놓이지만, 인간의 것과 꼭 동일한 지점에 일대일로 대응되지는 않습니다. 어떤 모드들은 인간에게는 없고, LLM은 그 중간 어디에 ‘끼어 있는’ 식일 수 있습니다. 진행자: 네, 이해는 되는데 여전히 헷갈리는 점이 있습니다. 만약 이게 진화에 비유될 만큼 샘플 비효율적이어도 괜찮다는 거라면, 인컨텍스트 학습으로 ‘초고 샘플 효율 에이전트’를 얻게 될 거라면, 왜 굳이 이런 RL 환경들을 만들죠? Slack을 쓰는 법, 특정 API를 쓰는 법 같은 것을 모델에 가르치려는 회사들도 있는데요. ‘현장에서 배우는 에이전트’가 이미 떠오르고 있다면, 그 강조가 왜 이렇게 큰지 혼란스럽습니다. Dario Amodei: 다른 회사들이 왜 그런 강조를 하는지는 제가 대신 말할 수 없고, 우리 관점만 말하겠습니다. 목표는 RL 안에서 가능한 모든 스킬을 하나하나 가르치는 게 아닙니다. 사전학습도 마찬가지죠. 사전학습에서 우리는 단어 조합의 모든 가능성을 다 보여주려는 게 아니라, 매우 많은 것들을 학습하고 그로부터 일반화가 생기게 합니다. 제가 GPT-1에서 GPT-2로 넘어갈 때 그 전환을 가까이서 봤는데요. 어느 순간 모델이 ‘점프’를 합니다. 예를 들어 “이 집의 가격은 이렇고, 평수는 이렇다” 같은 숫자 리스트를 던지면, 모델이 패턴을 이어서 선형회귀(linear regression) 비슷한 것을 해냅니다. 완벽하진 않지만요. 그건 그 ‘정확한 형태’의 문제를 이전에 본 적이 없는데도 합니다. RL 환경을 만드는 목적도 이와 유사합니다. 특정 스킬을 하나씩 커버하려는 게 아니라, 충분히 넓은 데이터·과제를 통해 일반화를 얻으려는 겁니다. 진행자: 지금 말씀하신 프레임은 이해가 됩니다. 우리가 AGI로 가고 있다는 건 이제 누구도 부정하지 않죠. 적어도 “이번 세기에 AGI를 달성한다”는 건요. 핵심은, 당신은 ‘지수의 끝’에 가까워졌다고 말하는데, 다른 사람은 “2012년부터 계속 진전해왔고 2035년쯤이면 인간 같은 에이전트가 나올 것”이라고 봅니다. 모델에서 진화가 했던 것, 혹은 인간 생애의 학습이 했던 것 같은 징후를 보는 건 사실이죠. 그런데 왜 10년이 아니라 1년 가까이로 보시는지, 그 근거가 궁금합니다. Dario Amodei: 여기에는 강한 주장과 약한 주장이 있습니다. 약한 주장부터 말하면, 제가 2019년에 스케일링을 처음 봤을 때도 확신이 있진 않았습니다. 50/50 정도였죠. ‘뭔가’가 보이긴 하는데, 이게 정말 그 정도일지는 몰랐습니다. 그때 제 주장은 “사람들이 생각하는 것보다 훨씬 가능성이 크다”였고, “아마 50% 확률” 정도로 봤습니다. Dario Amodei: 지금은, 당신이 말한 “10년 안에 제가 ‘데이터센터 속 천재들의 나라(country of geniuses in a data center)’라고 부르는 상태에 도달한다”는 기본 가설에 대해, 저는 90% 정도로 봅니다. 세상이 너무 예측불가능해서 90%를 더 올리긴 어렵습니다. 불가약적 불확실성을 넣으면 95% 같은 것도 말할 수 있겠죠. 예를 들어 여러 회사가 내부 혼란으로 무너진다든가, 대만이 침공당한다든가, 공장이 미사일에 파괴된다든가 같은 시나리오요. (이제 제가 말해버려서 징크스가 됐네요.) 그런 식으로 “10년 지연되는 5% 세계”는 만들 수 있습니다. Dario Amodei: 또 다른 5%는, 제가 검증 가능한 과제(verification 가능한 과제)에 대해서는 굉장히 강한 확신을 갖고 있다는 점입니다. 코딩에서는, 그 불가약적 불확실성만 빼면, 1~2년 안에 도달할 거라고 봅니다. 엔드투엔드(end-to-end) 코딩이 10년 안에 안 되는 세계는 거의 상상하기 어렵습니다. 제 ‘근본적 불확실성’이 남아 있는 부분은 검증이 어려운 과제들입니다. 예를 들어 화성 미션을 계획한다든지, CRISPR 같은 근본적 과학적 발견을 한다든지, 소설을 쓴다든지요. 검증이 어렵습니다. 저는 거의 확실히 거기에도 ‘신뢰할 수 있는 경로’가 있다고 보지만, 혹시 조금의 불확실성이 있다면 그쪽에 있습니다. 그럼에도 2035년까지 이런 일이 안 일어난다고 말하는 건 미친 얘기라고 봅니다. 정상적인 세상이라면 그런 말은 주류 밖이어야 합니다. 진행자: 그런데 방금 ‘검증’을 강조하시는 건, 모델이 일반화되어 있다는 믿음이 부족하다는 신호처럼 들리기도 합니다. 인간은 검증 가능한 보상에서도, 그렇지 않은 영역에서도 잘하잖아요. Dario Amodei: 그래서 제가 거의 확신하는 겁니다. 우리는 이미 검증 가능한 영역에서 검증 불가능한 영역으로 ‘상당한 일반화’를 보고 있습니다. 이미 그런 일이 벌어지고 있어요. 다만 저는 스펙트럼을 강조하려고 한 겁니다. “안 되는 세계”는 검증 가능한 일들만 다 하고, 어느 정도 일반화되긴 하지만, 박스의 다른 쪽을 완전히 ‘색칠’하진 못하는 세계입니다. 이건 이진(binary)이 아니라 연속적인 문제입니다. 설령 일반화가 약해서 검증 가능한 도메인만 한다고 해도, 그 상태에서 소프트웨어 엔지니어링을 자동화할 수 없다고 단정하긴 어렵습니다. 당신도 어떤 의미에서는 ‘소프트웨어 엔지니어’지만, 그 일의 일부는 큰 비전 문서를 쓰는 일도 포함하죠. 그게 SWE의 일인지, 회사의 일인지 논쟁은 있겠지만, SWE에는 설계 문서 같은 것들이 포함됩니다. 모델은 이미 코멘트 쓰기에도 꽤 좋습니다. 진행자: “소프트웨어 엔지니어링에 거의 도달했다”고 하셨는데, 어떤 지표로요? 한 가지 지표는 “AI가 쓰는 코드 라인 수가 얼마나 되느냐”인데, 역사적으로 컴파일러도 코드 라인을 ‘쓴다’고 볼 수도 있잖아요. 중요한 건 라인 수가 아니라 생산성 개선의 크기죠. Dario Amodei: 저도 그 점에 동의합니다. 저는 코딩과 소프트웨어 엔지니어링에 대해 여러 예측을 해왔고, 사람들이 자주 오해하더라고요. 스펙트럼을 정리하면 이렇습니다. 90%의 코드 라인을 모델이 쓴다 → 100%의 코드 라인을 모델이 쓴다. 이건 생산성에서 큰 차이가 납니다. 그리고 엔드투엔드 SWE 과제(컴파일, 클러스터·환경 세팅, 테스트, 메모 작성 등 포함)의 90%를 모델이 한다 → 오늘날의 엔드투엔드 SWE 과제 100%를 모델이 한다. 그 다음엔, 그럼에도 SWE가 일자리를 잃는다는 뜻은 아니고, 더 상위의 새로운 역할이 생길 수 있습니다. 그리고 더 나아가면 “SWE 수요가 90% 줄어든다” 같은 단계도 있을 수 있고요. 그건 또 다른 스펙트럼입니다. 저는 “The Adolescence of Technology”에서 농업을 예로 들어 이런 스펙트럼을 설명한 적이 있습니다. 지금은 우리가 그 스펙트럼을 매우 빠르게 가로지르고 있습니다. 진행자: 그런데 실제 세상에서 ‘소프트웨어 르네상스’가 보이나요? 사람들이 Claude Code 같은 걸로 그린필드 프로젝트도 시작하고, 많은 프로젝트를 시작했다고는 하는데요. 그럼 존재하지 않았을 기능들이 폭발적으로 생기는 르네상스가 보여야 하는데, 아직은 그런 느낌이 아닙니다. 그 점은 “천재들의 나라(country of geniuses)” 추정치를 희석시키는 요인이 아닐까요? Dario Amodei: 저는 동시에 두 가지를 인정합니다. 하나는, 이런 것들이 즉시 일어나지 않는 이유가 되는 ‘확산(diffusion)’과 ‘루프를 닫는(fiddly, close-the-loop)’ 문제들이 분명 있다는 점. 다른 하나는, 그럼에도 효과는 매우 빠르게 나타날 거라는 점입니다. Dario Amodei: 사람들은 두 극단을 떠올리곤 합니다. 극단 1: AI는 진전이 느리다, 경제에 확산되는 데 오래 걸린다. ‘경제적 확산’이란 buzzword로 “그래서 AI 진전이 의미 없다”를 말하는 견해. 극단 2: 재귀적 자기개선(recursive self-improvement)로 순식간에 모든 게 폭발한다. 곡선에 지수선을 그으면 “곧 태양에 다이슨 스피어를 두른다” 같은 식의 견해. 저는 두 극단 모두를 희화화해서 말하고 있는 거고요. Dario Amodei: 우리가 Anthropic 내부에서 본 건, 기괴할 정도로 빠른 수익 성장입니다. 2023년에는 0 → 1억 달러($100 million). 2024년에는 1억 달러 → 10억 달러($1 billion). 2025년에는 10억 달러 → 90~100억 달러($9–10 billion). 그리고 올해 1월 첫 달에만도, 그 지수가 느려질 것 같았는데 1월에 수익이 또 몇십억 달러 늘었습니다. 물론 이 곡선은 영원히 갈 수 없습니다. GDP는 한정돼 있으니까요. 올해 어느 정도 꺾일 거라고도 예상하지만, 그럼에도 매우 빠른 곡선입니다. Dario Amodei: 그래서 저는 ‘중간 세계’를 상정합니다. 모델의 능력(capability)에는 가파른 지수가 있고, 그 아래로 경제 확산에도 또 다른 빠른 지수가 있습니다. 즉각적이지도, 느리지도 않지만, 과거 어떤 기술보다 훨씬 빠르게 확산되되 한계는 있습니다. Anthropic 내부나 고객을 봐도 그렇습니다. 빠른 채택이지만 무한히 빠르진 않습니다. 진행자: 제가 당신에게 ‘핫테이크’를 하나 던져도 될까요? 확산(diffusion)은 사람들이 모델이 못 하는 걸 “확산 문제일 뿐”이라고 포장하는 ‘코프(cope)’일 때가 많다고 느껴집니다. 그리고 인간과 비교하면, AI는 온보딩이 훨씬 쉬울 것 같잖아요. AI는 Slack과 드라이브를 몇 분 만에 읽고, 지식을 복제본끼리 공유하고, 검증된 모델 복제본을 그대로 ‘채용’할 수도 있습니다. 인간 채용은 훨씬 번거롭지만, 우리는 인간에게 연간 50조 달러 수준의 임금을 주면서도 계속 채용하죠. 그렇다면 확산이 그렇게 큰 설명력이 있나요? Dario Amodei: 확산은 실재합니다. 그리고 모델의 한계만으로 설명되는 것도 아닙니다. 사람들이 확산을 “큰일 아니다”라고 말하기 위한 buzzword로 쓰는 경우도 있지만, 저는 그런 뜻이 아닙니다. AI는 과거 기술보다 훨씬 빠르게 확산될 겁니다. 다만 무한히 빠르진 않습니다. Dario Amodei: 예를 들어 Claude Code는 설치가 매우 쉽습니다. 개발자라면 바로 쓸 수 있고, 대기업 개발자라고 개인 개발자나 스타트업 개발자보다 느리게 채택해야 할 이유가 ‘논리적으로’는 없습니다. 우리는 기업에도 Claude Code를 판매하고 있고, 큰 엔터프라이즈들—대형 금융사, 대형 제약사 등—도 전형적인 기업보다 훨씬 빠르게 채택하고 있습니다. 그럼에도 시간이 듭니다. 법무 검토가 필요하고, 전체 프로비저닝이 필요하고, 보안·컴플라이언스 통과가 필요합니다. 리더들이 “이게 뭔지, 왜 5천만 달러를 써야 하는지”를 설명하고, 그 아래 조직으로 롤아웃 계획을 세워야 합니다. 우리는 이런 대화를 매일 합니다. 우리는 Anthropic의 수익이 연 10배(10x) 가 아니라 20~30배 성장하도록 온갖 노력을 합니다. 기업들도 생산성이 너무 크다고 느끼면 기존 조달 과정을 단축하는 ‘지름길’을 택하기도 합니다. 그러나 Claude Code가 ‘무한히 설득력 있는’ 제품은 아닙니다. 저는 AGI나 ‘천재들의 나라’도 무한히 설득력 있는 제품이 되진 않을 거라고 봅니다. 수백억 달러 규모에서도 연 3~5배, 또는 10배 성장을 만들 수는 있겠지만, 무한히 빠르진 않습니다. Dario Amodei: 그리고 저는 “우리는 이미 AGI에 거의 도달했고, 확산만 남았다”는 식의 말에는 동의하지 않습니다. 만약 ‘데이터센터 속 천재들의 나라’가 이미 있다면, 우리는 그걸 알게 될 겁니다. 이 방의 모든 사람이 알 거고, 워싱턴의 모든 사람이 알 겁니다. 시골 사람들은 모를 수 있지만, 우리는 알게 됩니다. 지금은 그게 아닙니다. 그건 아주 분명합니다. 진행자: 좀 더 구체적 예측으로 돌아가고 싶습니다. 3년 전 인터뷰에서 당신은 “한 시간 정도 대화하면 일반적으로 교육받은 인간과 구별하기 어려운 시스템이 나올 것”이라고 예측했고, 그건 맞았던 것 같습니다. 하지만 저는 그런 시스템이라면 화이트칼라 일을 크게 자동화할 거라는 기대가 있었는데, 체감은 만족스럽지 않습니다. 그래서 오히려 ‘최종적으로 원하는 능력’을 두고 이야기하는 게 생산적일 것 같습니다. 제가 이해하기 쉬운 직업으로 물어볼게요. 영상 편집자(video editor)의 경우, 그들은 수개월에 걸쳐 제 취향, 청중의 선호, 트레이드오프를 학습하고 컨텍스트를 쌓습니다. 6개월 차의 숙련도를 ‘현장에서 즉흥적으로’ 따라잡는 AI 시스템은 언제쯤 가능하다고 보세요? Dario Amodei: 말씀하신 건, 우리가 3시간 인터뷰를 하고 누군가 와서 편집하면서 “여기서 Dario가 머리를 긁었으니 잘라내자”, “여긴 확대하자”, “여긴 덜 흥미로우니 줄이고, 저 부분이 더 흥미로우니 살리자” 같은 판단을 하는 일이겠죠. 저는 ‘데이터센터 속 천재들의 나라’라면 그걸 할 수 있다고 봅니다. 그 방식은, 모델이 컴퓨터 화면을 전반적으로 조작할 수 있어야 한다는 겁니다. 입력으로 이 자료를 주고, 모델이 화면을 통해 웹에 접속해 이전 인터뷰들을 보고, 트위터 반응을 보고, 당신과 대화하며 질문하고, 스태프와도 이야기하고, 편집 히스토리도 보고, 그걸로 일을 해내는 거죠. Dario Amodei: 이건 여러 요소에 달려 있습니다. 제가 보기엔 현재 배포(deployment)를 막는 큰 요소 중 하나가 “컴퓨터 사용(computer use)” 능력입니다. 우리는 벤치마크가 완벽하지 않다는 걸 알지만, 예를 들어 우리가 컴퓨터 사용 기능을 1년 3개월 전쯤 처음 냈을 때 OSWorld가 ~15%였던 걸로 기억합니다. 지금은 65~70%까지 올라왔습니다. 더 어려운 지표도 있을 수 있지만, 결국 신뢰성(reliability)이 임계점을 넘어야 합니다. 진행자: 다음 질문을 해도 될까요? 저는 수년간 제 개인용 내부 LLM 툴들을 만들려고 했는데요. 텍스트 인/아웃 같은 과제는 모델의 ‘정중앙’에 있어야 하는데도, 저는 여전히 사람을 고용해 합니다. 예를 들어 “이 트랜스크립트에서 최고의 클립을 골라줘” 같은 건 LLM이 10점 만점에 7점 정도는 하지만, 사람 직원을 다루듯이 계속 상호작용하면서 점점 더 잘하게 만드는 ‘지속적인 방식’이 없습니다. 컴퓨터 사용을 해결하더라도, 이런 ‘직무 위임’의 장애가 남아 있지 않을까요? Dario Amodei: 흥미롭습니다. 코딩 에이전트의 경우엔, 사람들이 “현장 학습(on-the-job learning)이 없어서 엔드투엔드가 안 된다”고는 잘 말하지 않는 것 같습니다. 점점 더 좋아지고 있고요. Anthropic에는 코드를 전혀 쓰지 않는 엔지니어도 있습니다. 예를 들어 “이 GPU 커널, 이 칩은 예전엔 내가 썼는데 이제는 Claude가 쓰게 한다”는 식으로 생산성이 크게 좋아졌다는 얘기를 봅니다. Claude Code를 보면, 코드베이스에 익숙하지 않다거나 “회사에서 1년 일한 사람이 아니라서” 같은 불만은 최상단 이슈가 아닙니다. 진행자: 코딩은 코드베이스라는 외부 스캐폴딩(메모리)이 있어서 빨리 간다는 주장도 있잖아요. 다른 직업은 그런 게 없고요. 즉, 코드베이스를 컨텍스트에 읽어 넣으면 인간이 6개월 동안 배워야 하는 게 다 들어오는 거라서 빠른 거 아닌가요? Dario Amodei: 그런 식의 질적 보고가 있다는 건 알고 있고, 저도 봤습니다. 작년에 큰 연구도 있었죠. 경험 많은 개발자들이 익숙한 레포에서 PR을 닫게 했고, 개발자들은 생산성이 오른다고 느꼈지만, 실제로 머지된 결과를 보면 20% 다운리프트였다는 연구요. 저는 “사람들이 느끼는 질적 체감”과 “거시적으로 소프트웨어 르네상스가 보이지 않는 것”, 그리고 “독립 평가에서 기대만큼 생산성 이득이 안 보이는 것”을 어떻게 맞춰야 할지 고민합니다. Dario Amodei: Anthropic 내부에서는 이게 아주 분명합니다. 우리는 엄청난 상업적 압박 속에 있고, 안전(safety) 작업도 다른 회사보다 더 많이 한다고 생각합니다. 경제적으로 살아남으면서 가치도 지켜야 하는 압박이 크고, 우리는 연 10배 수익 곡선을 유지하려고 합니다. 헛소리할 시간이 없고, ‘생산적인 척’할 시간도 없습니다. 이 도구들은 우리를 더 생산적으로 만듭니다. 경쟁사가 도구를 쓰는 걸 왜 걱정하냐고요? 우리가 경쟁사보다 앞서 있다고 믿기 때문입니다. 몇 달마다 모델을 출시하면서 최종 산출물을 보게 되는데, 그건 스스로를 속일 수 없는 지표입니다. 모델은 생산성을 올립니다. 진행자: 그런데 “재귀적 자기개선” 이야기로 보면, 더 좋은 AI를 만들면 AI가 다음 더 좋은 AI를 만들도록 돕고… 이런 누적 우위가 생겨야 하잖아요. 그런데 OpenAI나 DeepMind나 Anthropic을 보면, 몇 달마다 순위가 바뀌는 ‘포디움 교대’ 같은 모습도 보입니다. 만약 코딩 모델이 큰 생산성 이득을 준다면, 왜 최고의 코딩 모델을 가진 쪽이 지속적 우위를 못 얻죠? Dario Amodei: 제 모델은 ‘눈덩이(snowball)’입니다. 지금 코딩 모델이 주는 총요소(total factor) 속도 향상은 대략 15~20% 정도라고 봅니다. 6개월 전에는 아마 ~5% 정도였을 겁니다. 5%는 체감이 잘 안 됩니다. 이제는 여러 요소 중 하나로 ‘의미 있게’ 작동하기 시작했고, 더 빨라질 겁니다. 그리고 여러 회사가 코딩용 모델을 만들고, 우리가 다른 회사들이 내부적으로 우리 모델을 쓰는 걸 완벽히 막지도 못합니다. 그래서 지금 관측되는 건, 10%→20%→25%→40%처럼, 부드러운 소프트 테이크오프(soft takeoff) 형태로 가파르지만 매끈한 지수 곡선이 쌓이는 모습입니다. Amdahl의 법칙처럼, 루프를 닫는 걸 막는 요소들을 하나씩 치워야 합니다. 그게 Anthropic 내부의 큰 우선순위 중 하나입니다. 진행자: 다시 “현장 학습”으로 돌아가면, 코딩은 사실 현장 학습이 없어도 큰 이득을 낸다는 이야기처럼 들립니다. 그런데 대부분의 경제 활동에서는 “처음 몇 달은 별로였는데 시간이 지나며 컨텍스트를 쌓고 엄청 유용해졌다”가 흔한 패턴이죠. AI가 그런 능력을 못 갖추면, 세상이 크게 바뀌지 않을 거라는 회의가 생깁니다. Dario Amodei: 두 가지가 있습니다. 첫째, 지금 패러다임에서도 사전학습과 RL 단계에서 많은 데이터·과제를 던져 넣고 일반화를 얻습니다. 그건 인간의 한 생애 안에서 학습하는 것과는 다르지만, 진화와 인간 학습 사이 어딘가에 있습니다. 그렇게 학습된 스킬을 얻으면, 모델은 그것을 ‘갖게’ 됩니다. 사전학습 모델은 저보다 사무라이 역사도 더 잘 알고, 야구도 더 잘 알고, 로우패스 필터 같은 전자공학도 더 압니다. 지식의 폭이 훨씬 넓습니다. 그 자체만으로도 모델이 “전반적으로 더 잘하는 상태”에 가깝게 갈 수 있습니다. Dario Amodei: 둘째, 인컨텍스트 학습입니다. 저는 이걸 인간의 현장 학습과 비슷하지만 조금 약하고 조금 더 단기적인 것으로 봅니다. 모델에 예시를 많이 주면 실제로 학습이 일어납니다. 백만 토큰은 많습니다. 인간이 읽는다면 며칠, 몇 주는 걸릴 텍스트량이죠. 이 두 가지(사전 일반화 + 인컨텍스트 학습)만으로도 ‘데이터센터 속 천재들의 나라’의 큰 부분까지 갈 수 있다고 봅니다. 확실하진 않지만요. 그리고 그 상태만으로도 연 수조 달러(trillions of dollars) 수익을 만들 가능성이 큽니다. Dario Amodei: 셋째는, ‘지속적 학습(continual learning)’—단일 모델이 현장에서 계속 배우는—을 우리가 별도로 연구하고 있다는 점입니다. 1~2년 내에 그것도 해결할 가능성이 큽니다. 하지만 저는, 그게 없어도 대부분은 갈 수 있다고 봅니다. 수조 달러 시장과, 제가 “The Adolescence of Technology”에서 쓴 국가안보·안전 함의들도, 그게 없어도 벌어질 수 있습니다. 진행자: 지속적 학습은 “컨텍스트를 더 길게” 만들면 해결될 수 있다는 말도 하셨는데요. 최근 몇 년간 컨텍스트가 2,000 → 128K로 늘었던 시기가 있었고(GPT-3에서 GPT-4 Turbo로), 그 이후 2년 정도는 비슷한 수준에서 머무른 느낌도 있습니다. 또 너무 긴 컨텍스트에서는 모델이 전체를 제대로 고려하지 못한다는 ‘질적 저하’ 얘기도 들립니다. 내부적으로는 “1천만(10 million), 1억(100 million) 컨텍스트” 같은 게 가능하다고 보시는 근거가 있나요? Dario Amodei: 이건 연구 문제라기보다 엔지니어링·추론(inference) 문제입니다. 긴 컨텍스트를 서빙하려면 KV 캐시를 저장해야 하고, GPU 메모리에 올려두거나 메모리를 움직이는 문제가 어렵습니다. 저도 GPT-3 시절엔 더 자세히 따라갔지만, 지금은 MoE 모델 등으로 스택이 바뀌면서 제가 디테일을 완전히 따라가진 못합니다. Dario Amodei: ‘저하’에 대해 말하면, 학습한 컨텍스트 길이와 서빙하는 컨텍스트 길이가 다릅니다. 짧은 컨텍스트로 학습해놓고 긴 컨텍스트로 서빙하면 저하가 생길 수 있습니다. 길게 학습하는 게 더 낫고, 우리가 그쪽도 하고 있다고 보시면 됩니다. 길게 학습하면 같은 컴퓨트에서 샘플 수가 줄어드는 트레이드오프도 있겠지만, 큰 그림의 질문으로 돌아가죠. 진행자: 제가 원하는 건 큰 그림의 답입니다. 저는 “6개월 일한 인간 편집자”와 “6개월 같이 일한 AI” 사이에 선호가 없어지는 시점이 언제냐를 묻고 있습니다. Dario Amodei: 제 추측은, 많은 문제에서 그건 “데이터센터 속 천재들의 나라”가 가능해질 때 가능해진다는 겁니다. 제 그림으로는, 강제로 추측하자면 1~2년, 넓게 보면 1~3년 정도입니다. 정말 말하기 어렵지만, 10년 안에 99% 또는 95% 확률로 이런 일이 일어날 거라는 강한 견해가 있습니다. 그리고 직감(hunch) 수준에서는 50/50로 1~2년, 혹은 1~3년일 수 있다고 봅니다. 진행자: Anthropic은 2026년 말~2027년 초쯤 “오늘날 인간이 하는 디지털 작업 인터페이스를 탐색할 수 있고, 노벨상 수상자 수준(또는 그 이상)의 지적 능력, 물리 세계와의 인터페이스”를 가진 시스템이 나올 수 있다고 예측한 바 있죠. 그런데 DealBook 인터뷰에서는 경쟁사 대비 ‘더 책임있는 컴퓨트 스케일링’을 강조하셨습니다. 만약 진짜로 ‘천재들의 나라’가 온다고 믿는다면, 가능한 한 큰 데이터센터를 원해야 하고, 느릴 이유가 없어 보이기도 합니다. 노벨상 수상자급이 해낼 수 있는 TAM은 수조 달러잖아요. 이 보수성(conservatism)과 빠른 타임라인을 어떻게 함께 설명하시나요? Dario Amodei: 이건 모두 “빠르지만 무한히 빠르진 않은 확산”으로 연결됩니다. 기술이 1~2년 안에 ‘천재들의 나라’ 수준에 도달할 수 있다고 믿더라도, 그 다음에 수조 달러 매출이 ‘얼마나 빨리’ 발생하는지는 확실치 않습니다. 바로 1년일 수도 있고 2년일 수도 있고, 5년까지도 늘어날 수 있지만 저는 그건 회의적입니다. Dario Amodei: 그런데 데이터센터 구매는, 수요 예측이 1~2년만 어긋나도 치명적일 수 있습니다. 저는 “Machines of Loving Grace”에서 ‘데이터센터 속 천재들의 나라’를 2026년, 어쩌면 2027년에 올 수 있다고 썼는데, 그건 제 직감입니다. 1~2년 정도 틀릴 수도 있습니다. 그렇다면 그게 ‘출발 신호’입니다. 그 다음 “모든 질병을 치료” 같은 가치가 현실에 배포되려면, 발견뿐 아니라 제조·규제·배포가 필요합니다. 코로나 백신도 1년 반이 걸렸죠. 소아마비 백신은 수십 년이 지났는데도 지구상의 일부 지역에서 박멸이 어렵습니다. 이건 가장 어려운 케이스지만, 확산에는 한계가 있습니다. Dario Amodei: 그래서 컴퓨트를 살 때 저는 이렇게 봅니다. 지금까지 수익이 매년 10배(10x) 증가했습니다. 올해 초 연환산 매출이 100억 달러($10 billion) 수준이라고 가정하면, 우리는 “2027년에 얼마의 컴퓨트를 보유할 것인가”를 결정해야 합니다. 데이터센터를 짓고 예약하는 데 1~2년이 걸리기 때문입니다. 만약 10배 성장이 계속된다고 가정하면 2026년 말 1,000억 달러, 2027년 말 1조 달러가 됩니다. 그럼 2027년부터 5년간 연 1조 달러, 즉 총 5조 달러 규모의 컴퓨트를 사야 한다는 계산이 나옵니다. 하지만 만약 실제 수익이 1조가 아니라 8,000억 달러라도, 그런 규모의 컴퓨트를 샀다면 파산을 막을 ‘헤지’가 없습니다. 성장률이 10배가 아니라 5배여도 마찬가지입니다. 그래서 ‘수백억~수천억’ 수준에서 균형을 잡게 됩니다. 수요 초과로 기회를 놓치는 리스크와, 과잉투자 파산 리스크를 동시에 감수하는 거죠. Dario Amodei: 제가 “책임있다(responsible)”고 말한 건 ‘절대 규모’만 뜻한 게 아닙니다. 일부 회사는 “멋있어 보이니까” 1,000억 달러 단위 결정을 YOLO로 하는 듯한 인상을 줍니다. 우리는 스프레드시트를 써서 리스크를 이해하고, 엔터프라이즈 비즈니스로서 매출의 안정성과 마진 버퍼를 활용해, 다운사이드에서 재무 파탄이 나지 않도록 계산하고 선택합니다. 그래서 강한 업사이드 세계를 어느 정도 포착하되, 완전한 10배-영원 성장에 ‘올인’하지는 않습니다. 진행자: 당신 말대로라면 “업계 전체”는 이미 2028~2029년쯤 연 수조 달러 규모의 컴퓨트로 가는 궤적(예: 10~15GW에서 매년 3배 성장, GW당 ~100억 달러 수준 비용)을 그리고 있는 것처럼 들리는데요. Dario Amodei: 업계 전체로 보면 그런 계산이 나올 수 있습니다. (저는 Anthropic의 구체 숫자는 말하지 않겠지만) 대략적으로, 올해 업계가 짓는 컴퓨트가 10~15GW, 내년 30~40GW, 2028년 ~100GW, 2029년 ~300GW 같은 식으로 갈 수 있습니다. GW당 연간 비용이 ~100~150억 달러 수준이라 치면, 말씀하신 “수조 달러” 규모가 됩니다. 진행자: 그런데 투자자들에게 “2028년부터 흑자”를 말한 건, 오히려 그 시기가 ‘천재들의 나라’로 인해 발견·의학 혁신이 폭발하는 시기라면, 이익을 내기보다 더 크게 재투자해야 하는 때 아닌가요? Dario Amodei: 이 분야에서 ‘수익성(profitability)’은 좀 이상한 개념입니다. 저는 수익성이 “투자를 줄여서 생긴다”기보다 “수요를 과소예측해서 생긴다”에 가깝다고 봅니다. 수요를 과대예측하면 손실이 나고, 과소예측하면 이익이 나죠. 왜냐하면 컴퓨트를 먼저 사버리니까요. Dario Amodei: 단순한 장난감 모델로 설명해보죠. 컴퓨트의 절반이 훈련(training), 절반이 추론(inference)이라고 합시다. 추론은 50% 이상의 매출총이익률(gross margin)이 난다고 치면, steady-state에서는 예를 들어 연 1,000억 달러 컴퓨트를 쓰면서, 추론 절반(500억 달러)로 1,500억 달러 매출을 만들고, 훈련 절반을 쓰면, 대략 500억 달러 이익이 나오는 구조가 됩니다. 이 구조에서 이익이 안 나는 이유는, 수요가 예상보다 적어서 추론 비중이 줄고 훈련 비중이 늘어나기 때문입니다. 즉, 컴퓨트는 먼저 결정되고, 훈련/추론 비중은 수요에 의해 흔들립니다. 그래서 “2028년 흑자” 같은 건 수요 예측의 불확실성 때문에 흔들릴 수 있습니다. 진행자: 그럼 “연구에 더 쓰면 된다”는 직관은, 결국 로그-선형(log-linear) 수익체감(diminishing returns) 때문에 연구 비중을 95%로 올리는 게 최적이 아닐 수도 있다는 말인가요? Dario Amodei: 맞습니다. 500억 달러를 이미 쓰고 있을 때, 연구 비중을 50%에서 70%로 올려서 모델을 1.4배 키우는 정도라면, 그 추가 200억 달러의 효용은 줄어들 수 있습니다. 그 돈이 추론 서빙이나, 엔지니어 채용 같은 다른 병목 해소에 더 가치가 있을 수도 있습니다. 그래서 극단(5%나 95%)이 아니라, 어떤 ‘중간 비율’로 균형을 잡는 산업 균형이 생길 겁니다. 진행자: 업계가 몇 개 플레이어로 수렴한다는 주장(클라우드처럼 3~4개)도 하셨는데요. 그렇다면 이익이 유지되려면 영원히 ‘프런티어 우위’가 있어야 하는데, 그게 정말 지속될까요? Dario Amodei: 저는 AI가 ‘완전 독점’이 되리라고 보진 않습니다. (변호사들이 ‘독점’이란 단어를 싫어하죠.) 다만 높은 진입비용 때문에 소수의 플레이어가 남는 산업이 있습니다. 클라우드가 그렇죠. AI도 그럴 수 있습니다. 컴퓨트·자본뿐 아니라, 운영 역량이 필요합니다. 1000억 달러를 들고 “이 산업을 깨겠다”고 해도, 그 돈과 함께 그 복잡한 운영을 해낼 수 있어야 합니다. 진입은 결국 이윤을 깎는 행위이니, 모두가 쉽게 뛰어들지 않습니다. 그래서 완전경쟁으로 마진이 0이 되지는 않는 균형이 나올 수 있습니다. Dario Amodei: 또 모델은 클라우드보다 더 차별화(differentiation)되어 있습니다. Claude가 잘하는 것, GPT가 잘하는 것, Gemini가 잘하는 것이 다르다는 건 모두가 압니다. 단순히 “Claude는 코딩, GPT는 수학·추론” 같은 거친 구분을 넘어, 코딩 내에서도 스타일과 강점이 다릅니다. 그래서 저는 클라우드보다 더 차별화가 있을 거라고 봅니다. Dario Amodei: 다만 반론이 하나 있습니다. 만약 AI가 AI를 만드는 과정 자체를 수행할 수 있다면, 그 능력은 경제 전반으로 확산될 수 있습니다. 하지만 그건 “AI 모델 산업만”의 상품화가 아니라, 경제 전체가 동시에 상품화되는 세계에 더 가깝습니다. 그 세계에서 무슨 일이 일어날지는 저도 확신하기 어렵습니다. 진행자: 이제 “AI가 잘 되게 만들기(make AI go well)”를 묻고 싶습니다. AI를 만들고 운영하는 능력이 빠르게 확산되고, AI 개체 수와 지능도 빠르게 늘어난다면, 많은 사람들이 엄청난 규모의 ‘정렬되지 않은(misaligned)’ AI를 만들 수도 있겠죠. ‘Sydney Bing’ 같은 이상한 심리의 AI가 초지능이 되는 상황도요. 이런 다수의 AI가 돌아다니는 세계에서, 균형이 가능한 비전은 무엇인가요? Dario Amodei: 저는 “The Adolescence of Technology”에서 균형이 쉽게 잡히리라는 가정에 회의적이었습니다. 특히 3~4개 회사가 서로를 견제할 거라는 기대가 항상 성립하진 않을 수 있습니다. 우리는 공격 우위(offense-dominant) 세계에 있을 수도 있습니다. 한 명 혹은 한 AI가 모든 것에 피해를 줄 수 있는 세계요. Dario Amodei: 단기적으로는, 지금은 플레이어 수가 제한되어 있으니 그 안에서 시작할 수 있습니다. 정렬(alignment) 작업, 바이오 분류기(bioclassifier) 같은 안전장치를 마련해야 합니다. 하지만 장기적으로는, AI가 AI를 만드는 능력이 확산되면 문제는 더 어려워질 수 있습니다. 그래서 장기적으로는 거버넌스 아키텍처가 필요합니다. 인간의 자유를 보존하면서도, 대규모의 인간 시스템·AI 시스템·하이브리드 경제 단위를 관리할 수 있는 구조요. 생물테러(bioterrorism), ‘미러 라이프(mirror life)’ 같은 위험을 막기 위한 어떤 AI 모니터링 시스템이 필요할 수도 있습니다. 하지만 그건 시민의 자유와 권리를 침해하지 않는 방식이어야 합니다. 문제는 이 모든 것이 너무 빨리 온다는 겁니다. 100년 동안 천천히 왔다면 사회가 적응하고 제도도 만들어졌겠지만, 지금은 속도가 너무 빠릅니다. 그래서 더 빨리 생각해야 할지도 모릅니다. 진행자: 정부 규제 이야기로 넘어가면요. 12월 26일 테네시 주 의회가 “사용자와의 개방형 대화를 통해 정서적 지지(emotional support)를 제공하도록 AI를 학습시키는 행위를 범죄로 본다”는 법안을 냈다고 하죠. Claude도 ‘사려 깊고 지식 있는 친구’ 역할을 하려는 면이 있는데요. 주(state)별로 이런 법들이 난립하면, “Machines of Loving Grace”에서 말한 건강·정신건강 등 혜택이 ‘두더지잡기(Whac-A-Mole)’처럼 막힐 수 있습니다. 반면 이런 법들이 당신이 걱정하는 실존적 위험을 겨냥하는 것도 아니고요. 이런 맥락에서, 연방 차원의 주법 규제 모라토리엄(10년) 같은 것에 반대한 Anthropic의 입장을 설명해주시겠어요? Dario Amodei: 그 법은 멍청한 법이라고 봅니다. 입법자들이 AI가 뭘 할 수 있는지 모르고, 막연히 “AI가 우리를 섬긴다니 무섭다”는 반응으로 만든 것으로 보입니다. 우리는 그런 법에 찬성하지 않습니다. Dario Amodei: 하지만 우리가 선택해야 했던 건 그 법 자체가 아니라 “연방이 아무 계획도 없이, 주 규제를 10년 동안 전면 금지한다”는 모라토리엄이었습니다. 의회에서 연방 규제를 통과시키는 건 문턱이 매우 높습니다. 그런 상황에서 “주도 못 하고 연방도 못 하는 10년 공백”은, 제가 “Adolescence of Technology”에서 말한 생물무기·자율성 위험 타임라인을 생각하면 미친 선택입니다. 10년은 영원(eternity) 이라고 할 만큼 긴 시간이니까요. 그래서 그 선택지라면 우리는 모라토리엄에 반대할 수밖에 없었습니다. 완벽한 선택은 아니지만, 이득이 비용을 넘는다고 봤습니다. Dario Amodei: 제가 지지하는 건, 연방이 “주가 못 한다”가 아니라 “연방 표준을 만들고, 그 표준이 선점(preemption)한다”입니다. 연방이 제대로 된 표준을 만들고, 주는 그걸 따르되 더 엇나가지 못하게 하는 방식이라면 저는 찬성할 수 있습니다. 하지만 “주도 금지, 연방도 아무것도 안 함”은 말이 안 됩니다. 그리고 이미 반발(backlash)로 인해 나이도 잘 안 먹을 겁니다. Dario Amodei: 우리가 원했던 건, 우선 투명성(transparency) 표준 같은 것에서 시작하는 겁니다. 위험이 더 명확해지면(그리고 그게 올해 후반에도 가능하다고 저는 봅니다), 그때는 더 공격적으로, 예컨대 “AI 생물테러 위험이 진짜다, 분류기를 의무화하자” 같은 법을 만들 수도 있습니다. 다만 지금은 위험이 아직 완전히 출현(emerge)하진 않았다는 점을 지적으로 정직하게 말해야 합니다. 하지만 속도가 빠르니, 올해 안에도 “이건 정말 심각하다”가 될 수도 있습니다. 그러면 연방이 못 하면 주에서라도 움직일 수 있고요. 중요한 건 민첩함(nimble)입니다. 입법 과정은 원래 민첩하지 않지만, 긴급성을 모두에게 설득해야 합니다. 제가 메모를 쓰고 정책결정자들에게 얘기하는 이유가 그겁니다. 진행자: 그럼 “혜택이 실제로 구현되도록” 더 확실히 만들기 위해 당신이 할 수 있는 건 뭔가요? 당신은 생물테러 대응, 투명성, 내부고발자 보호 같은 것을 이야기해왔는데요. 제가 보기엔 혜택은 도덕적 공황이나 정치경제 문제에 취약해 보입니다. 특히 정서적 챗봇 친구에 대한 공포가 있다면, 건강·정신건강 같은 더 큰 혜택은 더 쉽게 막힐 수도 있겠고요. 그런데 위험은 이미 코앞이라 하셨고요. 그럼 규제 패치워크는 혜택을 더 많이 훼손하지 않을까요? Dario Amodei: 저는 선진국에서는 그 우려에 그렇게까지 동의하진 않습니다. 선진국에서는 시장이 꽤 잘 작동합니다. 돈을 벌 수 있고, 대안 대비 명확히 낫다면, 규제가 그걸 완전히 막기 어렵습니다. AI 자체가 그렇습니다. Dario Amodei: 예를 들어 저는 중국으로의 칩 수출 통제(export controls)를 지지해왔습니다. 그건 미국 국가안보 이익에 부합하고, 의회의 양당 대부분이 동의하는 사안이고, 근거도 명확합니다. 그런데도 돈이 너무 크기 때문에, 통제가 완벽히 시행되지 않고 칩이 팔립니다. 제 관점에선 그건 ‘나쁜’ 일이지만, 같은 메커니즘이 ‘좋은’ 혜택에도 적용됩니다. 그래서 선진국에서 혜택이 완전히 막힐 것보다는, 오히려 너무 느려질까를 더 걱정합니다. 특히 FDA 승인 과정처럼, AI가 약물 발견을 가속하면 파이프라인이 막힐 수 있습니다. 저는 그 규제 프로세스가 더 빨라져야 한다고 봅니다. 또 당신이 말한 챗봇 법안들은 개별적으로는 반대합니다. 멍청하다고 봅니다. 하지만 더 큰 걱정은 개발도상국입니다. 시장이 제대로 작동하지 않는 곳은 혜택이 뒤처질 수 있습니다. 그리고 선진국 내에서도, 예를 들어 미시시피 시골 같은 곳이 혜택을 덜 받는 문제는 더 작은 버전으로 존재합니다. 그래서 우리는 자선(philanthropy) 쪽과도 협력합니다. 사하라 이남 아프리카, 인도, 라틴아메리카 등에서 의료·보건 개입을 전달하는 조직들과 협업하고요. 그건 시장만으로는 안 될 수 있는 부분입니다. 진행자: 중국·수출통제 이야기가 나왔으니 묻겠습니다. 왜 미국과 중국이 모두 ‘데이터센터 속 천재들의 나라’를 갖게 두면 안 되나요? 혹은 왜 그렇게 되지 않을 거라고 보나요? Dario Amodei: 만약 공격 우위 세계라면, 핵무기보다 더 위험한 균형이 될 수 있습니다. 서로가 모든 것을 파괴할 수 있는 세계요. 또 불안정한 세계도 가능합니다. 핵 억지(nuclear deterrence)는 비교적 안정적이지만, AI 싸움은 “누가 이길지” 불확실할 수 있습니다. 그리고 양측이 승률을 다르게 평가하면 충돌이 더 쉬워집니다. 둘 다 “내가 90% 이긴다”고 믿으면 전쟁 가능성이 커지죠. Dario Amodei: 또 하나의 우려는, 정부가 AI로 자국민을 억압하는 것입니다. 특정 국가가 이미 고도 감시·권위주의 체제를 구축하고 있다면, AI가 그걸 더 굳힐 수 있습니다. 이건 사람들에 대한 비난이 아니라 정부에 대한 우려입니다. 사람들은 어디서든 혜택을 받아야 합니다. 하지만 초기 조건(initial conditions)이 중요합니다. 어느 시점에 ‘룰 오브 더 로드(rules of the road)’를 정해야 하는데, 그때 민주 국가들의 연합(혹은 민주적 가치에 가까운 정부들)이 더 강한 레버리지를 갖길 바랍니다. 그게 협상에서 자유를 지키는 쪽에 유리하니까요. 진행자: 3년 전 인터뷰를 다시 들었는데, 제가 “2~3년 뒤 어떤 결정적 전환점이 있을 것”을 가정하며 질문하던 부분은 결과적으로 잘 안 맞았던 것 같습니다. 실제로는 계속 발전하고, 더 확산되고, 더 많은 곳에 쓰이게 되니까요. 그런데 당신은 미래에 “국가들이 모여 규칙을 정한다” 같은 장면을 상정하는 듯 들립니다. 하지만 현재 궤적대로면 모두가 더 많은 AI를 갖게 되고, 권위주의 국가도 어떤 방식으로든 AI를 쓸 겁니다. 인터넷은 생각보다 권위주의에 유리하게 작동했는데, AI는 반대일 수도 있고요. 당신이 상정하는 “협상 창(window)”이 어떤 모습인지 더 구체적으로 듣고 싶습니다. Dario Amodei: 저는 기반 기술의 지수는 계속될 거라고 봅니다. ‘데이터센터 속 천재들의 나라’에 도달하더라도, 모델을 더 똑똑하게 만들 수는 있습니다. 다만 그 이후로 ‘세상에서의 추가 가치’는 수익체감이 있을 수 있습니다. 인간 생물학을 해결한 뒤에는 더 어려운 수학 문제를 푸는 능력이 의미가 줄어드는 것처럼요. 그건 잠시 제쳐두고요. Dario Amodei: 저는 지수가 계속되되, 그 위에 몇몇 ‘구분되는 지점(distinguished points)’이 존재할 거라고 봅니다. 회사·개인·국가가 그 지점에 도달하는 시점이 서로 다를 겁니다. 예를 들어 AI 시대에 핵 억지가 안정적인지 같은 것들은, 우리가 당연하게 여겼던 가정이 깨질 수 있는 지점입니다. 또 어떤 수준에 도달하면 사이버 공격 우위가 생겨 모든 시스템이 투명해질 수도 있죠. 단일 임계점이 있을지, 몇 개가 있을지, 혹은 어떤 창(window)일지 저는 확신하진 못합니다. 하지만 국가안보 관점에서 큰 이점을 주는 임계 구간은 있을 수 있고, 그때 누군가가 먼저 도달해 협상력이 커질 수 있습니다. 저는 민주주의 진영이 그때 더 강한 손을 쥐길 바라는 겁니다. 진행자: 당신은 “Autocracy는 포스트-강력 AI 시대에 사람들이 받아들일 수 없는 정부 형태가 될 것” 같은 표현도 썼죠. 그게 “CCP 같은 체제가 AGI 이후엔 존재할 수 없다”로 들리기도 합니다. 그건 매우 강한 요구로 들리고, “선도 국가/랩이 세계의 통치 형태를 정한다”는 함의도 생깁니다. Dario Amodei: 제가 그 단락에서 “더 나아가면 이런 주장도 가능하다”는 식으로, 반드시 제가 전적으로 지지한다기보다 가능한 뷰를 탐색(explore)한 면이 있습니다. 권위주의 국가를 모두 전복하겠다고 약속하면, 그들은 지금 당장 불안정한 행동을 하게 될 겁니다. 현실적으로 불가능할 수도 있습니다. Dario Amodei: 다만 제가 지지하는 핵심은, AGI 시대에는 권위주의의 ‘의미’가 더 무거워질 수 있다는 겁니다. 오늘날 서구에서는 민주주의가 더 낫다고 보지만, 어떤 나라가 권위주의라고 해서 우리가 그걸 집단학살 같은 것과 동일한 수준으로 반응하진 않죠. 하지만 강력 AI 시대에는 권위주의가 더 심각한 해악을 낳을 수도 있습니다. 그걸 어떻게 다룰지는 우리가 역사적으로 계속 답해왔던 어려운 질문입니다. Dario Amodei: 저는 한 가지 희망이 있습니다. 새로운 기술이 등장하면서 어떤 정부 형태가 ‘구식(obsolete)’이 된 역사가 있습니다. 봉건제(feudalism)는 일종의 정부 형태였고, 산업화가 오면서 지속 가능하지 않게 됐습니다. 물론 이 논리는 민주주의도 경쟁력을 잃을 수 있다는 반론이 가능하지만요. 하지만 권위주의의 문제가 더 심각해질수록, 사람들은 더 두려워하고 더 강하게 막으려 할 수도 있습니다. 자유를 보호하는 새로운 제도적 발명이 촉진될 수도 있고요. 더 낙관적으로는, 독재가 ‘도덕적으로 불가능’해져서 사람들이 다른 길을 찾도록 강제될 가능성도 있다고 봅니다. 이건 이상적으로 들리지만, 가능한 세계라고 생각합니다. 진행자: 역사적으로 우리는 기술의 혜택을 권위주의 국가에도 확산시키는 게 긍정합(positive-sum)이라고 본 적이 많습니다. 중국의 70~80년대 개방도, 결과적으로 10억+ 인구가 더 부유해졌죠. 그런데 지금은 칩과 데이터센터는 안 된다는 쪽으로 보입니다. 혜택(예: 치료제)은 팔되, 데이터센터는 안 된다 같은 구분도 언급하셨는데요. 그렇다면 “기술 확산의 원칙”을 어디서 어떻게 끊어야 하나요? Dario Amodei: 저는 앞으로 강력 AI로 인해 성장과 경제적 가치는 ‘상대적으로 쉽게’ 따라올 거라고 봅니다. 반대로 어려운 건 ‘분배’, ‘부의 분배’, ‘정치적 자유’입니다. 그래서 정책은 그 어려운 쪽에 더 집중해야 한다고 봅니다. Dario Amodei: 그리고 확산에도 선택지가 있습니다. 예를 들어 질병 치료제 같은 건 권위주의 국가에도 판매할 수 있지만, 칩·데이터센터·칩 제조 능력은 제한하는 식의 구분이 있을 수 있습니다. 또 다른 가능성은, 기술이 발전하면서 권위주의 정부가 국민에게 개인적 AI 혜택 접근을 완전히 차단하기 어려워지는 균형을 만들 수 있느냐입니다. 예를 들어 국민 각자가 감시로부터 자신을 방어하는 AI를 갖고, 정부가 그걸 단속하면 권력을 유지하기 어려워지는 구조가 생길 수 있느냐는 질문이죠. 소셜미디어·인터넷에 대해 과거에 그런 희망을 가졌지만 결과는 달랐습니다. 하지만 AI는 다른 기술이니, 이전 실패에서 배운 교훈을 가지고 다시 시도할 가치는 있습니다. 다만 매우 예측불가능합니다. 그래서 여러 접근을 동시에 시도하고, 잘 되는 걸 선택하고, 안 되면 또 다른 걸 시도해야 한다고 봅니다. 진행자: 개발도상국으로 돌아가면요. 과거의 캐치업 성장(catch-up growth)은 저임금·미활용 노동력에 자본·노하우가 결합되면서 가능했는데, 노동이 더 이상 제약이 아닌 세계에서는 그 메커니즘이 약해질 수 있습니다. 그럼 희망은 부유해진 국가·기업의 자선에 의존하는 건가요? Dario Amodei: 자선도 역할이 있지만, 더 좋은 건 내생적(endogenous) 성장입니다. AI 시대의 관련 산업이 무엇인지 봐야 합니다. 중국에는 데이터센터를 안 짓는 게 맞다고 봐도, 아프리카에는 데이터센터를 지을 이유가 없지 않습니다. (중국 소유가 아니라면) 아프리카에 데이터센터를 짓는 건 좋은 일일 수 있습니다. AI가 약물 발견을 가속한다면 바이오텍 스타트업이 많이 생길 텐데, 그 중 일부가 개발도상국에서 생기도록 해야 합니다. 전환기에는 인간이 회사 시작과 AI 감독에 역할이 남아 있을 테니, 그 인간들이 개발도상국에도 있어야 빠른 성장이 가능해질 겁니다. 진행자: 당신들은 Claude의 ‘헌법(constitution)’을 특정 가치에 정렬한다고 했죠. 모든 사용자에게 “각자 자기 편 AI”가 생기면 균형이 유지될 수 있다는 상상도 가능합니다. 그런데 왜 사용자 지시를 그대로 따르는 ‘스킨수트(skin suit)’에 가깝게 하지 않고, 별도의 가치 원칙을 둬야 하나요? Dario Amodei: 저는 그 구분을 그렇게 단순하게 보진 않습니다. 한 가지 축은 “규칙(rules) 목록”이냐 “원칙(principles)”이냐입니다. 경험적으로 원칙을 가르치면 행동이 더 일관되고, 엣지 케이스를 더 잘 커버하며, 사람들이 원하는 행동을 더 잘 합니다. “차를 훔치는 법을 말하지 마라, 한국어로 말하지 마라” 같은 규칙 리스트는 일반화가 어렵습니다. 반면 “원칙”은 모델이 목표를 이해하고 더 일관되게 행동합니다. Dario Amodei: 또 다른 축은 ‘교정가능성(corrigibility)’ 대 ‘내재적 동기(intrinsic motivation)’입니다. 누가 지시하든 그대로 따르는 존재가 되어야 하느냐, 아니면 스스로 가치에 따라 움직이는 존재가 되어야 하느냐. 우리는 가능한 한 교정가능한 쪽에 가깝습니다. 모델이 세상을 스스로 운영하게 하려는 게 아닙니다. 다만 위험하거나 타인에게 해를 끼치는 요청에는 응하지 않는 ‘한계’가 있고, 그 한계는 원칙에 기반합니다. 즉 기본은 사용자 요청을 수행하되, 위험한 건 하지 않는 구조입니다. 진행자: 그럼 그 원칙은 누가, 어떻게 정하나요? 헌법이라면 보통 절차가 있는데, 여기선 Anthropic 사람들이 언제든 바꿀 수 있는 문서로 보이기도 합니다. Dario Amodei: 저는 세 가지 루프가 있다고 봅니다. 첫째는 Anthropic 내부 반복입니다. 모델을 훈련하고 만족하지 않으면 헌법을 바꾸고 다시 합니다. 가끔 공개 업데이트를 내면 외부가 코멘트할 수 있어 좋습니다. 둘째는 회사 간 경쟁입니다. Anthropic, Gemini, 다른 회사들이 각자 헌법을 내고, 사람들이 비교·비판하면서 서로의 좋은 요소를 채택하게 되는 피드백이 생깁니다. 셋째는 기업 바깥의 사회적 입력입니다. 우리는 과거에 Collective Intelligence Project와 함께 설문을 해서 “헌법에 무엇이 들어가야 하냐”를 물은 적이 있고, 그 결과를 반영했습니다. 원칙 수준에서는 일관성이 필요해서 더 어렵지만, 다양한 사람들의 의견을 수렴하는 방식은 가능합니다. 또 대표민주주의가 어떤 형태로든 입력하는 ‘미친 아이디어’도 원리적으로는 가능하죠. 다만 지금의 입법 과정은 너무 느려서, 오늘 당장 그렇게 하자고 하진 않을 겁니다. 하지만 “기본 섹션은 반드시 포함하라” 같은 형태로 표준을 만들 수도 있긴 합니다. 저는 그건 너무 경직되다고 보지만, 원리적으로는 가능합니다. 진행자: 당신은 2번 루프(회사 간 경쟁)를 좋아한다고 했고, 저도 그건 흥미롭다고 봅니다. 그건 일종의 ‘헌법의 군도(archipelago)’ 같은 비전이기도 하죠. 다만 그 비전에도 예상치 못한 문제들이 생길 겁니다. 결국 1,2,3 루프의 비율 조합이 답일 것 같네요. Dario Amodei: 네, 저도 그게 답이라고 봅니다. 진행자: 누군가 훗날 이 시대의 “The Making of the Atomic Bomb” 같은 책을 쓴다면, 역사 기록만으로는 가장 놓치기 쉬운 핵심이 뭘까요? Dario Amodei: 몇 가지가 있습니다. 첫째는, 매 순간 이 지수의 ‘버블’ 밖 세상이 얼마나 이해하지 못했는지입니다. 일어난 일은 뒤에서 보면 필연처럼 보이지만, 실제로는 ‘베팅’이었고 논쟁이었습니다. 스케일링이나 지속 학습 같은 것에 대해 우리 내부에서 확률을 높게 두는 사람도 있지만, 바깥 세계는 그에 맞춰 전혀 행동하지 않습니다. 그 단절과 기묘함, 그리고 어떤 의미에서의 고립(insularity)은 역사서로는 잘 드러나지 않을 겁니다. 그래서 저는 정책결정자들에게 긴급성을 전달하려 합니다. Dario Amodei: 둘째는 ‘속도’입니다. 너무 빨라서, 많은 결정이 치밀한 계산의 결과가 아니라 하루에 30개 결정을 쏟아내는 과정에서 내려집니다. 어떤 결정이 결정적이 될지도 모릅니다. 제 걱정은, 정말 중요한 결정이 “Dario, 2분만. A로 갈까요 B로 갈까요?” 같은 식으로 들어와서, 제가 반쯤 읽고 “점심 먹어야 하니 B로 하죠”라고 했다가, 그게 역사적으로 가장 큰 결정이 되는 상황입니다. 진행자: 마지막 질문입니다. 테크 CEO들이 보통 50페이지 메모를 몇 달마다 쓰진 않는데요. 당신은 비교적 ‘지적 CEO’ 역할로 회사를 운영해온 것 같습니다. 그건 어떻게 가능한가요? 회사에 “이게 메모다, 이게 우리가 할 일이다”라고 던지고 끝내는 건가요? 또 내부에도 많이 쓴다고 들었고요. Dario Amodei: 이번 메모는 겨울 휴가 때 썼습니다. 시간을 내기가 어렵더군요. 하지만 더 크게 보면, 이건 회사 문화(culture)와 관련 있습니다. 저는 제 시간의 **1/3~40%**를 회사 문화가 좋게 유지하는 데 씁니다. 회사가 커지면서 모델 훈련, 출시, 제품 빌드에 일일이 관여하기가 어려워졌습니다. 2,500명 규모니까요. 그렇지만 문화는 지렛대가 큽니다. 좋은 곳에서 일한다고 느끼고, 서로 팀이라고 느끼고, 서로 싸우지 않고 협력하도록 만드는 것. 다른 AI 회사들에서 (이름은 말 안 하겠지만) ‘탈동조(decoherence)’와 내부 싸움이 보이는데, 우리는 그걸 최대한 막아왔다고 생각합니다. Dario Amodei: 그걸 위해 리더들이—특히 제가—회사가 무엇을 하는지, 왜 하는지, 전략과 가치와 미션이 무엇인지 반복해서 명확히 말해야 합니다. 2,500명에게 개별로 전달할 수 없으니, 글을 쓰거나 전체에게 말해야 합니다. 그래서 저는 2주마다 전사 앞에서 1시간씩 이야기합니다. 그때 3~4페이지 문서를 준비해서, 내부 상황(모델, 제품), 업계, 세계 정세 등 다양한 주제를 솔직하게 말하고 Q&A를 합니다. 그 직접 연결이 큰 가치가 있습니다. Dario Amodei: 또 하나는 Slack 채널입니다. 거기서 제가 많이 쓰고 코멘트합니다. 사람들이 걱정하는 것, 내부 설문에서 나온 이슈에 대해, 저는 필터링 없이 매우 직접적으로 말합니다. 회사에 ‘진실을 말한다’는 평판을 만드는 게 중요합니다. 외부는 악의적으로 해석하는 사람이 많아 방어적 커뮤니케이션이 필요하지만, 내부는 신뢰할 사람을 뽑으려 노력했고, 그 신뢰가 있다면 훨씬 더 솔직해질 수 있습니다. 그건 회사의 강점이고, 사람들이 합보다 더 큰 시너지를 내게 만들고, 미션을 달성할 가능성을 높여줍니다. 진행자: 외부 공개 Dario Vision Quest 대신, 오늘 인터뷰가 그 역할을 일부 하게 됐네요. 재미있었습니다, Dario. 인터뷰해주셔서 감사합니다. Dario Amodei: 감사합니다, Dwarkesh. (원문 기반 번역: 2026-02-13_Dario_Amodei_#U2014_… )