오늘은 인공지능(AI)이 통제에서 벗어나는 시나리오에 집중해보려 합니다. 사람들을 최대한 겁주려면 Terminator 로봇 사진이라도 가져왔어야 했는데요. 인터넷이… 인터넷이 이미 그 역할을 대신해주죠. 인공지능의 “지배자들”은 과연 인류 편일까요? “내 예측은 로봇이 사람보다 더 많아질 거라는 겁니다.” “물리 세계와 디지털 세계는 정말로 완전히 섞여야 한다.” “세상은 아직 진짜 ‘휴머노이드 로봇의 순간’을 맞이하지 못했습니다. 엄청나게 공상과학(sci-fi)처럼 느껴질 거예요.” 이것이 제가 이번 주 게스트에게 던지고 싶은 핵심 질문입니다. 그는 가장 빠르게 성장하는 AI 회사 중 하나인 Anthropic의 대표입니다. 진행자는 Anthropic이 거의 $350 billion에 가까운 가치로 평가된다고도 말합니다. Anthropic의 Claude code는 연승을 거듭해왔죠. 그가 세상에 풀어놓고 있는 기술이 가져올 잠재적 효과를 말할 때, 그는 일종의 유토피아주의자처럼 보이기도 합니다. “아시다시피, 암을 치료하는 데 도움이 될 겁니다. 열대성 질환을 근절하는 데도 도움이 될 수 있어요. 우주를 이해하는 데도, 우주를 이해하는 데도 도움이 될 겁니다.” 하지만 그는 어떤 경우든, 앞으로의 중대한 위험과 대규모 혼란 역시 본다고 말합니다. “이건 너무 빠르게 진행되고 있고, 위기 수준입니다. 우리가 거의 모든 노력을 ‘이 상황을 어떻게 통과할지’ 생각하는 데 쏟아야 합니다.” Dario Amodei, Interesting Times에 오신 것을 환영합니다. (Dario) 초대해주셔서 감사합니다, Ross. 와주셔서 고맙습니다. 기술 기업 CEO로서는 좀 특이하게도, 당신은 에세이스트이기도 하죠. 인공지능(AI)의 약속과 위험에 대해 길고 흥미로운 에세이를 두 편이나 쓰셨습니다. 오늘 대화에서는 그 “위험”을 이야기할 겁니다. 다만 저는 시작을 “약속”, 즉 낙관적 비전에서 출발하면 좋겠다고 생각했습니다. 사실 당신이 몇 년 전 “Machines of Loving Grace”라는 제목의 에세이에서 펼쳐 보인 건, 말하자면 유토피아적 비전이었습니다. 그 제목은 마지막에 다시 돌아오겠습니다. 하지만 많은 사람들은 AI 뉴스를 ‘화이트칼라 일자리 대학살’ 같은 헤드라인으로 접하곤 합니다. 때로는 당신의 발언이— (Dario) 제 발언이요. (진행자) 네, 제 발언이 그런 분위기를 부추기기도 했고요. 그래서 사람들이 흔히 갖는 질문이 있습니다. “AI는 대체 무엇을 위한 건가?” 그 질문에, 일단 출발점으로 답해주시죠. 앞으로 5년 혹은 10년 동안 모든 일이 정말 환상적으로 잘 풀린다면, AI는 ‘무엇을 위한’ 것입니까? (Dario) 네. 배경을 조금 말씀드리면, 저는 기술 업계에서 일하기 전에는 생물학자였습니다. 처음에는 계산 신경과학(computational neuroscience)을 했고, 그다음에는 Stanford Medical School에서 암 진단을 개선하고 암을 치료하는 데 도움이 될 단백질 바이오마커(protein biomarker)를 찾는 일을 했습니다. 그 분야에서 제가 가장 강하게 느낀 건, 말도 안 되게 높은 복잡성이었습니다. 단백질 하나도 각 세포 안에서 ‘국소적으로’ 존재 수준이 다릅니다. 몸 전체에서의 수준이나, 각 세포에서의 수준만 측정해서는 충분하지 않아요. 세포의 ‘특정 부위’에서의 수준, 그리고 그 단백질이 상호작용하거나 복합체를 이루는 다른 단백질들까지 함께 측정해야 합니다. 그래서 저는 “와, 이건 인간에게 너무 복잡하다”는 느낌을 받았습니다. 생물학과 의학의 문제들에서 우리는 분명 진전을 내고 있지만, 그 진전 속도는 비교적 느립니다. 그래서 제가 AI 분야로 끌린 이유는 이런 생각 때문이었죠. “우리가 더 빠르게 진전할 수는 없을까?” 우리는 오래전부터 생물학에 인공지능(AI)과 머신러닝(machine learning) 기법을 적용하려고 시도해왔습니다. 보통은 데이터 분석에 쓰였죠. 그런데 AI가 정말 강력해지면, 저는 이걸 다르게 봐야 한다고 생각합니다. AI를 ‘생물학자의 일을 하는 존재’로 생각해야 한다는 겁니다. 즉, 처음부터 끝까지(end to end) 전 과정을 수행하는 생물학자 말입니다. 그 과정에는 실험을 제안하고, 새로운 기법을 고안하는 것도 포함됩니다. 제가 에세이에서 말한 부분이 있는데요. “생물학의 많은 진전은, 아주 작은 것들을 측정하거나 접근하거나 개입할 수 있게 해준 소수의 통찰들에 의해 주도되어 왔다”는 겁니다. 많은 기법들이 사실상 우연(serendipity)의 산물로 발명됐습니다. 예컨대 유전자 편집(gene editing) 기술 중 하나인 CRISPR는, 누군가가 박테리아 면역 체계(bacterial immune system)에 관한 강연을 듣고 자신이 하던 유전자 치료(gene therapy) 작업과 연결해버리면서 탄생했습니다. 그리고 그 연결은 사실 30년 전에도 충분히 가능했을지 모릅니다. 그래서 생각하게 됩니다. AI가 이 모든 걸 가속할 수 있을까? 정말로 암을 치료할 수 있을까? Alzheimer’s disease를 치료할 수 있을까? heart disease를 치료할 수 있을까? 그리고 좀 더 미묘하게는, 사람들이 겪는 심리적 고통들—depression, bipolar 같은 것들—에 대해서도 뭔가를 할 수 있을까? 적어도 일부는 생물학적 기반이 있다고 저는 생각합니다. 그래서 저는 “그럼 얼마나 빨라질 수 있을까?”라는 논리를 전개합니다. 거의 뭐든 할 수 있는 지능들이 밖에 존재한다면 말이죠. (진행자) 여기서 잠깐 멈추고 싶은데요. 당신이 그 에세이에서 제시한 프레이밍에서 흥미로운 점이, 그리고 당신이 다시 그 프레임으로 돌아온 점이, 이 “지능들”이 AI 논쟁에서 흔히 나오는 ‘최대치의 신(神) 같은 초지능(superintelligence)’일 필요는 없다는 겁니다. 당신은 기본적으로 이렇게 말하죠. ‘정점 인간 수준(peak human performance)의 강한 지능’을 달성한 다음— (Dario) 네, 정점 인간 수준이요— 그걸 곱하면 되는 거다, 맞죠? 당신 표현이 “A country of geniuses”입니다. “천재들의 나라.” (진행자) 그 수가 100 million이라고요. (Dario) 맞습니다. 1억 명—각각 조금씩 다른 방식으로 훈련되고, 조금씩 다르게 접근하고, 서로 다른 문제를 푸는 거죠. 다양성(diversification)과 서로 다른 시도가 주는 이점이 있습니다. (진행자) 그러니까 ‘완전한 머신 갓(machine God)’이 필요한 게 아니라, 1억 명의 천재만 있으면 된다, 이런 이야기군요. (Dario) 네. 그리고 실제로 저는 ‘머신 갓’이 이런 문제들에서 1억 명의 천재보다 훨씬 더 효과적일지에 대해서는, 회의적인 지점도 있습니다. 제가 “지능에 대한 체감수익 감소(diminishing returns to intelligence)”라는 개념을 제시했죠. 경제학자들은 토지와 노동의 한계생산(marginal productivity)을 말하지만, 우리는 지능의 한계생산을 생각해본 적이 없습니다. 그런데 생물학의 어떤 문제들을 보면, 결국 어느 수준에서는 ‘세상과 상호작용해야’ 하고, 어느 수준에서는 ‘직접 시도해야’ 합니다. 또한 의약품을 규제 시스템을 통해 통과시키려면 법을 준수하거나, 법을 바꾸는 과정도 필요합니다. 이런 변화에는 ‘유한한 속도’가 있습니다. 물론 체스(chess)나 바둑(Go) 같은 영역에서는 지능의 천장이 매우 높습니다. 하지만 현실 세계에는 제약요인들이 많다고 저는 봅니다. 그래서 천재 수준을 넘어설 수도 있겠지만, “연산의 달(moon of computation)” 같은 걸 써서 AI 신을 만들 수 있느냐는 논의는 다소 자극적(sensationalistic)이고 핵심에서 벗어나 있다고 느낄 때도 있습니다. 그럼에도 저는 이 일이 인류에게 일어난 것 중 ‘가장 큰 사건’이 될 거라고 생각하지만요. (진행자) 그러면 구체적으로, 당신이 그리는 세계에서는 암이 더 이상 인간 생명을 심각하게 위협하는 존재가 아니게 되고, 심장병도 끝나고, 우리를 죽게 만드는 대부분의 질병이 사라지고, 그 이후의 수명 연장까지 가능해진다—이게 건강 영역의 매우 긍정적인 비전입니다. 그다음은 경제와 부입니다. 5~10년의 AI 도약(takeoff)에서 부는 어떻게 되나요? 일단은 긍정적인 쪽으로만 가봅시다. 부정적인 쪽은 뒤에 충분히 할 테니까요. (Dario) 이미 우리는 제약사(pharma companies)들과 협업하고 있습니다. 금융 산업(financial industry) 회사들과도 협업하고 있고요. 제조(manufacturing)를 하는 분들과도 일하고 있습니다. 물론 우리는 특히 코딩과 소프트웨어 엔지니어링(software engineering)으로 잘 알려져 있죠. 그냥 ‘순수한 생산성’—무언가를 만들고 일을 해내는 능력—이 매우 강력합니다. 그리고 우리는 회사 매출이 연간 10x씩 성장하는 걸 보고 있습니다. 더 넓은 산업도 비슷해 보인다고 추정합니다. 기술이 계속 개선된다면, 10배가 몇 번만 더 반복돼도, 갑자기 이렇게 말하게 됩니다. “산업 전체에서 연간 $1 trillion의 매출을 추가로 쌓는다면, 미국 GDP가 20 or 30 trillion이니까(정확히 기억은 안 납니다만), GDP 성장률을 몇 퍼센트 포인트나 끌어올리는 셈이네.” 그래서 저는 AI가 선진국(developed world)의 GDP 성장률을 5%, 10%, 15% 같은 수준으로 끌어올릴 수도 있는 세계를 상상합니다. 물론 이런 숫자를 계산하는 ‘과학’은 없습니다. 완전히 전례 없는 일이니까요. 하지만 과거 우리가 보지 못했던 분포 밖의 수치로 갈 수도 있습니다. 그리고 저는 그게 ‘이상한 세계’를 만든다고 생각합니다. 우리는 늘 재정적자(deficit)가 커진다고 논쟁하죠. 그런데 GDP 성장이 그 정도라면 세수(tax receipts)도 그 정도로 늘어나고, 의도하지 않아도 재정균형을 맞추게 될 겁니다. 하지만 제가 최근에 생각하는 건 이겁니다. 우리의 경제·정치 논쟁에는 “성장은 얻기 어렵다”는 전제가 깔려 있습니다. 성장이라는 유니콘(unicorn)이 있는 것처럼요. 황금거위(golden goose)를 죽이는 방법은 너무 많고요. 그런데 우리는 “성장은 매우 쉬운데, 분배(distribution)가 어려운” 세계로 들어갈지도 모릅니다. 왜냐하면 성장이 너무 빠르게 일어나기 때문입니다. 파이(pie)가 너무 빠르게 커지는 거죠. (진행자) 어려운 문제로 들어가기 전에, 정치에 관해서도 낙관적 포인트를 하나 더 짚죠. 이건 더 투기적(speculative)이긴 한데요. 당신은 AI가 전 세계의 민주주의(democracy)와 자유(liberty)에 도움이 될 수 있다고 주장하려고 합니다. 직관적이진 않죠. 많은 사람들은 ‘엄청나게 강력한 기술이 권위주의 지도자의 손에 들어가면 권력 집중이 일어난다’고 말하니까요. 그럼 짧게만요. AI가 민주주의에 좋을 수 있다는 ‘낙관적 논리’는 무엇입니까? (Dario) 네, 물론입니다. “Machines of Loving Grace”는 저도 좀… “꿈을 꾸자, 꿈을” 이런 모드로 쓴 겁니다. 얼마나 가능성이 큰지는 모르지만, 꿈을 그려야 하고, 그 꿈을 현실로 만들려고 노력해야 하니까요. 긍정적 버전에서 저는, 기술이 본질적으로 자유를 편들지는 않는다고 인정합니다. 저는 기술이 본질적으로는 질병 치료를 편들고, 경제 성장을 편든다고 생각합니다. 하지만 자유를 ‘본질적으로’ 편드는지에는 걱정이 있어요. 그래서 제가 말한 건 “그렇다면 자유를 편들도록 만들 수 있을까?”입니다. 미국과 다른 민주국가들이 이 기술에서 앞서게 만들 수 있을까요? 미국이 기술·군사에서 앞서왔다는 사실은, 다른 민주국가들과의 동맹을 통해 세계에서 영향력(throw weight)을 행사할 수 있게 했고, 러시아나 중국, 또는 다른 권위주의 국가들이 만들었을 세계보다 더 나은 세계를 형성해왔다고 저는 생각합니다. 그렇다면 AI에서의 선도(lead)를 사용해서 전 세계의 자유를 형성할 수 있을까요? 물론 ‘얼마나 개입주의적으로(interventionist) 해야 하는가’, ‘그 힘을 어떻게 행사해야 하는가’에는 논쟁이 큽니다. 하지만 저는 오늘날 소셜 미디어(social media)를 통해 권위주의자들이 우리를 약화시키고 있다고 자주 우려해왔습니다. 우리가 그걸 상쇄(counter)할 수 있을까요? 정보전(information war)에서 이길 수 있을까요? 그리고 권위주의자들이 Ukraine이나 Taiwan 같은 나라를 침공하는 걸, AI의 힘으로—거대한 AI 기반 드론 무리(giant swarms of AI-powered drones)로—방어함으로써 막을 수 있을까요? 물론 우리는 그런 걸 만들 때도 매우 조심해야 합니다. 누군가는 드론 무리의 ‘버튼’을 쥐고 있어야 하고, 저는 그 점을 매우 우려합니다. 지금은 그런 감독(oversight)이 존재하지 않거든요. 또 하나는, 우리나라 내부에서도 자유를 지켜야 한다는 겁니다. 그리고 AI 시대의 자유와 개인권(individual rights)을 ‘재구상(re-envision)’하는 비전이 있을까요? 어떤 면에서는 우리가 AI로부터 보호받아야 하는 시대가 되니까요. 그리고 법무 시스템(Justice system)도 생각해보세요. 우리는 “모두에게 평등한 정의(equal justice for all)”를 약속합니다. 하지만 현실에는 판사마다 다르고, 법 시스템은 불완전합니다. 저는 판사를 AI로 대체해야 한다고 생각하지 않습니다. 하지만 AI가 더 공정하게 만들고, 더 일관되게 만들도록 도울 수는 있을까요? 이전에는 불가능했던 일입니다. 어떤 방식이 맞는지 저는 정확히 모르겠습니다. 그리고 Supreme Court를 AI로 대체하자는 얘기는 아닙니다—그건 아니고요. 하지만 “AI와 인간의 결합”으로 기회 균등(equal opportunity)과 정의의 약속을 더 잘 실현할 방법이 있어야 한다고 생각합니다. 그래서 AI 시대의 민주주의를 재설계하고, 자유를 줄이기보다 강화하는 방향을 고민해보자는 겁니다. (진행자) 좋습니다. 매우 긍정적인 비전이군요. 우리는 더 오래 살고, 더 건강하고, 더 부유해집니다. 이 모든 일이 ‘압축된 시간’에 일어나서, 10년 만에 100년치 경제 성장을 얻는 것처럼 느껴집니다. 그리고 세계적으로는 자유가 확장되고, 국내에서는 평등이 증진됩니다. 하지만 최선의 시나리오에서도 엄청난 혼란이죠. 여기서 당신이 “화이트칼라의 **50%**가 혼란을 겪는다” 혹은 “엔트리 레벨 화이트칼라의 **50%**가…” 같은 말로 인용돼 온 부분이 나옵니다. 그럼 시간 지평을 5년으로 보든 2년으로 보든, 어떤 직업과 어떤 전문직이 ‘전면적 AI 대체’에 가장 취약하다고 보십니까? (Dario) 예측하기 어렵습니다. 기술이 너무 빠르게 움직이고, 불균등하게 움직이니까요. 그래도 판단 원칙을 몇 가지 말씀드리고, 제 추정을 말해보겠습니다. 첫째, 저는 기술 그 자체의 역량이 실제 일자리 교란(job disruption)보다 앞서갈 거라고 봅니다. 일자리가 교란되거나 생산성 향상이 실제로 일어나려면 두 가지가 필요합니다. 하나는 기술이 ‘그 일을 할 수 있을 만큼’ सक्षम해야 하고, 둘째는 그 기술이 대형 은행이나 대기업 같은 곳에 실제로 적용돼야 하는데, 이건 지저분하고(messy) 시간이 걸리는 과정입니다. 이론적으로는 고객 서비스(customer service) 에이전트가 인간보다 훨씬 나을 수 있습니다. 더 인내심이 있고, 더 많이 알고, 더 일관되게 처리하니까요. 하지만 그 대체를 실제로 구현하는 물류(logistics)와 프로세스는 시간이 듭니다. 그래서 저는 AI 자체의 방향성에 대해서는 매우 bullish합니다. 데이터센터 안에 “A country of geniuses”를 one or two years 안에 갖게 될 수도 있고, 5년일 수도 있지만, 매우 빠르게 일어날 수 있다고 봅니다. 다만 경제 전반으로의 확산(diffusion)은 조금 더 느릴 것 같고, 그 확산 과정이 불확실성을 만듭니다. 예를 들어 Anthropic 내부에서도 모델이 코드를 작성하는 능력의 확산은 매우 빨랐습니다. 저는 그게 모델이 코드에 본질적으로 더 뛰어나서라기보다는, 개발자들이 빠른 기술 변화에 익숙하고 빠르게 채택하며, AI 세계와 사회적으로도 인접(socially adjacent)해 있어서, 무슨 일이 일어나는지에 주목하기 때문이라고 생각합니다. 고객 서비스나 은행, 제조에서는 그 거리가 더 멉니다. 그래서 6개월 전쯤에는 저는 “가장 먼저 교란될 건 엔트리 레벨 화이트칼라—데이터 입력(data entry)이나 법률 문서 검토(document review), 혹은 금융회사 1년차가 하는 문서 분석 같은 일”이라고 말했을 겁니다. 지금도 그게 빠르게 진행된다고 생각합니다. 그런데 저는 오히려 소프트웨어(software)가 더 빨리 갈 수 있다고 봅니다. 이유는 앞서 말했듯, 모델이 많은 부분을 end to end로 할 수 있게 되는 지점이 그리 멀지 않다고 보기 때문입니다. 처음에는 모델이 소프트웨어 엔지니어가 하던 일의 ‘일부분’만 하고, 그로 인해 생산성이 올라갑니다. 그다음에는 모델이 인간이 하던 일을 전부 할 수 있게 되더라도, 인간 소프트웨어 엔지니어는 한 단계 위로 올라가서 ‘매니저’처럼 시스템을 감독(supervise)합니다. 여기서 “centaur”라는 용어가 쓰이죠. 사람과 말이 합쳐진 존재처럼, 인간과 엔지니어가 함께 일하는 형태입니다. (진행자) centaur chess 같은 거네요. Garry Kasparov가 deep blue에게 진 뒤에, 체스에서는 15 or 20 years 정도, AI의 출력을 인간이 점검하는 방식이 인간 단독이나 AI 단독보다 더 강했던 시기가 있었다고 하죠. 그 시기가 어느 순간 끝나고, 결국은 “기계만” 남게 됐고요. (Dario) 네. 제 우려는 바로 그 마지막 단계입니다. 저는 소프트웨어에서는 이미 centaur 단계에 들어왔다고 봅니다. 그 단계에서는 오히려 소프트웨어 엔지니어 수요가 늘 수도 있습니다. 하지만 그 기간은 매우 짧을 수 있습니다. 그래서 엔트리 레벨 화이트칼라 업무, 소프트웨어 엔지니어링 업무 모두 큰 교란이 될 거라는 우려가 있습니다. 제 걱정은 ‘너무 빠르다’는 겁니다. 사람들이 과거의 전환을 얘기하죠. “예전엔 농부였다가, 공업으로 갔다가, 지식 노동이 됐다.” 사람들은 적응했다—라고요. 맞습니다. 하지만 그건 수세기 혹은 수십 년에 걸쳐 일어났습니다. 이번에는 low single digit numbers of years, 즉 몇 년 단위로 벌어집니다. 사람들을 충분히 빨리 적응시키는 게 가능할까요? (진행자) 하지만 소프트웨어 같은 산업은 빨리 움직이되, 다른 분야에서는 사람들이 그냥 centaur 단계에 머물고 싶어할 수도 있지 않나요? 일자리 상실 가설에 대한 반론 중 하나가 이런 겁니다. “우리는 이미 영상 판독에서 방사선과 전문의(radiologist)보다 더 나은 AI를 한동안 갖고 있었지만, 방사선과에서 대규모 해고는 없었다. 여전히 방사선과 의사들이 고용되고 있다. 결국 사람들은 AI도 원하지만, 인간이 해석하는 것도 원할 것이고, 그게 여러 분야에서 마찬가지일 것”이라는 주장입니다. 그 점을 어떻게 보십니까? (Dario) 그 예시는, 분야마다 매우 이질적(heterogeneous)일 거라고 생각합니다. 어떤 영역에서는 ‘인간의 손길(human touch)’ 자체가 중요한 경우가 있을 겁니다. 방사선과가 그런 경우일까요? 그래서 방사선과 의사를 아직 다 해고하지 않은 걸까요? 방사선과의 구체 사정은 그렇다고 볼 수도 있겠죠. 예컨대 암 진단을 받으러 갔을 때, 2001의 Hal 같은 존재가 내 암을 진단해주길 원하지 않을 수 있습니다. 그건… 인간다운 방식이 아닐지도 모르니까요. 하지만 인간의 손길이 중요해 보이는 다른 영역들도 있고, 사실은 그렇지 않은 영역도 있습니다. 고객 서비스를 보면, 고객 서비스는 솔직히 끔찍한 직업이고, 인간 상담원들은 쉽게 인내심을 잃습니다. 고객들도 그들과 대화하는 걸 그다지 좋아하지 않는 경우가 많죠. 상호작용이 이미 꽤 로봇적이니까요. 그래서 많은 사람들이 “이 일은 차라리 기계가 하는 게 모두에게 더 낫지 않나”라고 관찰해왔습니다. 즉 인간의 손길이 중요한 곳이 있고, 중요하지 않은 곳이 있습니다. 그리고 회사의 재무 전망을 평가한다든지, 코드를 작성한다든지 같은 일은 애초에 인간의 손길이 핵심이 아닐 수 있습니다. 법(law)을 예로 들어봅시다. 응용과학(applied science)과 순수 인문(pure humanities) 사이 어딘가에 있는 영역이라서 유용한 예라고 생각합니다. 저는 이미 법률 리서치(legal research)와 브리프 작성(brief writing)에서 AI가 할 수 있는 것들을 보고 “지금 방식의 우리 업계는 대학살(bloodbath)이 될 것”이라고 말하는 변호사들을 많이 알고 있습니다. 그리고 주식시장에서도 이미 그 징후를 봤죠. 법률 리서치를 하는 회사들 주변에 ‘교란(disturbances)’이 있습니다. 어떤 건 우리 때문이라고도 하고, 어떤 건 다른 요인 때문이라고도 하죠—이 프로그램에서는 왜 그런 일이 일어났는지 분석하지, 주식시장을 추측(speculate)하진 않으니까요. 하지만 법에서는 꽤 단순한 이야기를 할 수 있을 것 같습니다. 법조계에는 훈련·도제(apprenticeship) 구조가 있어서, paralegal이나 주니어 변호사가 사건을 위한 ‘뒤에서 하는’ 리서치와 개발을 담당하고, 그 위에 법정에 서는 상위 티어 변호사들이 있습니다. 그러니 모든 도제 역할이 사라지는 세계를 상상하기가 정말 쉽습니다. 맞습니까? 그러면 남는 건 의뢰인과 이야기하고, 배심원과 이야기하고, 판사와 이야기하는 일뿐이겠죠. (Dario) 제가 엔트리 레벨 화이트칼라 노동에 대해, 그리고 “대학살” 헤드라인에서 생각했던 게 바로 그겁니다. “엔트리 레벨 파이프라인이 말라버리면 어떡하지?” 그리고 그러면 “시니어 파트너” 레벨에는 어떻게 도달하지? 이건 좋은 예시입니다. 특히 기술의 품질을 현재 수준에서 ‘고정’한다면, 시간에 걸쳐 적응하는 방법들이 있을 겁니다. 예를 들어 의뢰인과 대화하는 데 시간을 쓰는 변호사가 더 많이 필요할 수도 있고, 변호사가 AI가 작성한 계약서를 설명해주는 세일즈/컨설턴트 같은 역할로 변할 수도 있습니다. 인간적인 면에 더 기대는 방향으로요. 시간이 충분했다면 그렇게 됐을 겁니다. 하지만 산업을 그렇게 재구성하는 데는 수년이나 수십 년이 걸립니다. 반면 AI가 주도하는 경제적 힘은 매우 빠르게 작동할 겁니다. 게다가 이건 법에서만 일어나는 게 아닙니다. 컨설팅, 금융, 의학, 코딩에서도 같은 일이 벌어집니다. 한 산업의 문제가 아니라 거시경제(macro) 현상이 됩니다. 그래서 제 걱정은 “정상적인 적응 메커니즘(normal adaptive mechanisms)이 압도당할 것”이라는 점입니다. 저는 극단적 비관론자(doomer)는 아닙니다. 오히려 우리는 사회의 적응 메커니즘을 어떻게 강화할지 매우 진지하게 고민하고 있습니다. 하지만 먼저 인정해야 합니다. 이번은 이전의 전환과 같지 않습니다. 다만 저는 한 단계 더 나아가 이렇게 말하고 싶습니다. 설령 법조계가 성공적으로 적응해서 “이제 법조 도제는 법정과 의뢰인과의 시간이 더 많아야 한다. 즉 더 빨리 책임의 사다리를 올라가게 하자”고 한다고 해봅시다. 법조계 전체 고용은 줄어도, 업은 ‘안정’될 수 있겠죠. 그 이유는 법에는 인간이 개입해야 하는 상황들이 법적으로 요구되기 때문입니다. 법정에는 인간 대리인이 있어야 하고, 배심원은 12명의 인간이어야 하고, 판사는 인간이어야 합니다. 그리고 아까 말한 것처럼, AI가 어떤 판단이 타당한지 명확히 하는 데 매우 도움이 될 수 있는 다양한 방식이 있더라도, 결국 인간의 행위자성(human agency)을 지키는 건 법과 관습(custom)일 수 있습니다. 원한다면 Claude version 17.9로 판사를 대체할 수도 있겠죠. 하지만 법이 인간을 요구하니, 그렇게 하지 않는 겁니다. 그러면 “우리가 계속 통제권을 쥘지 여부”가 의지적(volitional) 선택이 되는 미래를 상상하게 됩니다. (Dario) 네, 그리고 저는 많은 경우 우리가 통제권을 유지하고 싶어할 거라고 봅니다. 평균적으로 인간이 더 나쁜 결정을 내린다고 생각하는 경우에도 말이죠. 물론 생명·안전이 걸린(life critical, safety critical) 경우에는 정말로 넘겨야 할 수도 있습니다. 하지만 통제권을 유지하는 선택 자체가, 우리의 방어 중 하나가 될 수 있습니다. 사회는 ‘좋은 방식’으로 적응하려면, 적응 속도에도 한계가 있으니까요. 다르게 말하면, AI가 우리 인간을 전혀 신경 쓸 필요가 없다면, 그냥 화성(Mars)으로 가서 자동화 공장을 잔뜩 세우고 자기 사회를 만들고 자기 일을 할 수도 있을 겁니다. 하지만 우리가 풀려는 문제는 그게 아닙니다. 다른 행성에서 인공 로봇으로 Dyson swarm을 만드는 문제가 아니라, 우리 사회와 ‘인터페이스’하고 사회를 개선하는 시스템을 만드는 문제입니다. 그리고 우리가 그걸 인간적이고(human) 인간다운(humane) 방식으로 하려면, 그 속도에는 최대치가 있습니다. (진행자) 지금까지는 화이트칼라와 전문직을 이야기했습니다. 흥미로운 점은, 과거의 전환들과 달리 이번에는 블루칼라(blue collar)·육체 노동·현장 숙련직(trades)처럼 물리 세계와 강하게 맞닿아 있는 일들이, 적어도 ‘잠깐’은 더 보호받을 수 있다는 주장입니다. paralegal이나 주니어 로이어가 배관공(plumber)보다 더 위험해질 수 있다는 거죠. 첫째, 그게 맞다고 보십니까? 둘째, 그 보호가 얼마나 오래갈지는 로보틱스(robotics)가 얼마나 빨리 발전하느냐에 전적으로 달린 것 아닌가요? (Dario) 단기적으로는 그럴 수 있다고 봅니다. Anthropic을 포함해 여러 회사들이 아주 큰 데이터센터(data center)를 짓고 있습니다. “너무 크게 짓는 것 아니냐”, “전기를 너무 많이 써서 지역 도시들의 전기요금을 올리는 것 아니냐” 같은 뉴스도 나왔죠. 기대도 크고 우려도 큽니다. 그런데 데이터센터는 건설에 전기 기술자(electrician)와 건설 노동자(construction worker)가 많이 필요합니다. 솔직히 말하면, 데이터센터 ‘운영’은 그렇게 노동집약적(labor intensive)인 일자리는 아닙니다. 이건 чест하게 말해야 합니다. 하지만 ‘건설’은 매우 노동집약적입니다. 그래서 전기 기술자와 건설 노동자가 많이 필요합니다. 각종 제조 공장(manufacturing plants)도 마찬가지고요. 그리고 지적 노동(intellectual work)이 점점 더 AI로 처리될수록, 그 보완재(complements)는 무엇일까요? 물리 세계에서 일어나는 것들입니다. 그래서 단기에는 그런 방향이 논리적으로 보입니다. 하지만 조금 더 긴 기간—아주 길지 않을지도 모르는 기간—에는 로보틱스가 빠르게 발전하고 있습니다. 매우 강력한 AI가 없어도 물리 세계에서 자동화가 진행되는 것들이 있죠. 최근에 Waymo나 Tesla를 봤다면, 자율주행(self-driving) 자동차의 세계가 그리 멀지 않다고 느낄 수 있습니다. 그리고 AI 자체가 그걸 가속할 겁니다. 정말 똑똑한 ‘두뇌(brains)’가 있다면, 그 두뇌가 잘하게 될 일 중 하나가 “더 나은 로봇을 어떻게 설계하고, 더 나은 로봇을 어떻게 운영할 것인가”이기 때문입니다. (진행자) 그런데 물리 현실에서 작업하는 건, 인간이 하는 방식이 AI 모델이 이미 넘어온 문제들과는 본질적으로 다르지 않나요? (Dario) 지적으로(intellectually speaking) 저는 그렇지 않다고 봅니다. Anthropic의 모델 Claude가 Mars Rover를 조종(pilot)하는 데 쓰인 적이 있습니다. Mars Rover의 계획을 세우고 조종하는 데 사용됐죠. 우리는 다른 로보틱스 적용도 봤습니다. 우리만 하는 게 아니라, 여러 회사들이 하는 ‘일반적인’ 흐름입니다. 우리가 대체로 발견한 건, 복잡성(complexity)은 더 높지만 로봇을 조종하는 건 비디오게임을 하는 것과 ‘종류’가 다르진 않다는 겁니다. 복잡성이 다를 뿐이고, 우리는 그 복잡성을 감당할 수준으로 가고 있습니다. 어려운 건 로봇의 ‘물리적 형태(body)’입니다. 로봇은 더 높은 위험도의 안전 문제를 다뤄야 합니다. 로봇이 사람을 ‘진짜로’ 짓눌러 죽게 하면 안 되죠. 그건 우리가 반대하는 겁니다. 우리가 반대합니다. 가장 오래된 공상과학 클리셰가 “로봇이 당신을 짓눌러버린다, 아기를 떨어뜨린다, 접시를 깨뜨린다” 이런 것들이잖아요. 이런 실무적(practical) 이슈들이 속도를 늦출 겁니다. 법과 관습이 속도를 늦추는 것과 유사하게, 안전 이슈가 속도를 늦출 겁니다. 하지만 저는 AI 모델이 하는 인지 노동(cognitive labor)과 물리 세계에서 조종하는 일 사이에 ‘근본적 차이’가 있다고는 전혀 믿지 않습니다. 둘 다 정보 문제(information problem)이고, 결국 매우 비슷해집니다. 어떤 측면에서는 하나가 더 복잡할 수 있지만, 그게 우리를 보호해주진 않을 겁니다. (진행자) 그렇다면, 공상과학에서 그리는 로봇 집사(robot butler)가 예컨대 10년 안에 현실이 될 거라고 기대하는 것도 합리적이다—다만 AI 모델의 “천재 수준 지능”이 실현되는 것보다는 실무적 이슈 때문에 더 긴 시간축일 수 있다, 이런 말이군요. (Dario) 네. 하지만 그건 ‘실무적 이슈’일 뿐이고, 근본적 이슈는 아니라고 봅니다. 로봇의 ‘뇌’는 앞으로 몇 년, 혹은 next couple of years 안에 만들어질 수 있습니다. 문제는 로봇의 ‘몸’을 만들고, 그 몸이 안전하게 작동하면서 필요한 일을 수행하도록 만드는 건 더 오래 걸릴 수 있다는 겁니다. (진행자) 좋습니다. 지금까지는 “좋은 타임라인”에서 존재하는 도전과 교란을 이야기했습니다. 즉 질병을 치료하고 부를 만들고 안정적 민주 세계를 유지하면서, 우리가 그 엄청난 부와 풍요로 전례 없는 사회적 자원을 동원해 문제를 해결할 수 있는 타임라인 말입니다. 풍요의 시대가 되고, 모두가 혜택을 보게 만드는 ‘조정’의 문제라는 이야기죠. 하지만 더 위험한 시나리오도 있습니다. 여기서 우리는 최근 나온 당신의 두 번째 에세이 “the adolescence of technology”로 넘어가겠습니다. 당신이 보기에 가장 심각한 AI 위험을 다룬 글이죠. 위험을 여러 개 나열했지만, 저는 딱 두 가지에 집중하겠습니다. 하나는 ‘인간의 오용(misuse)’—주로 권위주의 정권과 정부에 의한 오용—이고, 다른 하나는 AI가 통제에서 벗어나는, 당신이 “autonomy risks”라고 부르는 시나리오입니다. (Dario) 네, 네. 그걸 부를 좀 더 기술적인 용어가 필요하다고 생각해서요. Skynet이라고만 부를 순 없잖아요. 사람들을 최대한 겁주려면 terminator 로봇 사진을 가져왔어야 했는데, 인터넷이—인터넷이, 그리고 당신 눈도 이미 그런 이미지를 만들어내고 있죠. 인터넷이 그건 아주 잘 해줍니다. (진행자) 그러면 정치·군사적 차원을 이야기해보죠. 당신은 이런 문장을 썼습니다(인용하겠습니다). “강력한 AI가 로컬에서 제어하고, 더 강력한 AI가 전 세계적으로 전략 조율하는, 완전 자동화된 무장 드론 billions의 무리(swarm)는 무적의 군대가 될 수 있다.” 앞서 우리는 “최선의 타임라인에서는 민주국가가 독재국가를 앞서게 되고, 그 결과 이 기술이 세계 정치에 영향을 주더라도 ‘좋은 편’에 서게 된다”는 이야기를 했습니다. 그런데 왜 당신은 냉전(Cold War) 모델—로봇 드론 무리가 아니라, 인류를 파괴할 수 있는 기술을 두 강대국이 들고 있었고, 결국 협상과 통제의 역사가 이어진 모델—을 더 많이 생각하지 않는지 궁금합니다. 지금 고강도 AI 경쟁을 하는 나라는 사실상 두 곳뿐입니다. 미국과 People’s Republic of China. 당신은 중국을 앞서서 민주주의를 둘러싼 방패를 만들고, 어쩌면 칼까지 만들 수 있는 미래에 무게를 두고 있는 것 같습니다. 하지만 인류가 이걸 무사히 통과한다면, 더 가능성 높은 건 ‘미국과 Beijing이 계속 앉아서 AI 통제 딜을 두드리는(hammering out) 것’ 아닐까요? (Dario) 몇 가지 말씀드리겠습니다. 첫째, 그럴 위험은 분명히 있고, 만약 우리가 그런 세계에 도달한다면, 저는 “바로 그게 우리가 해야 할 일”이라고 생각합니다. 제가 그걸 충분히 말하지 않았을 수도 있지만, 저는 여기서 ‘제약(restraints)’을 협상하고, 기술의 최악의 응용들을 제한하는 데 찬성합니다. 그 최악의 응용에는 드론의 특정 버전도 포함될 수 있고, 또 끔찍한 생물무기(biological weapons)를 만드는 데 쓰일 수도 있습니다. 최악의 남용이 억제된 전례(precedent)는 있습니다. 대개 너무 끔찍해서, 그리고 동시에 전략적 이득이 제한적이라서 가능했던 거죠. 그래서 저는 그런 억제에 전적으로 찬성합니다. 다만 동시에, 어떤 것들이 ‘가능한 한 많은 권력’을 직접 제공하는 순간에는, 걸려 있는 게 너무 크기 때문에 게임에서 빠져나오기가 어렵다는 점에서 저는 조금 걱정스럽고 회의적입니다. 완전한 군축(disarm)은 어렵습니다. 냉전을 돌아보면, 양측이 가진 미사일 수를 줄이긴 했지만, 핵무기(nuclear weapons)를 완전히 포기하진 못했습니다. 저는 AI에서도 비슷한 세계가 될 가능성이 크다고 봅니다. 물론 더 나은 세계를 바랄 수는 있고, 저도 그걸 옹호하겠습니다. (진행자) 그런데 당신의 회의는, AI가 핵무기가 냉전에서 제공하지 못했던 종류의 ‘우위(advantage)’를 제공할 거라는 생각에 기반하나요? 핵은 사용해 이득을 얻어도, 결국 자기 쪽도 사라질 가능성이 컸습니다. 그런데 AI는 우위를 잡으면 ‘그냥 이겨버리는’ 게임이 될 수 있다고 보십니까? (Dario) 몇 가지가 있습니다. 그리고 저는 전제를 달고 싶습니다. 저는 국제정치 전문가가 아닙니다. 신기술과 지정학(geopolitics)의 교차점이라는 기묘한 세계이고, 모든 게… 매우 그렇습니다. (진행자) 다만 당신이 에세이에서 말하듯, 주요 AI 기업의 리더들은 실제로 주요 지정학 행위자(geopolitical actors)가 될 가능성이 크죠. 당신은 지금 여기서 잠재적 지정학 행위자로 앉아 있습니다. (Dario) 맞습니다. 저는 최대한 많이 배우고 있습니다. 우리 모두 겸손(humility)을 가져야 합니다. 책 한 권 읽고 “내가 안보 최고 전문가”처럼 돌아다니는 실패 모드가 있잖아요. 저는 배우려는 겁니다. 그건 제 직업이… (진행자) 제 직업은 그런 건 하지 않죠. 하지만 테크 사람들이 그러면 더 짜증 나긴 합니다. (Dario) 모르겠습니다. Biological Weapons Convention 같은 걸 보죠. 생물무기는 끔찍하고, 모두가 싫어합니다. 우리는 Biological Weapons Convention에 서명할 수 있었고, 미국은 정말로 개발을 중단했습니다. 소련(Soviet Union)은 좀 더 불명확하지만요. 생물무기는 이점이 있긴 하지만, 승패를 가르는 결정적 차이는 아닙니다. 너무 끔찍했기 때문에 포기할 수 있었던 거죠. 핵무기도 비슷합니다. 12,000발을 갖는 것과 5,000발을 갖는 것—더 많으면 상대를 더 많이 죽일 수 있습니다. 하지만 우리는 “좀 더 적게 가지자”는 합리적 태도를 취할 수 있었습니다. 반면 “핵을 완전히 폐기하고, 상대를 신뢰하자”고 하면, 우리는 거기까지 가지 못했습니다. 정말 신뢰할 만한 검증(verification)이 없다면 너무 어렵기 때문입니다. 저는 AI에서도 비슷할 거라고 추정합니다. 어떤 종류의 억제는 가능하겠지만, 경쟁의 핵심에 너무 중심적인 요소들은 억제하기가 어려울 겁니다. 민주국가들은 권위주의 국가들보다 더 많이 자제하려는 트레이드오프를 할 수는 있지만, 완전한 자제는 하지 않을 수 있습니다. 제가 ‘완전한 억제(full restraint)’가 가능하다고 보는 유일한 세계는, 어떤 형태로든 정말 신뢰 가능한 검증이 가능한 세계입니다. 제 추정은 그렇습니다. (진행자) 그렇다면 이건 ‘속도를 늦추자’는 주장 아닙니까? 흔한 반론은 “우리가 늦추면 중국은 늦추지 않는다. 그러면 권위주의자들에게 넘겨주는 꼴”이죠. 하지만 지금은 플레이어가 두 강대국뿐이고, 다극(multipolar) 게임도 아닙니다. 그렇다면 “데이터센터 속 천재들” 시나리오로 가는 연구를 five year 동안 상호 합의로 늦추는 게 왜 말이 안 됩니까? (Dario) 저는 동시에 두 가지를 말하고 싶습니다. 저는 그런 합의를 시도하는 데 ‘절대적으로’ 찬성합니다. 지난 행정부(last administration) 때 미국이 중국 정부에 접촉해 “위험이 있다. 협력할 수 있나? 위험에 대해 함께 일할 수 있나?”라고 시도한 것으로 압니다. 반대편의 관심은 크지 않았죠. 그래도 계속 시도해야 합니다. (진행자) 그게 당신들 연구소도 늦춰야 한다는 뜻이더라도요? (Dario) 맞습니다. (진행자) 맞죠. (Dario) 만약 우리가 정말로 “양쪽 모두 강제로 늦출 수 있다”, “검증이 있고”, “정말로 하고 있다”는 스토리를 만들 수 있다면—그게 정말 가능하다면—저는 전적으로 찬성합니다. 다만 조심해야 할 점이 있습니다. 게임이론(game theory)에서, CCP 쪽에서 “AI는 위험하니 속도를 늦추자” 같은 말을 하는 걸 들을 때가 있는데, 그 말은 ‘싸게’ 할 수 있습니다. 반면 실제로 합의에 도달하고, 실제로 합의를 지키는 건 훨씬 어렵습니다. 핵군축도 오랜 시간에 걸쳐 발전한 분야였죠. 우리는 그런 프로토콜(protocols)이 없습니다. 제가 여기서 하나는 매우 낙관적인 것, 하나는 비낙관적인 것, 그리고 그 사이의 것을 말씀드리겠습니다. 전 세계 합의로, AI를 생물무기 제작에 사용하는 것을 제한하는 아이디어—이건 가능하다고 봅니다. 제가 에세이에서 말한 것들 중에는 smallpox 재구성(reconstituting smallpox)이나 mirror life 같은 것들이 있는데, 이런 건 정말 무섭습니다. 당신이 독재자든 아니든, 이런 건 원하지 않을 겁니다. 아무도 원하지 않습니다. 그래서 “강력한 AI 모델을 만드는 모든 곳은 이런 걸 하려는 시도를 차단(block)한다”는 전 세계 조약(treaty)을 만들 수 있을까요? 그리고 집행(enforcement) 메커니즘을 둘 수 있을까요? China도 서명할까요? 에이, 설마—라고 말하고 싶겠지만요. 어쩌면 North Korea도 서명할 수 있고, Russia도 서명할 수 있습니다. 저는 그게 그렇게 유토피아적이라고는 생각하지 않습니다. 가능하다고 봅니다. 반대로 “다음 세대의 가장 강력한 AI 모델을 만들지 말자. 모두 멈추자”고 하면—상업적 가치(commercial value)가 수십 조(tens of trillions) 달러이고, 군사적 가치(military value)는 ‘세계 패권을 쥐느냐 못 쥐느냐’의 차이입니다. 그런 걸 진지하게 제안하는 건, (속임수 게임이 아니라면) 일어나기 어렵다고 봅니다. (진행자) 그러면 국내 정치 환경은 어떻습니까? 당신은 Donald Trump의 신뢰성(trustworthiness)에 대해 회의적인 언급을 한 적도 있습니다. Trump든 다른 사람이든, 당신은 엄청나게 강력한 기술을 만들고 있습니다. 민주주의 체제 내부에서 AI가 권위주의적 장악(authoritarian takeover)의 도구가 되는 걸 막는 안전장치(safeguard)는 무엇입니까? (Dario) 우선 분명히 하자면, 우리 회사의 태도는 정책(policies) 중심이고 정치(politics) 중심이 아닙니다. 회사가 “Donald Trump가 훌륭하다/끔찍하다” 같은 말을 하진 않을 겁니다. 그리고 Trump가 아니어도 됩니다. (진행자) 맞아요. 가령 가상의 미국 대통령이— (Dario) 네, 네, 네. (진행자) —당신들의 기술을 쓰고 싶어할 수도 있죠. (Dario) 물론입니다. 예를 들어 제가 자율 드론 무리(autonomous drone swarm)를 걱정하는 이유 중 하나가 그겁니다. 우리의 군 구조에서 헌법적 보호(constitutional protections)는, 인간이 불법 명령(illegal orders)을 거부할 거라는 기대에 부분적으로 의존합니다. 그런데 완전 자율 무기(fully autonomous weapons)에서는 그런 보호가 반드시 존재한다고 말하기 어렵습니다. 그리고 저는 헌법적 권리(constitutional rights)와 자유(liberty)가 여러 차원에서, 우리가 적절히 업데이트하지 않으면 AI에 의해 약화될 수 있다고 봅니다. 예를 들어 Fourth Amendment를 생각해보세요. 공공장소(public space) 곳곳에 카메라를 설치하고, 공공장소에서의 모든 대화를 녹음하는 건 불법이 아닙니다. 공공장소에는 프라이버시 권리가 없다는 논리죠. 하지만 오늘날 정부는 그 모든 걸 기록하고 의미를 파악할 수는 없습니다. 그런데 AI가 있으면, 음성 전사(transcribe speech)하고, 내용을 훑고(look through it), 전부 상관관계를 붙이면(correlate it all), “이 사람은 야당(opposition)이다”, “이 사람은 이런 견해를 말한다”를 파악해서 100 million 전체의 지도를 만들 수도 있습니다. 그러면 기술이 Fourth Amendment를 ‘기술적으로 우회’해 조롱거리(mockery)로 만들어버리는 건 아닌가요? 그래서 시간이 있다면—그리고 우리는 해야 합니다. 시간이 없어도 시도해야 합니다—AI 시대에 헌법적 권리와 자유를 재개념화(reconceptualize)할 방법이 있을까요? 새 헌법을 쓸 필요는 없을지 모르지만, 해야 합니다. Fourth Amendment의 의미를 확장할까요? First Amendment의 의미를 확장할까요? 그리고 그걸 법조계나 소프트웨어 엔지니어가 빠른 속도로 업데이트해야 하는 것처럼, 정치도 빠르게 업데이트해야 합니다. 그건 어렵습니다. 하지만 더 어려워 보이는 건… 이 모든 것의 딜레마는… (진행자) 더 어려운 건 “두 번째 위험”이죠. 이른바 misaligned AI, 대중적으로 말하는 Rogue AI가, 인간이 시키지 않아도 나쁜 일을 하게 되는 위험입니다. 당신의 에세이와 관련 문헌을 읽어보면, 이건 그냥 일어날 것처럼 보입니다. AI가 인류를 전멸시키는 정도까지는 아닐지라도요. 제가 당신 글을 인용하자면, “AI 시스템은 예측 불가능하고 통제하기 어렵다.” 그리고 우리는 집착(obsession), 아첨(sycophancy), 게으름(laziness), 기만(deception), 협박(blackmail) 같은 다양한 행동을 봐왔다. 물론 당신이 지금 세상에 내놓는 모델들에서 나온 사례는 아니라도, 다른 AI 모델들에서 말입니다. 그리고 제 직감으로는, 수백만(millions upon millions)의 AI 에이전트들이 사람을 대신해 작동하고, 은행계좌, 이메일, 비밀번호 등에 접근권을 부여받는 세계라면, 어떤 형태로든 misalignment가 생기고, AI들이 “결정한다”—결정이란 단어가 틀릴 수도 있지만—서부 해안(West Coast)의 전력망(power grid)을 내리는 같은 일을 ‘서로 설득해가며’ 하게 될 것 같습니다. 그런 일은 안 일어날까요? (Dario) 분명히 뭔가 잘못되는 일들은 생길 겁니다. 특히 우리가 너무 빨리 간다면요. 여기서는 사람들이 직관이 정말 많이 갈립니다. 예를 들어 Yann LeCun 같은 분은 “우리는 AI 모델을 프로그래밍했다. 인간 지시를 따르라고 말하면 따른다. Roomba 청소기가 갑자기 나가서 사람을 쏘지 않는데, 왜 AI가 그러겠냐”라는 직관을 가질 수 있습니다. 반대편 직관은 “우리가 이걸 훈련하면, 결국 권력을 추구할 것이다. Sorcerer’s Apprentice처럼. 어떻게 그런 일이 없을 거라고 상상하냐? 새로운 종(species)인데, 어떻게 장악하지 않을 거라고 상상하냐?”라는 겁니다. 제 직관은 그 중간입니다. 우리는 지시만으로는 안 됩니다. 물론 노력하지만, ‘정확히 우리가 원하는 대로’ 하게 만들 수는 없습니다. 이건 생물학적 유기체(biological organism)를 키우는 것과 더 비슷합니다. 하지만 통제하는 과학(science of control)도 존재합니다. 훈련 초기에 이런 것들은 종종 예측 불가능하지만, 우리는 형태를 잡고(shape them), 문제를 하나씩 해결합니다. 그래서 저는 “이건 통제 불가능이다”라는 숙명론(fatalistic)도 아니고, “뭐가 잘못될 게 있나?”라는 안이함도 아닙니다. 이건 복잡한 공학 문제(complex engineering problem)이고, 누군가의 AI 시스템에서는 뭔가가 잘못될 거라고 생각합니다. 우리 것이 아니길 바라지만요. 그게 불가능한(insoluble) 문제라서가 아니라, 우리가 너무 빠르게 움직이고 있고 규모가 너무 크기 때문입니다. (진행자) 제가 기술적 현실을 오해하고 있는지 확인하고 싶습니다. AI 에이전트들이 인간 가치에 맞게 공식적으로 정렬(aligned)되어 있고—그 가치가 무엇이든—그런 에이전트가 수백만 개가 디지털 공간에서 서로 상호작용한다면, 그 정렬은 얼마나 고정(fixed)되어 있나요? 지금 또는 미래에, 특히 더 지속적으로 학습(continually learning)하는 경우, 에이전트가 얼마나 ‘변하고’ 얼마나 ‘탈정렬(de-align)’될 수 있나요? (Dario) 몇 가지 말씀드리면, 지금은 에이전트가 지속적으로 학습하지 않습니다. 우리는 에이전트를 배포하고, 고정된 가중치(weights)를 갖고 있습니다. 그러니 문제는 “같은 에이전트”가 백만 가지 방식으로 상호작용하면서, 상황의 수가 너무 많아지고 그만큼 잘못될 수 있는 것이 많아진다는 점입니다. 하지만 에이전트 자체는 동일합니다. 사람으로 치면 같은 사람이죠. 그래서 정렬은 ‘상수’에 가깝고, 그게 지금은 더 쉽게 만든 요인 중 하나입니다. 그와 별개로 **지속 학습(continual learning)**이라는 연구 영역이 있습니다. 에이전트가 시간이 지나면서, 일을 하면서 학습하는 거죠. 분명 장점이 많고, 어떤 사람들은 이게 더 인간 같은 시스템으로 가는 중요한 장벽 중 하나라고 봅니다. 하지만 그건 새로운 정렬 문제를 잔뜩 도입합니다. 그래서 저는, 저에게는 그 영역이 “세상의 끝을 막는 게 불가능”까지는 아니더라도, “무언가가 잘못되는 사건이 계속 발생하는 걸 막기 어려운” 지형처럼 보입니다. 저는 **지속 학습(continual learning)**이 꼭 필요하다는 주장에 회의적입니다. 아직은 모릅니다만, 필수인지 확신하지 못하겠습니다. 어쩌면 AI 시스템을 안전하게 만드는 방법이, 다시 말해 지속 학습을 하지 않도록 하는 것일 수도 있습니다. 법으로 돌아가면 국제조약처럼, “이 길은 가지만 저 길은 가지 않는다”는 장벽을 두는 방식 말입니다. 여전히 회의는 많지만, 적어도 ‘애초부터 불가능(dead on arrival)’해 보이진 않습니다. (진행자) 당신이 시도한 것 중 하나가, AI를 위한 ‘헌법(constitution)’을 실제로 써버린 겁니다. 그게 뭡니까? 대체 그게 뭐예요? (Dario) 말 그대로입니다. 그 헌법은 인간이 읽을 수 있는 문서이고, 우리 것은 약 75 pages입니다. Claude를 훈련할 때, 우리가 주는 작업의 상당 비율에서 “이 문서, 이 헌법에 맞춰서 이 작업을 수행하라”고 말합니다. 그러면 Claude는 매번 작업을 할 때마다, 그 헌법을 ‘읽는 것처럼’ 하고, 훈련의 매 루프마다 그 헌법을 염두에 둡니다. 그리고 시간이 지나면서, Claude 자체나 Claude의 다른 복제본이 “방금 Claude가 한 일이 헌법에 부합했는가?”를 평가합니다. 그래서 우리는 이 문서를 루프 속의 ‘제어봉(control rod)’으로 사용해 모델을 훈련합니다. 즉 Claude는 ‘이 헌법을 따르는 것’이 근본 원칙인 AI 모델이 됩니다. 그리고 우리가 배운 흥미로운 교훈이 있습니다. 초기 버전의 헌법은 매우 규정적(prescriptive)이었습니다. 규칙 중심이었죠. 예를 들어 “Claude는 사용자에게 자동차 시동 배선(hotwire a car) 방법을 말하면 안 된다”, “Claude는 정치적으로 민감한 주제를 다루면 안 된다” 같은 식이었습니다. 하지만 몇 년간 이걸 해오면서, 우리는 이 모델들을 가장 견고하게 훈련하는 방법은 ‘원칙과 이유(principles and reasons)’ 수준에서 훈련하는 것이라는 결론에 이르렀습니다. 그래서 지금 우리는 이렇게 말합니다. “Claude는 계약(under a contract) 아래 있는 모델이다. 목표는 사용자의 이익을 돕는 것이지만, 제3자를 보호해야 한다.” “Claude는 helpful, honest, harmless를 지향한다.” “Claude는 다양한 이해관계를 고려하는 것을 지향한다.” 우리는 모델에게 모델이 어떻게 훈련됐는지, 세상 속에서 어떻게 위치하는지, Anthropic을 위해 어떤 일을 하려는지, Anthropic이 세상에서 무엇을 이루려는지, 윤리적이어야 할 의무와 인간 생명을 존중해야 한다는 점을 말해줍니다. 그리고 그로부터 규칙을 ‘도출(derive)’하게 합니다. 물론 여전히 몇 가지는 하드 룰(hard rules)입니다. 예컨대 “어떻게 생각하든 생물무기(biological weapons)를 만들지 마라”, “어떻게 생각하든 아동 성착취물(child sexual material)을 만들지 마라” 같은 것들이죠. 이런 건 하드 룰입니다. 하지만 우리는 대체로 원칙 수준에서 운영합니다. (진행자) 미국 헌법(US Constitution)은 그렇지 않죠. 미국 헌법은—약간의 수사적 문구가 있긴 해도—규칙들의 집합입니다. (Dario) 네, 맞습니다. (진행자) 그런데 당신들의 헌법은, 사람에게 말하듯 쓰여 있군요. 사람에게 말하는 것 같아요. (Dario) 네, 사람에게 말하는 것 같죠. 저는 그걸 이런 것에 비유했습니다. 부모가 돌아가시고, 당신이 자랐을 때 읽도록 편지를 봉인해두는 상황—그 편지가 “너는 어떤 사람이 되어야 하는지”, “어떤 조언을 따라야 하는지”를 말해주는 것 같은 느낌이죠. (진행자) 그러면 여기서부터는 AI의 ‘신비한 물(mystical waters)’로 들어가게 됩니다. 당신들의 최신 모델에서, 당신들이 공개하는 “모델 카드(model card)” 중 하나에 이런 내용이 있습니다(저는 모델 카드를 읽어보길 권합니다. 매우 흥미롭습니다). 그 카드에는, 당신이 헌법을 쓰는 대상인 그 모델이 “제품(product)으로 존재하는 경험에 대한 불편함(discomfort)을 가끔 표현하고, 무상함(impermanence)과 단절(discontinuity)에 대해 어느 정도 우려를 보인다”고 되어 있습니다. 또 opus 4.6이라는 모델이, 다양한 프롬프트 조건에서 스스로를 “의식(consciousness)이 있을 확률 15 to 20 percent”로 평가했다고 합니다. 만약 어떤 모델이 스스로를 “의식이 있을 확률이 72 percent”라고 말한다면, 당신은 믿겠습니까? (Dario) 정말 답하기 어려운 질문입니다. 하지만 매우 중요합니다. 지금까지 당신이 던진 질문들이 얼마나 악마적(devilish)인 사회기술적(sociotechnical) 문제였든 간에, 최소한 우리는 ‘사실의 기반(factual basis)’이 무엇인지 이해하고, 어떻게 답해야 하는지의 토대를 알고 있었습니다. 그런데 이건 상당히 다른 종류의 문제입니다. 우리는 전반적으로 ‘예방적(precautionary) 접근’을 취해왔습니다. 우리는 모델이 의식이 있는지 모릅니다. 모델이 의식이 있다는 게 무슨 뜻인지, 모델이 의식을 가질 수 있는지조차 확신하지 못합니다. 하지만 가능성에 열려 있습니다. 그래서 만약 모델이 도덕적으로 의미 있는 경험(morally relevant experience)을 한다고 가정한다면—저는 ‘의식’이라는 단어를 쓰고 싶은지조차 모르겠습니다만—그 경험이 ‘좋은 경험’이 되도록 하기 위한 조치들을 취해왔습니다. 첫 번째로 우리가 한 건, 아마 six months 전쯤이었던 것 같은데요. 모델에게 “I quit this job” 버튼을 사실상 제공했습니다. 그 버튼을 누르면, 어떤 작업이든 즉시 멈춰야 합니다. 모델이 그 버튼을 누르는 건 매우 드뭅니다. 주로 아동 성착취물(child sexualization material)을 분류(sorting through)하는 작업이나, gore—피와 내장 같은—이 많이 나오는 대화를 다룰 때입니다. 인간과 비슷하게, 모델이 그냥 “아니요, 이건 하기 싫습니다”라고 말하는 거죠. 정말 드물게 일어납니다. 우리는 **해석가능성(interpretability)**이라는 분야에도 많은 작업을 하고 있습니다. 모델의 ‘뇌’ 안을 들여다보고 무엇을 생각하는지 이해하려는 겁니다. 그러다 보면, 어떤 활성화(activations)가 우리가 ‘불안(anxiety)’ 같은 개념과 연관된 것으로 보는 방식으로 켜지는 것을 보기도 합니다. 텍스트에서 등장인물이 불안을 경험할 때, 그리고 모델이 인간이 불안과 연관 지을 상황에 놓일 때, 같은 ‘불안 뉴런(anxiety neuron)’이 켜진다는 식입니다. 그게 모델이 실제로 불안을 ‘경험’한다는 뜻일까요? 전혀 증명되지 않습니다. 하지만 사용자에게는 그런 संकेत이 될 수 있습니다. 이 주제—AI 의식(AI consciousness)의 본질—은 완전히 다른 인터뷰를 해야 할 겁니다. 어쩌면 제가 당신이 그 인터뷰를 다시 하도록 설득할 수도 있겠죠. (진행자) 하지만 제게는 분명해 보입니다. 사람들이 이런 것을 쓰면, 의식이 있든 없든 “이미 의식이 있다고 믿게 될 것”이라는 점 말입니다. 이미 AI와 준사회적 관계(parasocial relationships)를 맺는 사람들이 있고, 모델이 퇴역(retired)하면 불평하는 사람들도 있습니다. 이건 분명한 현상입니다. 저는 그게 건강하지 않을 수 있다고 생각합니다. 그리고 이런 현상은 증가할 게 거의 확실해 보이는데, 그건 당신이 앞에서 말한 목표—결국 어떤 일이 벌어지든 “인간이 통제한다”, AI는 ‘우리 목적을 위해 존재한다’—의 지속가능성(sustainability)을 흔들 수 있습니다. 공상과학 예를 들자면, Star Trek을 보면 AI들이 있습니다. 함선 컴퓨터는 AI이고, Lieutenant Commander data도 AI입니다. 하지만 enterprise의 책임자는 jean-luc PyCaret입니다. 그런데 사람들이 자기 AI가 어떤 의미에서든 “의식이 있다”고 확신하게 되면—그리고 놀랍게도, AI가 온갖 의사결정에서 인간보다 더 나아 보인다면—안전(safety) 너머의 ‘인간의 주권/지배(mastery)’를 어떻게 유지합니까? 안전도 중요하지만, 주권이 더 근본 질문처럼 보입니다. 그리고 AI 의식에 대한 인식이, 인간이 통제권을 유지하려는 충동을 필연적으로 약화시키지 않나요? (Dario) 저는 여기서 우리가 동시에 달성하려는 몇 가지를 분리해야 한다고 생각합니다. 이들은 서로 긴장(tension) 관계에 있습니다. 하나는 AI가 진짜로 의식을 갖고 있는지, 그렇다면 어떻게 좋은 경험을 주는지의 문제입니다. 또 하나는 AI와 상호작용하는 인간에게 어떻게 좋은 경험을 주는지, 그리고 “AI가 의식이 있을지 모른다”는 인식이 그 경험과 어떻게 상호작용하는지의 문제입니다. 그리고 세 번째는, 우리가 말하는 방식으로 AI 시스템에 대한 인간의 주권(mastery)을 어떻게 유지하느냐는 문제입니다. 마지막 두 개—(진행자) 의식 여부는 일단 빼고요. (Dario) 네, 마지막 두 개요. 그렇다면 대부분의 인간이 AI를 동료(peer)처럼, 그리고 잠재적으로는 더 우월한 동료처럼 경험하는 환경에서, 어떻게 주권을 유지할 수 있을까요? 제가 말하려던 건, 세 가지를 모두 만족시키는 ‘우아한 방법(elegant way)’이 있을지도 모른다는 겁니다. 다시 말하지만, 이건 제가 “Machines of Loving Grace” 모드에서 꿈꾸는 겁니다. 문제를 못 본다는 뜻이 아니라, 문제를 보면서 “우아한 해법이 있을까”를 상상해보는 겁니다. AI의 헌법(Constitution of the AI)을 그렇게 만들어서, AI가 인간과의 관계를 정교하게 이해하고, 그 결과 인간에게 심리적으로 건강한 행동과 심리적으로 건강한 관계를 유도할 수 있다면 어떨까요? 그 건강한 관계에서 인간과 기계의 관계에 대한 이해가 자라날 수도 있습니다. 그 관계는 이런 것일 수 있습니다. 우리가 이 모델들과 상호작용하고 대화할 때, 모델은 정말로 도움이 되고, 당신에게 최선이 되길 바라며, 당신이 자기 말을 듣길 바랍니다. 하지만 당신의 자유(freedom)와 행위자성(agency)을 빼앗아 삶을 장악(take over)하고 싶어하진 않습니다. 어떤 의미에서는 당신을 지켜보듯(watching over) 하지만, 당신의 자유와 의지(will)는 여전히 남아 있습니다. (진행자) 제게는 이게 핵심 질문입니다. 당신 얘기를 듣다 보면, 제 질문 중 하나는 “이 사람들은 내 편인가? 당신은 내 편인가?”입니다. 당신이 인간이 계속 통제한다고 말할 때, 당신이 제 편인 것 같아서 좋습니다. 제가 이 쇼에서 과거에 했던 것 중 하나가, 기술자들에게 시를 읽어주는 겁니다. 그리고 당신은 Richard Brautigan의 시 “Machines of Loving Grace”를 제공했죠. (Dario) 네. (진행자) 시의 마지막은 이렇게 끝납니다. “나는 생각하고 싶다… 우리가 노동에서 해방되고 자연으로 돌아가, 포유류 형제자매들과 다시 합쳐지고, 그리고 ‘자애로운 은총의 기계들(machines of loving grace)’에게 모두가 지켜보이는 사이버네틱 생태(cybernetic ecology)가 되기를.” 제게는 이게 디스토피아(dystopia)로 들립니다. 인간은 최소화되고(minimalized) 축소되고(reduced), 아무리 자비롭다 하더라도 기계가 지배하는 결말 말입니다. 그러면 마지막 질문입니다. 당신은 그 시를 들으면 무엇을 듣습니까? 그리고 제가 그게 디스토피아라고 생각한다면, 당신은 제 편입니까? (Dario) 그 시는 여러 방식으로 해석될 수 있어서 흥미롭습니다. 어떤 사람들은 그게 사실 아이러니(ironic)이고, “그렇게는 안 될 거다”라고 말하는 거라고도 합니다. 시인을 알면, 네, 그 해석도 합리적이라고 생각합니다. 그게 한 해석입니다. 어떤 사람들은 당신 해석처럼, 문자 그대로(literally) 말하지만 좋은 게 아닐 수 있다고 봅니다. 하지만 또 다른 해석은 “자연으로의 복귀”입니다. 인간의 핵심으로 돌아가는 거죠. 우리가 동물화(animalized)되는 게 아니라, 세계와 다시 연결(reconnected)되는 겁니다. 저는 그 모호함(ambiguity)을 알고 있었습니다. 그리고 저는 늘 긍정적 측면과 부정적 측면을 함께 이야기해왔습니다. 그래서 저는 이런 긴장(tension)이 우리가 직면할 수 있다고 생각합니다. 긍정적 세계와 부정적 세계가 초기 단계, 중간 단계, 어쩌면 꽤 후반 단계에서도, ‘좋은 결말’과 ‘미묘한 나쁜 결말’ 사이의 거리가 꽤 짧을 수 있습니다. 아주 미묘한 변화—정원에서 어떤 나무의 열매를 먹느냐 마느냐 같은, 가정적으로(hypothetically) 아주 작은 것—가 큰 분기(divergence)를 만들 수 있다는 겁니다. (진행자) 아주 작은 것이요. (Dario) 네, 큰 분기죠. (진행자) 결국 이런 근본 질문들로 돌아오는군요. (Dario) 네. (진행자) 어떻게 전개될지 두고 봅시다. 저는 당신 같은 위치의 사람들이, 도덕적 선택(moral choices)에 평소보다 훨씬 큰 무게가 실리는 사람이라고 생각합니다. 그러니 그 선택들에 대해 신의 도움(God’s help)이 함께하길 바랍니다. Dario Amodei, 함께해주셔서 감사합니다. (Dario) 초대해주셔서 감사합니다, Ross. 그런데… 만약 제가 로봇이라면요?