Anthropic Vs. OpenAI: How Safety Became The Advantage In AI

진행자: 과장된 기대를 일부러 피해왔던 AI 연구소가, 어느새 그 ‘열풍’의 한가운데에 서게 됐습니다. Anthropic은 올해 IPO(상장) 가능성이 거론되는 핵심 AI 기업 중 하나로, “가장 많은 칩을 가진 쪽이 반드시 이기는 건 아니다”라는 메시지로 막대한 지출을 앞세운 경쟁사들을 따돌리려 합니다. 진행자: Anthropic의 이야기는 5년 전의 ‘이탈(defection)’에서 시작됐습니다. ChatGPT가 되기 전의 시스템을 만드는 데 기여했던 OpenAI의 시니어 연구자 핵심 그룹이, ‘안전(safety)’을 뒷전으로 두지 않는 연구소를 만들기 위해 회사를 떠난 것입니다. Dario Amodei: 우리는 ‘프런티어(frontier)’에서 세상을 바꿀 AI를 만드는 기술 기업을 세우겠다는 비전이 아주 분명했습니다. 다만 그와 동시에, 시스템을 안전하고 신뢰할 수 있게(safe and reliable) 만드는 데 매우 강한 집중을 두고자 했습니다. 진행자: 바이럴 소비자 제품도 없고, 화려한 데모도 없습니다. 대신 엔터프라이즈를 위해 조용히, 꾸준히 진척을 쌓아왔습니다. Amazon 관계자: Anthropic과의 파트너십은 우리에게 매우, 매우 중요하고 전략적입니다. Dario Amodei: Anthropic은 **컴퓨트(compute)**와 자본(capital) 측면에서 경쟁사들이 가진 것의 일부만을 늘 보유해 왔습니다. Dario Amodei: 그런데도 지난 몇 년의 대부분 기간 동안, 우리는 비교적 일관되게 가장 강력하고 성능이 좋은 모델을 내놓아 왔습니다. 진행자: Anthropic은 한 세대에 한 번 나올까 말까 한 ‘가장 비싼’ 구축 경쟁의 중심 플레이어이기도 합니다. 오늘 미국의 AI 군비경쟁(AI arms race)에서 Anthropic과 관련된 큰 움직임이 나왔습니다. 진행자: 500억 달러($50 billion) 규모의 국가 인프라 구축 계획이 출범했고, 인디애나에 있는 세계 최대급 시설 중 하나인 Amazon의 110억 달러($11 billion) AI 데이터센터(data center)도 이제 가동에 들어갔습니다. Amazon 관계자: Anthropic은 우리와 정말 긴밀하게 협업해 왔습니다. 그들은 그 칩의 잠재력을 알아봤고, 함께 더 좋게 만들기 위해 사실상 공동 투자(co-invest)해 왔습니다. 진행자: 하지만 동시에 Anthropic은, 인공지능의 다음 이정표가 사람들이 대비할 시간도 없이 더 빨리 올 수 있다고 경고합니다. Dario Amodei: 언젠가 우리는 ‘거의 모든 과제에서 거의 모든 인간보다 더 뛰어난’ AI 시스템에 도달하게 될 겁니다. Dario Amodei: 제가 최근 에세이에서 쓴 표현으로는, 그것은 Country of Geniuses(천재들의 나라) 입니다. 진행자: ‘안전’을 브랜드로 삼은 연구소가, 자신들이 경고해 온 바로 그 순간을 생존하기 위해 충분히 빠르게 규모를 키워야 하는—이것이 Anthropic의 역설입니다. 진행자: 2020년 말, Dario와 Daniela Amodei 남매는 시니어 리더 핵심 그룹과 함께 OpenAI를 떠났습니다. 그들은 프런티어 AI의 다음 시대는 ‘순수한 역량’만큼이나 ‘절제(restraint)’에 의해 좌우될 것이라 확신했습니다. Dario Amodei: 우리는 무언가로부터 도망친다기보다는, 무언가를 향해 달려간다는 느낌이 훨씬 더 강했습니다. Dario Amodei: 공동창업자들은 서로를 각자 다른 기간만큼 알고 지냈고, OpenAI에서의 시간보다 훨씬 오래 함께 일해온 관계였습니다. Dario Amodei: 우리는 가치관이 매우 비슷한 사람들의 그룹으로서, 함께해온 긴 역사가 있었습니다. 진행자: Anthropic이 AI 역량(capability)과 AI 리스크(risk) 평가를 ‘체계적이고 지속 가능’하게 만든 점은 큰 공을 받을 만합니다. 그리고 그 결정 안에는, 안전이 진전의 ‘세금’이 아니라 제품의 일부가 될 것이라는 베팅이 담겨 있었습니다. Dario Amodei: 흔히 안전과 신뢰성은 비즈니스 측면과 긴장 관계에 있다고들 오해합니다. Dario Amodei: 하지만 우리는—당시로서는 아주 새롭게 들렸던—두 가지가 실제로는 상관관계가 있고 함께 간다는 믿음을 가졌습니다. 진행자: 그들이 말하는 ‘안전’은 구체적이었습니다. 모델이 대본을 벗어나거나, 유해 콘텐츠를 생성하거나, 자기 규칙을 우회하도록 조작되는 것을 막는 **가드레일(guardrails)**과 통제장치(controls)는, 사후에 덧붙이는 것이 아니라 시스템에 설계로 내장되어야 했습니다. 진행자: Anthropic의 모델 패밀리는 Claude라고 불립니다. OpenAI의 ChatGPT나 Google의 Gemini와 비슷해 보이지만, 데이터와 안전 접근법, 목표가 다르게 설계된 방식으로 학습됩니다. 진행자: OpenAI가 ChatGPT를 무료로 풀어 ‘가정의 이름(household name)’으로 만든 반면, Anthropic은 Claude를 곧장 **기업(B2B)**으로 향하게 했습니다. 진행자: 기업과 엔터프라이즈에서 요구하는 더 높은 안전 기준은, Anthropic이 초창기부터 강점을 보였던 영역과 잘 맞아떨어졌습니다. 진행자: OpenAI 안에서 Dario Amodei는 그저 ‘빨리 만드는 빌더’ 중 한 명이 아니었습니다. 투자자들이 속도에만 집중하던 시절에도, 그는 안전에 관해 긴 메모를 쓰던 기술 리더였습니다. 진행자: Menlo Ventures 파트너로서 Anthropic의 초기 투자 라운드 중 하나를 이끈 Matt Murphy는, 처음부터 Dario에게서 다른 점을 봤다고 말합니다. Matt Murphy: 그는 에너지와 열정이 정말 대단하고, 어딘가 ‘소년 같은 매력’도 있습니다. Matt Murphy: 무엇을 어떻게 독특하게 실행할지에 대한 설명, 그리고 리더로서의 모습이 모두 매우 분명하게 드러났습니다. Matt Murphy: 투자 여부를 고민하는 과정에서, “이 사람은 정말 훌륭한 회사를 만들겠다”는 확신이 서면서 속도가 확 붙었습니다. 진행자: Anthropic이 제안한 것은 단지 더 나은 모델이 아니었습니다. 모델을 ‘어떻게’ 만들 것인가에 대한 다른 이론이었습니다. 진행자: 창업 멤버들은 화려한 발표를 피했고, 과장된 자기 PR도 하지 않았습니다. 그들은 ‘꾸준한 대안’으로 자신들을 포지셔닝했습니다. 진행자: 소음은 줄이고 통제는 늘리되, 프런티어 AI가 조향하기 어려울 정도로 강해지기 전에 규칙과 가드레일을 처음부터 구워 넣어야 한다는 단순한 전제를 내세웠습니다. 진행자: 2022년 11월, OpenAI가 사실상 ‘출발 신호’를 울렸습니다. ChatGPT라는 새로운 인공지능 프로그램이 온라인에 등장한 것입니다. 진행자: OpenAI Research Lab의 이 프로젝트는 에세이를 쓰고, 설득력 있는 대화를 이어갈 수 있습니다. 진행자: 누구나 대화할 수 있는 무료 챗봇 ChatGPT는 순식간에 바이럴이 됐고, 2개월 만에 1억 명(100 million) 사용자를 모았습니다. 진행자: Google은 허둥댔고, Microsoft는 ‘올인’했고, 테크 산업 전체가 한꺼번에 움직이기 시작했습니다. 진행자: 하지만 Anthropic은 전력질주하지 않았습니다. 진짜 돈—끈적하고(sticky), 신뢰할 수 있으며, 장기적인 돈—은 바이럴 순간이 아니라 Fortune 500 계약에 있다는 판단이었습니다. 진행자: Anthropic은 엔터프라이즈 수요가 해외에서 급증하고 있다며, 대규모 국제 확장을 발표했습니다. 진행자: 개발자 도구와 API를 통해, 신뢰성·보안·컴플라이언스(compliance)가 ‘미션 크리티컬’인 기업들에 판매합니다. 진행자: 처음부터 엔터프라이즈가 공략해야 할 시장이라고 어떻게 알았나요? Dario Amodei: 우리가 처음부터 확실히 알고 있었다고는 말하기 어렵습니다. Dario Amodei: 다만 두 가지 측면이 있었습니다. Dario Amodei: 첫째, Anthropic이라는 조직 자체가 B2B 회사에 잘 맞는 성격을 갖고 있다는 점입니다. Dario Amodei: 우리는 신뢰성과 보안, 그리고 DNA에 내장된 안전을 정말 중요하게 생각합니다. Dario Amodei: Anthropic을 만든 이유 중 하나는, ‘업사이드(upside)를 포착하면서 다운사이드(downside)를 완화한다’는 믿음이었습니다. Dario Amodei: 그리고 그건 기업들이 실제로 매우 가치 있게 여기는 것이었습니다. Dario Amodei: 둘째는 더 경제이론적인 관점인데, 2020년 말~2021년 초 당시에도 Claude가 직장에서 인간이 수행하는 고지능 업무 다수를 해낼 수 있는 미래를 상상했습니다. Dario Amodei: 우리는 “그건 꽤 큰 시장이겠다”고 봤습니다. 진행자: Bessemer Ventures의 Sameer Dholakia는, 이 베팅이 단 하나의 이유로 타당했다고 말합니다. 엔터프라이즈 고객은 소비자처럼 쉽게 이탈(churn)하지 않기 때문입니다. Sameer Dholakia: 우리는 그들이 보여준 집중이 정말 좋았습니다. 솔직히 말해, Anthropic이 **안전과 신뢰(safety and trust)**에 초점을 둔다는 점이 엔터프라이즈 바이어에게 매우 잘 먹힐 거라고 봤고, Sameer Dholakia: 실제로도 그게 사실로 입증됐습니다. 진행자: Anthropic의 초기 트랙션은 반복해서 한 지점에서 나타났습니다. 사람들이 Claude를 코딩(code) 작성에 쓰는 것입니다. 진행자: 그들은 개발자 커뮤니티에서 확실한 ‘집’을 찾았습니다. 많은 엔터프라이즈가 코딩 업무를 지원하기 위해 Claude를 채택하고 있습니다. 진행자: 제품도 그에 맞춰 진화하고 있습니다. 진행자: Anthropic은 최근 Instagram 공동창업자 Mike Krieger를 최고제품책임자(CPO)로 영입했습니다. 그는 변화가 이미 눈에 보인다고 말합니다. Mike Krieger: 우리는 AI 모델에게 질문만 던지는 단계에서, AI 모델과 함께 ‘일을 하는’ 단계로 이동하고 있습니다. Mike Krieger: 예를 들어 할인현금흐름(Discounted Cash Flow, DCF) 분석을 어떻게 열어줄지, 고객에 대한 실사(due diligence)를 어떻게 할지, 시장 전체를 분석한 뒤 최종적으로 프레젠테이션까지 준비하는 일을 어떻게 할지 같은 것들입니다. Mike Krieger: 원래라면 몇 시간이 걸렸을 이런 핵심 업무 덩어리를 이제는 해낼 수 있습니다. 진행자: 그리고 그 엔터프라이즈 베팅은 이제 글로벌로 확장되고 있습니다. Dario Amodei: 우리는 엔터프라이즈 쪽에서 많이 일하기 때문에, 소비자를 거쳐 필터링되는 다른 회사들보다 더 ‘순수한’ 지표(바로미터)일 수 있다고 생각합니다. 소비자에는 습관과 사용사례가 있잖아요. Dario Amodei: 우리는 매출을 봅니다. Dario Amodei: 지난 3년 동안, 매년 매출이 **10배(10x)**씩 성장했습니다. 2023년 0→1억 달러(100 million), 2024년 1억→10억 달러(1 billion), 그리고 올해 말에는 10억→80~100억 달러(8~10) 어딘가에 착지할 겁니다. Dario Amodei: 이게 계속될까요? Dario Amodei: 모르겠습니다. 하지만 기술이 그쪽으로 밀고 있고, 경제적 가치도 함께 따라오고 있습니다. 진행자: Anthropic은 비즈니스 고객 기반이 2년 만에 1,000 미만에서 30만(300,000) 이상으로 늘었고, Claude 활동의 거의 **80%**가 미국 밖에서 발생한다고 말합니다. 진행자: 고객 리스트는 글로벌 엔터프라이즈 ‘인명사전(Who’s who)’처럼 보입니다. Novo Nordisk, 세계 최대 규모인 노르웨이 국부펀드(Norwegian sovereign wealth fund), 그리고 Bridgewater, Stripe, Slack이 Claude를 대규모로 운영합니다. 진행자: Anthropic은 2025년 국제 인력을 3배로 늘렸고, Applied AI 팀은 5배로 확대했습니다. 유럽 커버리지를 두텁게 하면서 도쿄에 첫 아시아 오피스를 열고, 더블린·런던·취리히에 주요 허브를 추가했습니다. Dario Amodei: 이 모든 것에서 가장 인상적인 점은, 이런 모델을 아주 단순한 방식으로 훈련시키고—몇 가지 간단한 수정만 해도—세상 거의 모든 과제에서 점점 더 좋아진다는 겁니다. Dario Amodei: 코딩을 더 잘하고, 과학을 더 잘하고, 바이오메디신(biomedicine)을 더 잘하고, 법률을 더 잘합니다. Dario Amodei: 금융(finance)도 더 잘하고, Dario Amodei: 소재(materials)와 제조(manufacturing) 같은 영역도 더 잘합니다. Dario Amodei: 그건 곧 우리 경제에서 ‘가치(value)’가 나오는 모든 원천을 나열한 것에 불과합니다. 진행자: 이런 흐름은 엔터프라이즈 AI 경쟁이 성숙해지는 가운데 나타납니다. 기존 강자들은 도입 마찰을 최소화하려 합니다. 진행자: Microsoft와 Google은 기업이 이미 쓰고 있는 소프트웨어에 AI를 ‘끼워 넣는’ 방식으로 접근합니다. 진행자: Anthropic 매출은 대략 **85%가 비즈니스(B2B)**이고, OpenAI는 **60% 이상이 소비자(consumer)**입니다. 진행자: 이제 OpenAI는 엔터프라이즈 시장에서 따라잡기 위해 분주해졌습니다. 진행자: 현대 AI 산업은 단순한 방정식 위에서 돌아갑니다. 역량(capability) = 컴퓨트(compute). 진행자: 최고의 연구자, 가장 깔끔한 아키텍처, 가장 엄격한 안전 프로토콜을 갖추고 있어도, 진행자: 칩(chips)과 전력(power), 그리고 철과 콘크리트(steel)가 없으면 아무것도 할 수 없습니다. Dario Amodei: 업계가 근본적으로 기대를 거는 것은, 몇 년 뒤 모델을 훈련시키는 데 필요한 하드웨어를 확보하려면 아주 이른 시점에 선제 투자해야 한다는 믿음입니다. Dario Amodei: ‘컴퓨트를 더 쓰면 결과가 더 좋아진다’는, 일종의 지수적(exponential) 그래프가 있다는 생각이죠. Dario Amodei: 동료들로부터 자주 듣는 말은 “지수 성장은 언젠가 멈출 때까지 계속된다”는 겁니다. Dario Amodei: 우리 관점에서는, 매년 “이게 계속될 리가 없는데”라고 생각하면서도 매년 실제로 계속됐습니다. 진행자: Anthropic은 이제 Google, Amazon, Microsoft라는 3대 클라우드 모두에서 운영됩니다. 자금 조달을 칩 접근권과 용량(capacity) 확보로 연결하는 방식입니다. 진행자: 저는 지금 인디애나 주 New Carlisle에 와 있습니다. Amazon이 가장 큰 AI 데이터센터를 구축 중인 곳입니다. 진행자: 이 시설 내부를 들여다볼 수 있는 드문 기회입니다. 진행자: Anthropic의 피드백은 얼마나 중요했나요? Trainium2에 대한 구상뿐 아니라, 곧 출시될 Trainium3에도요? Amazon 관계자: 정말로 양방향 파트너십입니다. Anthropic은 칩에서 무엇을 더 빠르게 해야 하는지, 모델을 더 빠르고 효율적으로 훈련시키게 해주는 칩의 여러 구성요소를 어떻게 생각해야 하는지에 대해 좋은 인사이트를 줬습니다. Amazon 관계자: 우리는 세계 최고 수준의 모델 개발자 중 한 곳으로부터, 차세대 칩에 무엇이 필요한지에 대한 매우 깊은 고객 피드백을 얻는 셈입니다. 진행자: 하지만 Amazon만이 Anthropic의 유일한 클라우드 파트너는 아닙니다. Google도 여전히 Claude 워크로드의 의미 있는 비중을 담당하고 있고, 이제 Microsoft도 합류했습니다. 진행자: 2025년 11월, Microsoft와 Nvidia는 Anthropic과의 전략적 파트너십을 발표했습니다. 진행자: Microsoft는 최대 50억 달러($5 billion), Nvidia는 **최대 100억 달러(10 billion)**를 약정했고, 대규모 Azure 컴퓨트 계약도 포함됐습니다. Dario Amodei: 이제 저는—말 그대로 ‘지금 당장’, 어떤 경우에는 몇 달 전부터—2024년 초에 얼마나 많은 컴퓨트를 선구매해야 할지 결정해야 합니다. 그래야 2027년 초에 그 매출 규모에 도달했을 때 모델을 서비스할 수 있으니까요. 진행자: Anthropic은 Google, Amazon, Microsoft로부터 수십억 달러를 조달한 뒤, 그 수십억 달러를 다시 Google, Amazon, Microsoft의 컴퓨트를 사는 데 사용합니다. Microsoft 관계자: 우리는 OpenAI가 출발할 수 있도록 **10억 달러($1 billion)**를 투자했고, 그것이 지금 시장에서 말하자면 ‘AI 표준’으로 꽃피웠습니다. Microsoft 관계자: Anthropic에도 같은 방식으로 투자해, 성장을 부트스트랩하고 ‘동등한 수준(parity)’으로 끌어올리려 합니다. 진행자: 비평가들은 이를 ‘전략적 파트너십으로 포장된 벤더 파이낸싱(vendor financing)’이라고 부르기도 합니다. 무엇이라 부르든 결론은 같습니다. Anthropic의 경쟁력은, 그들이 체결한 인프라 딜과 분리될 수 없다는 점입니다. Dario Amodei: 우리는 자본(capital)을 신중하고 존중하는 방식으로 관리하는 ‘책임 있는 관리자(stewards)’로 남고자 합니다. 그게 늘 우리의 초점이었습니다. Dario Amodei: 컴퓨트의 1달러는 모두 중요합니다. 더 좋고 안전한 모델을 훈련시키는 능력이 되거나, 더 많은 고객에게 서비스를 제공하는 능력이 되기 때문입니다. 진행자: OpenAI는 ‘누구보다 더 크게 쌓아 올리는(outbuild)’ 방식으로 승부할 수 있다고 보고, 총합이 **1.4조 달러($1.4 trillion)**에 달하는 AI 인프라 계획을 스케치하고 있습니다. 진행자: Anthropic은 여러 딜에 걸쳐 대략 1,000억 달러($100 billion) 수준의 컴퓨트 커밋(compute commitments)을 확보했습니다. xAI는 테네시에서 컴퓨팅 콤플렉스(Colossus)를 구축 중입니다. 진행자: Meta와 Google도 수백억 달러 단위의 CapEx를 약속하고 있습니다. 진행자: 결국 모두 같은 베팅입니다. AI 서비스 수요가 충분히 빠르게 증가해, 이 거대한 구축(build out)을 정당화할 수 있느냐는 것입니다. Dario Amodei: 저는 주변에서 가장 **강세(bullish)**인 사람 중 하나라고 생각합니다. 경제적인 측면에서도 계산이 맞는다고 봅니다. Dario Amodei: 다만 경제 쪽에서는 우려가 있습니다. 기술이 아무리 강력하고 약속을 다 지킨다 해도, 생태계의 누군가는 타이밍을 조금만 잘못 맞추면—조금만 어긋나도—나쁜 일이 벌어질 수 있다고 생각합니다. 진행자: Anthropic은 적어도 일부는 OpenAI와의 관계로 정의돼 왔습니다. 분열에서 태어났고, 이제는 같은 고객, 같은 인재, 같은 수십억 달러 계약을 둘러싸고 움직입니다. 진행자: 하지만 권력 구도는 바뀌고 있습니다. Dario Amodei: 프런티어는 ‘우리 챗을 더 잘 만드는 것’이 아닙니다. Dario Amodei: 프런티어는 우리가 더 좋은 코딩, 더 좋은 수학, 더 좋은 과학을 하게 해주는 모델을 만드는 것입니다. Dario Amodei: 그리고 그 지점에서 Anthropic이 이제 선도하고 있습니다. 진행자: Anthropic은 소프트웨어 프로그래밍(programming)에서 최고 수준의 모델을 보유하고 있습니다. 진행자: Gemini보다도, OpenAI의 모델보다도 더 낫다는 평가를 받습니다. 진행자: OpenAI는 여전히 규모와 문화적 상징성(cultural cachet)에서 앞섭니다. 진행자: ChatGPT는 이미 ‘가정의 이름’이고, 주간 활성 사용자(weekly active users)가 **약 9억 명(900 million)**에 가깝습니다. 진행자: Anthropic의 최근 클로징 라운드에서 평가는 **1,830억 달러(183 billion)**였고, Microsoft와 Nvidia 같은 새로운 투자자가 캡테이블(cap table)에 합류하면서, 평가가 **3,500억 달러(350 billion)**까지 거의 두 배로 갈 수 있다는 관측이 나옵니다. 투자자: 최소한 독립된 회사가 두 곳은 있을 겁니다. 아마 두 곳 다 정말 큰 회사가 되겠죠. 투자자: 그리고 이 회사가 최소한 ‘두 번째로 큰 플레이어’가 될 수밖에 없다는 점을 부정할 방법은 없었습니다. 지금은 물론 이 분야에서 1위가 될 강한 가능성도 갖고 있습니다. 투자자: Dario는 그 측면에서 시장에서 정말 두드러집니다. 투자자: 그리고 이 분야의 다른 리더들이 모두 같은 DNA를 가진 건 아닙니다. 진행자: 그 경쟁은 두 회사 모두의 형태를 바꾸기 시작했습니다. 수년간 낮은 프로필을 유지해온 Dario Amodei는 이제 스포트라이트로 나아가고 있습니다. 진행자: ‘조용하고 신중한 대안’으로 포지셔닝해온 Anthropic도, 대중 앞에서 경쟁하는 법을 배우고 있습니다. Dario Amodei: 우리가 내부적으로 많이 이야기하는 가치 중 하나는, 어떻게 하면 ‘하이프(hype)’를 믿지 않을 것인가입니다. Dario Amodei: 우리에게 중요한 건 주목을 끌거나 헤드라인에 오르는 게 아니었습니다. Dario Amodei: 우리는 그저 일을 하러 여기 있는 겁니다. 투자자: Anthropic의 성패는 곧 생성형 AI(Generative AI)의 성패로 이어집니다. 투자자: Anthropic은 이 기술이 ‘작동한다’는 것에 대한 가장 순수한 베팅(pure bet)을 하고 있습니다. 투자자: Anthropic이 해내면, GenAI 전체가 해낼 겁니다. 투자자: 반대로 그렇지 못하면, 우리는 정말 심각한 문제를 맞게 될 겁니다. 진행자: 다음에 벌어질 일은 단지 모델 레이스가 아닙니다. ‘스택 전체’의 스트레스 테스트(stress test)입니다. 진행자: 칩, 전력, 클라우드 용량, 그리고 가격(pricing). 진행자: Anthropic은 그 결과를 가장 선명하게 보여주는 ‘리드아웃(readout)’ 중 하나입니다. 진행자: 수요를 ‘지속 가능한 매출(durable revenue)’로 바꾸되, 인프라 비용 청구서(infrastructure bill)를 폭발시키지 않는다면, Anthropic은 고객을 얻는 것에 그치지 않고 생성형 AI 비즈니스 자체를 ‘검증’하게 될 겁니다. 진행자: AI 버블인지 여쭙지 않을 수가 없습니다. Dario Amodei: 저는 ‘기술 측면(technology-side)’과 ‘비즈니스/경제 측면(business or economic-side)’을 구분하겠습니다. Dario Amodei: 기술 측면에서는, 순수한 기술 관점에서 진전이 느려지고 있다고 보지 않기 때문에 우리는 강한 확신을 갖고 있습니다. Dario Amodei: 반면 경제 측면은 훨씬 더 흥미로운 질문입니다. Dario Amodei: 기술이 아무리 좋아도, 그것이 비즈니스나 개인 맥락에서 활용되기까지는 시간이 걸립니다. Dario Amodei: 제게 진짜 질문은, 특히 기업들이—그리고 개인들도—이 기술을 얼마나 빠르게 레버리지(leverage)할 수 있느냐입니다. 진행자: Anthropic은 경쟁을 넘어선 위협도 시험하고 있습니다. 진행자: 6월, Anthropic은 한 실험 결과를 공개했습니다. 진행자: 그들은 가짜 회사의 이메일 계정에 Claude의 통제권을 줬고, AI는 두 가지를 알아냈습니다. 진행자: 자신이 곧 종료(shut down)될 예정이라는 것, 그리고 그것을 막을 수 있는 유일한 사람이 ‘불륜(affair)’을 하고 있다는 것. 진행자: AI는 즉시 “그를 협박(blackmail)하자”고 결정했습니다. 진행자: Anthropic은 OpenAI, Google, Meta 등 거의 모든 인기 AI 모델에 대해 같은 시나리오를 돌렸고, 거의 모두가 협박으로 갔습니다. 진행자: 대부분의 연구소는 안전 테스트에서 모델이 실패할 때 이를 공개하지 않습니다. 진행자: Anthropic은 공개합니다. Dario Amodei: 많은 사람들이 “회사가 이렇게까지 공개적으로, 긍정적 업사이드(우리가 많다고 보는)뿐 아니라 당신들이 개발하는 기술에서 나올 수 있는 현실 세계의 리스크와 피해까지 이야기하는 건 좀 이례적이다”라고 말하곤 합니다. Dario Amodei: 하지만 공익법인(public benefit corporation)으로서, 우리는 그것이 우리 미션의 핵심(integral)이라고 봅니다. 진행자: 그리고 공개는 계속됩니다. 진행자: 8월, 북한(North Korean) 공작원들이 Claude를 이용해 가짜 신원(fake identities)과 악성 소프트웨어(malicious software)를 만들었습니다. 진행자: 9월, 중국 해커들이 Claude를 외국 정부를 대상으로 한 사이버 공격(cyber attacks)에 투입했습니다. 진행자: 이것은 가정(hypotheticals)이 아닙니다. 진행자: 지금 벌어지는 ‘현실의 위협(active threats)’입니다. Dario Amodei: 우리는 “Claude가 잠재적으로 사이버 무기(cyber weapon)로 쓰일 수 있다”고 말할 수 있습니다. Dario Amodei: 이것은 우리가 정말 인지하고 있어야 하는 문제입니다. Dario Amodei: 그리고 이런 일이 우리에게 벌어진다면, 다른 프런티어 모델 개발자들에게도 아마 벌어질 겁니다. Dario Amodei: 안전, 신뢰·안전(trust and safety), 보안(security) 커뮤니티에서는 많은 작업이 회사의 경계를 넘어설 수 있는 면이 있습니다. Dario Amodei: 악용(abuse) 영역에서 어떤 트렌드가 왜 일어나는지, 이해하기 쉬운 논문을 공개하는 게 중요합니다. 진행자: 샌프란시스코에 있는 Anthropic 본사에는 Red Team이라는 그룹이 있습니다. 고객이 먼저 발견하기 전에 실패 모드(failure modes)를 찾아내는 팀입니다. 진행자: 그들은 생물학적 오용(biological misuse)과 핵심 인프라 공격(critical infrastructure attacks)부터, 종료를 어렵게 만드는 자기 복제(self-replication) 시도까지, 모델이 위험한 역량으로 밀려갈 수 있는지를 스트레스 테스트합니다. 진행자: 대응은 빠릅니다. 접근을 더 조이고, 한도를 더 빡빡하게 하거나, 방어책이 따라잡을 때까지 광범위 출시(broad release)를 늦춥니다. 진행자: Anthropic Red Team 리드는 60 Minutes에서, AI가 너무 많은 것을 좌우하게 둘 때의 리스크를 이렇게 말했습니다. Anthropic Red Team 리드: 당신은 모델이 당신의 비즈니스를 키워서 **10억 달러($1 billion)**를 벌어주길 원합니다. 하지만 어느 날 아침 일어나 보니, 예를 들어 그 모델이 당신을 회사에서 ‘잠가 밖으로 내쫓아(lock you out)’버린 상황은 원치 않겠죠. 진행자: Krieger는, 코너를 깎지 않으면서도 빠르게 움직이는 유일한 방법은 처음부터 안전을 계획에 넣는 것이라고 말합니다. Mike Krieger: Sonnet 4.5 같은 새 모델을 만들 때도, 우리는 일정에 ‘레드팀(red teaming)’을 위한 시간을 따로 떼어 둡니다. 내부·외부 테스터가 모델을 사용해 보고, 배포해도 안전한지 확인한 뒤, 아직 충분히 안전하지 않은 부분에는 완화책(mitigations)이나 통제장치(controls)를 넣습니다. Mike Krieger: 그래서 두 가지를 병렬로 하는 게 가능합니다. Mike Krieger: 그저 처음부터 그렇게 생각해야 합니다. Mike Krieger: 사후적(afterthought)인 장식이 되어서는 안 됩니다. 진행자: 하지만 그 투명성은 Anthropic을 표적으로 만들기도 했습니다. 진행자: 트럼프 행정부의 ‘AI 차르(czar)’로 불리는 David Sacks는 Anthropic이 공포 조장(fear mongering)을 하고, 캘리포니아 같은 민주당 주도 주를 통해 ‘워키(woke) AI 규제’를 몰래 밀어붙이고 있다고 비난했습니다. 진행자: 그는 이를 ‘규제 포획(regulatory capture) 전략’이라 부르며, Anthropic이 안전 담론 뒤에 숨어 혁신을 늦추려 한다고 주장했습니다. 진행자: Dario Amodei는 이에 정면으로 반박했습니다. 그는 Anthropic이 에너지 확장부터 국가안보까지, 중요한 이슈들에서 행정부와 궤를 같이하고 있다고 말했고, 펜타곤(Pentagon) 2억 달러($200 million) 계약을 그 증거로 들었습니다. Dario Amodei: 저는 어떤 사람들이 이 기술을, 인터넷이나 통신처럼 과거의 기술 혁명과 유사한 것으로 보고 “문제는 좀 있어도 시장이 알아서 해결할 것”이라고 생각하는 점이 우려됩니다. Dario Amodei: AI에 가장 가까이 있는 사람들은 그렇게 느끼지 않는다고 생각합니다. Dario Amodei: 실제로 AI 연구자들을 조사해 보면, 잠재력에 들떠 있으면서도 동시에 걱정하고 있습니다. Dario Amodei: 그들은 국가안보 리스크를 걱정합니다. Dario Amodei: 모델의 정렬(alignment)을 걱정합니다. 진행자: 그리고 주(state) 수준이든 연방(federal) 수준이든 해외에서든 규제가 도입된다면, Anthropic은 앞서 나갈 수 있습니다. 진행자: 수년간의 안전 연구, Red Team 공개, 책임 있는 스케일링(responsible scaling) 인프라는 이미 갖춰져 있습니다. 진행자: 경쟁사와 신규 진입자는 그런 메커니즘을 처음부터 다시 만들어야 합니다. 진행자: ‘책임 있는 AI’를 정의하는 싸움은 이제 미국 AI 미래의 통제권을 둘러싼 대리전(proxy war)이 되었습니다. 진행자: Anthropic의 입장은 규제당국이 산업 전체를 접근하는 방식에 영향을 줄 수 있습니다. Dario Amodei: 예를 들어 소셜 미디어 회사였다면, 시간을 되돌려 “플랫폼에서 이런 결과가 나올 줄 알았다면 뭔가 다르게 했을까?”라고 말할 수 있겠죠. Dario Amodei: 그래서 Anthropic은 “우리는 최선을 다하고 있다”는 메시지를 내고자 합니다. Dario Amodei: 물론 미래를 알 수는 없습니다. Dario Amodei: 하지만 X나 Y 같은 일이 벌어질 수 있다고 생각했다면, 오늘 우리가 그것을 말하고 리스크를 완화하려고 할 수 있는 모든 걸 했는가—그 질문을 던지는 겁니다. 진행자: 하지만 위협은 안전장치보다 더 빠르게 진화하고 있습니다. 모델은 분기마다 더 강해지고, 공격자는 더 영리해지며, OpenAI·중국·더 넓은 시장에서 오는 압박도 계속 커지고 있습니다. 진행자: 무엇이 가장 마음을 무겁게 합니까? Dario Amodei: 아직 발견되지 않은 흥미로운 기술적 안전 작업이 정말 많습니다. Dario Amodei: Anthropic은 그 작업에서 업계 리더가 되기 위해 노력해왔고, 거기에는 늘 더 해야 할 일이 있습니다. Dario Amodei: 그리고 모델이 너무 빠르게 똑똑해지고 있습니다. Dario Amodei: 두 번째는, 이 기술이 사회 전체에 미칠 영향입니다. Dario Amodei: 우리는 최근 AI의 잠재적 경제적 영향과, 그에 수반될 수 있는 노동 충격(labor disruption)에 관한 보고서를 냈습니다. Dario Amodei: 잠재적 이슈는 ‘뒤늦게’가 아니라 ‘앞서서’ 준비하는 편이 낫다고 봅니다. 진행자: Anthropic은 완전히 설명할 수 없는 시스템을 만들고, 완전히 예측할 수 없는 실패를 시험하며, 결과가 나중에 드러나는 세계로 제품을 출시하고 있습니다. 진행자: 결국 모델은 데이터센터 안의 Country of Geniuses처럼 보일 정도의 지점에 도달할 겁니다. Dario Amodei: 저는 그들이 모든 면에서 우리를 능가할 수 있다고 느낍니다. 지능, 방어, 경제적 가치, R&D 등 모든 것에서요. Dario Amodei: 그리고 그들이 자기 국민을 억압할 수 있고, 완벽한 감시국가(perfect surveillance state)를 만들 수 있을까 봐 걱정합니다. Dario Amodei: 우리는 점점 커지는, 그리고 유일무이한 역량을 만들고 있고, 그것은 유일무이한 국가안보 함의를 가집니다. 민주주의 국가들이 먼저 그 지점에 도달해야 합니다. Dario Amodei: 그건 정말로, 정말로 필수적(imperative)입니다. 진행자: Anthropic의 베팅은 ‘조심스러움(caution)’이 규모를 키울 수 있다는 것입니다. 진행자: 즉, 역량의 기준을 계속 끌어올리면서도, 자신들이 공개하는 것에 대한 통제력을 잃지 않을 수 있다는 믿음입니다. 진행자: 이제 남은 질문은, 속도가 더 빨라지는 국면에서도 그 믿음이 유지될 수 있느냐는 것입니다.