Interview with Dario Amodei from Anthropic: Inside the $100B "Big Blob of Compute" & The 2030 AGI Certainty

안녕하세요, Neural Intel에 오신 것을 환영합니다. 정기적으로 들으시는 분이라면 이미 알고 계실 것입니다. 우리는 여기서 표면적인 이야기를 하지 않습니다. 어떤 채팅봇이 현재 환각을 보이고 있는지 또는 어떤 주식 가격이 **3%** 상승했는지에 대한 헤드라인을 읽지 않습니다. 아니요, 우리는 기술적인 문서와 인터뷰를 분석하여 신호를 찾습니다. 그것이 우리의 임무입니다. 우리는 잡음에서 신호를 추출합니다. 원본 데이터, 코드 조각, 수학, 아키텍처 다이어그램을 보시려면 neuralinttel.org를 방문하시기 바랍니다. 그곳이 실제 작업이 진행되는 곳입니다. 그리고 당연히 YouTube, Apple Podcasts, Spotify에서 구독하시기 바랍니다. 특히 이러한 분야에서 빠르게 진행되는 상황에서는 깊은 분석을 놓치지 않으려면 구독이 필수입니다. 오늘은 특별한 날입니다. 우리는 Entropic의 CEO인 Dario Amodei의 생각을 직접 들여다보는 시간입니다. 일반적으로 CEO의 말을 듣게 되면 많은 기업용 구호를 듣게 됩니다. 시너지, 패러다임 전환, 고객 만족 등 모든 버즈워드가 등장합니다. 하지만 Dario는 다릅니다. 그는 물리학자 출신입니다. 그래서 그가 말할 때, 그는 확률, 컴퓨팅 사이클, 스케일링 법칙에 대해 이야기합니다. 그는 매우 엔지니어적인 CEO입니다. 그리고 최근에 Orcesh Patel과 가진 인터뷰에서 그는 강한 이미지를描写합니다. 강한 이미지를描写한다는 것이 적절한 표현입니다. 우리는 더 좋은 맞춤법 검사기에 대해 이야기하는 것이 아닙니다. 우리는 **2-3년** 내에 데이터 센터에 천재들의 국가를 가질 수 있는 구체적인 예측에 대해 이야기합니다. 데이터 센터에 천재들의 국가, 그것은 매우 인상적인 이미지입니다. 科學小說의 시작과 같습니다. 하지만 오늘 우리의 일은 그 인용문의 과학 소설적인 분위기에 빠지지 않는 것입니다. 우리의 일은 그것을 위한 기술적인 정당성을 분석하는 것입니다. >> 음. >> 왜 그가 그것이 가능하다고 생각하는지 이유를 설명해 보세요. 인공지능의 진행에 대한 지수 곡선이 실제로 안정적인지, 아니면 많은 비평가들이 말하는 것처럼 벽에 부딪히는 것인지요? >> 그것은 정말로 **1조 달러**의 질문입니다. 곡선이 평탄화되는지, 아니면 수직으로 상승하는지, 그리고 그것이 발생하면 경제, 안전, 세계의 지구정치가 어떻게 되는지 묻는 것입니다. >> 그가 옳다면, **2027년**의 세계는 오늘날의 세계와 근본적으로 다르게 보입니다. >> 근본적으로. >> 정확히 그렇습니다. 그래서 우리는 여기서 과장된 이야기를听하지 않습니다. 우리는 여기서 메커니즘을听합니다. 그리고 메커니즘에 관해 이야기하면, 나는 이 대화를 처음부터 현실적으로 만들어야 한다고 생각합니다. 우리의 첫 번째 체크인을 시작해 보겠습니다. >> 좋습니다, 시작해 보겠습니다. 이것은 신경 신호 체크입니다. >> 좋습니다, 우리에게 그것을 알려주세요. 우리가 주목해야 할 실제 신호는 무엇입니까? >> 신호는 미디어가 사용자 인터페이스에 완전히 집착하고 있다는 것입니다. 봇이 시를 쓸 수 있나요? 재미있는 그림을 만들 수 있나요? 그것은 인간처럼 들리나요? >> 모든 프론트엔드 관련 사항. >> 모든 프론트엔드 관련 사항. 실제 이야기는 확장의 수학에 숨겨져 있습니다. 신호는 아모드가 큰 컴퓨팅 가설이라고 부르는 것입니다. 그리고 더 중요한 것은, 강화 학습 또는 RL이 수학적으로 사전 교육 확장 손실과 동일하게 학습하고 있다는 기술적 실현입니다. >> 와우, 좋습니다, 잠깐 멈추세요. 그래서 당신은 그것이 모두 하나의 큰 곡선이라고 nói하고 있습니다. >> 그것이 데이터가 암시하는 것입니다. 정확히 그렇습니다. 그것은 마법이 아직 발견하지 못한 새로운巧妙한 아키텍처에 있는 것이 아니라, 확장 자체에 있다는 것을 암시합니다. >> 와우, 그리고 그것은 다음 **24개월**에巨大한 영향을 미칩니다. 왜냐하면 그것은 로드맵을 단순화하기 때문입니다. 그것은 우리가 기적을 필요로 하지 않는다는 것을 의미합니다. 進行자: 우리가 앞으로 나아가기 전에, Dario Amodei의 주장을 이해하기 위해 몇 가지 기술적인 용어를 정의해야 합니다. **가속 컴퓨팅(Accelerated Computing)**과 **고대역폭 메모리(HBM)**는 인공지능의 발전에 중요한 역할을 합니다. {person_name}: 그렇습니다. Dario Amodei는 인공지능의 발전이 지수적으로 증가하고 있으며, 이는 **2-3년** 내에 데이터 센터에 천재들의 국가를 가질 수 있는 구체적인 예측에 근거한다고 주장합니다. 그러나 이러한 주장은 많은 비평가들의 비판을 받고 있습니다. 進行자: 그렇다면, Dario Amodei의 주장을 뒷받침하는 기술적인 근거는 무엇일까요? 그는 인공지능의 진행에 대한 지수 곡선이 실제로 안정적인지, 아니면 벽에 부딪히는 것인지에 대해 어떻게 설명할까요? 에 대한 기술적인 근거는 무엇일까요? 그는 인공지능의 진행에 대한 지수 곡선이 실제로 안정적인지, 아니면 벽에 부딪히는 것인지에 대해 어떻게 설명할까요? 인공지능의 발전에 대한 물리학적인 근거를 살펴보는 것이 중요합니다. 물리학적인 법칙이 성립하지 않으면, 투자하는 금액에 관계없이 일정한 속도로 발전할 수 없습니다. 따라서 물리학적인 법칙을 이해하는 것이 중요합니다. **지수 곡선**에 대한 논의는 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 인공지능의 발전을 이해하기 위해서는 **스케일링의 물리학**, **대규모 연구소 운영의 경제학**, **헌법적 인공지능의 기술적 구현** 등 다양한 요소를 고려해야 합니다. 이러한 요소들은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 인공지능의 발전을 이해하기 위해서는 **정보이론**과 **열역학**의 법칙을 이해하는 것이 중요합니다. 이러한 법칙들이 성립하지 않으면, 인공지능의 발전은 일정한 속도로 진행되지 않을 수 있습니다. 따라서 이러한 법칙들을 이해하는 것이 중요합니다. **빅 블롭 가설**은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 이 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 하는 **7가지 요소**를 강조합니다. 이러한 요소들을 이해하는 것이 중요합니다. 빅 블롭 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 이 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 하는 **7가지 요소**를 강조합니다. 이러한 요소들을 이해하는 것이 중요합니다. 빅 블롭 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 하는 **스케일링**의 중요성을 강조합니다. 스케일링은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 따라서 스케일링의 중요성을 이해하는 것이 중요합니다. 빅 블롭 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 하는 **가속 컴퓨팅(Accelerated Computing)**의 중요성을 강조합니다. 가속 컴퓨팅은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 따라서 가속 컴퓨팅의 중요성을 이해하는 것이 중요합니다. 좋습니다. 여기 7가지 요소의 목록이 있습니다. 이 목록을 살펴보겠습니다. 이것은 효과적으로 천재들의 국가를 만드는 요약입니다. 첫 번째 요소, **원시 컴퓨팅 능력(Raw Compute)**입니다. 이는 매우 명백한 것으로, 엄청난 양의 **플로팅 포인트 연산(Floating-Point Operations)**이 필요합니다. 엔진이 클수록 속도가 빠르다는 것은 간단합니다. 두 번째 요소는 **데이터의 양(Quantity of Data)**입니다. 이는 또한 매우 직접적입니다. 데이터를 많이 필요로 합니다. **트리플(trillion)** 단위의 토큰이 필요합니다. 데이터가 부족하면 컴퓨팅은 아무런 의미가 없습니다. 세 번째 요소는 **데이터의 질과 분포(Quality and Distribution of Data)**입니다. 이제 이것은 조금 더 복잡해 보입니다. 단순히 데이터의 양이 많은 것이 아니라, 데이터의 질과 분포가 중요합니다. 이것은 매우 중요합니다. 데이터의 양이 많다고 해서 모두가 좋은 것은 아닙니다. 데이터의 분포가 넓고 다양해야 합니다. **GPT1**은 좋은 예입니다. **GPT1**이 주로 어떤 데이터로 학습되었는지 알고 계십니까? 인터넷이라고 생각하거나 위키피디아라고 생각할 수 있지만, 실제로는 **Book Corpus**라는 데이터셋으로 학습되었으며, 이는 대부분 자체 출판된 책과 팬픽션으로 구성되었습니다. 진짜입니까? 팬픽션입니까? 그래서 현대 AI의 조상은 본질적으로 해리 포터 대체 유니버스와 뱀파이어 로맨스를 통해 길러졌다는 뜻입니까? 본질적으로 그렇습니다. 그리고 그 매우 좁은 분포로 인해, 그것은 대부분 문학 텍스트였으며, 대화, 내러티브와 같은 것만을 잘 할 수 있었으며, 다른 것들은 할 수 없었습니다. 수학을 할 수 없었습니다. 코드를 작성할 수 없었습니다. **GPT2**로 이동하여 실제 인터넷을 스크레이핑하고, Reddit 링크, Common Crawl, 모든 지저분한 것들을 얻을 때까지, 그것은 광범위한 분포를 얻을 수 없었습니다.那种 다양성이 오늘날 우리가 보는 일반화를 가능하게 한 것입니다. 그래서 팬픽션만으로는 AGI를 구축할 수 없다는 것입니다. 그것은 진정으로 안도하는 것입니다. 그것은 시작일 뿐입니다. 만약 특이점이 나쁨 로맨스 소설에서 태어났다면, 나는 매우, 매우 우려할 것입니다. **정렬 문제(Alignment Problem)**에 대해 말입니다. 진행자: 네, 목록의 4번째, **훈련 시간**입니다. 그것을 익히게 해야 합니다. 그라디언트 디센트를 서두르지 말아야 합니다. 그것은 최적화의 물리적 과정입니다. 그것은 걸리는 시간만큼 걸립니다. 목록의 5번째, **목적 함수**입니다. 이것은 큰 문제입니다. 정말로 큰 문제입니다. 모델에게 주는 목표는 무한히 확장할 수 있어야 합니다. 만약 목표가 단지 틱택토를 하는 것이라면, 모델은 거의 즉시 학습을 마치고 더 이상 학습하지 않습니다. 그것은 정점에 도달합니다. 더 이상 갈 곳이 없습니다. 완벽하게 해결한 후에는 더 이상 좋은 것이 없습니다. 하지만 다음 토큰을 예측하는 것과 같은 목표나 복잡한 추론 문제를 해결하는 것과 같은 목표는 달에까지 확장할 수 있습니다. 그것들은 효과적으로 무한합니다. 진행자: 6번째와 7번째 항목은 함께 묶어서 설명하겠습니다. 왜냐하면 그것들은 지루하지만 필요한 엔지니어링 문제처럼 들리기 때문입니다. **정규화**와 **조건화**입니다. 이것은 플럼빙입니다. 그것은 절대적으로 중요하며 수치적 안정성에 관한 것입니다. 수십억 또는 수조 개의 매개변수를 가진 모델을 훈련할 때, 이러한 거대한 행렬 곱셈을 수행하고 있기 때문에 숫자가 너무 크면 폭발합니다. 그것을 **폭발하는 그라디언트**라고 합니다. 그리고 숫자가 너무 작으면,消失합니다. **소실되는 그라디언트**입니다. 컴퓨팅 능력을 시스템에 더 많이 투입할수록, 그것이 단지 충돌하거나 수학적 혼돈으로 발산하지는 않도록 보장해야 합니다. Amade는 훌륭한 문구를 사용합니다. 컴퓨팅의 **층류**입니다. 진행자: 층류는 유체 역학 용어입니다. 물이 파이프를 통해 매우 부드럽게 흐르는 것과 같습니다. 정확히 vậy입니다. 유체 역학에서 층류는 부드럽고, 질서정연합니다. 난류는 혼돈스럽고, 비효율적입니다. AI 훈련에서, 신경망 업데이트에서 수학적 난류나 병목 현상 없이 컴퓨팅이 부드럽게 흐르기를 원합니다. 숫자가 흐를 수 있는 부드러운 파이프가 필요합니다. 그렇습니다. 7가지 요소를 모두 갖추고 있다면, 컴퓨팅 능력, 데이터 양, 데이터 품질, 시간, 목적 함수, 그리고 모든 것을 작동시키기 위한 안정성, 특정 아키텍처는 SECONDARY하다. Blob은 그냥 작동한다. 그리고 그는 2017년부터 제기된 이 가설이 여전히 오늘날에도 유효하다고 말한다. 그것은 AI 년으로는 영원과 같은 것이다. 그것은 1800년대에 제기된 이론이 양자 물리학에서 여전히 유효하다고 말하는 것과 같다. 그는 그것과矛盾되는 것을 많이 보지 못했다고 말한다. 그리고 이것은 우리가 신호 확인에서 언급한 강화 학습(RL) 계시로 우리를 바로 데려간다. 왜냐하면 이것은 새로운 전선이다. 이것은 아무도 실제로談하지 않는 실험실 내에서 발생하는 일이다. 3년 전, 우리는 모두 사전 훈련에 대한 깔끔한 손실 곡선을 보고 있었다. 우리는 더 많은 데이터와 더 많은 컴퓨팅 능력을 추가하면 모델이 다음 단어를 예측하는 데 더 똑듚해진다는 것을 알았다. 그것은 로그 그래프上的 직선이었다. 그것은 예측 가능했다. 매우 예측 가능했다. 그러나 이제 우리는 강화 학습을 가지고 있다. 우리는 수학, 코딩, 생각하기 전에 답변하는 모델을 가지고 있다. 모든 사슬 생각에 대한 내용이다. 내 직관은 그것이 다른 프로세스여야 한다고 말한다. 그것은 다른 곡선인가? 그것은 **1조 달러**의 질문이다. 그리고 Amodei의 대답은 충격적이다. 아니오. 아니오, 그것은 다른 곡선이 아니다. 그는 강화 학습이 사전 훈련과 정확히 같은 방식으로 확장되고 있다고 주장한다. 그래서, 그것은 로그 선형이다. 컴퓨팅 능력을 두 배로 늘리면, 이유에 대한 오차를 줄이는 상수적인 감소가 있다. 그는 다른 회사들, Deep Mind, OpenAI도 이것을 발견했다고 지적한다. 수학 대회와 같은 문제에 모델을 훈련시키면, 성능의 향상은 훈련 시간이나 생성된 샘플의 양과 로그 선형적으로 관련이 있다. 그것은 같은 물리학이다. 그것은 매우 흥미롭다. 그래서 본질적으로 사전 훈련은 기본적인 능력, 세계에 대한 원시적인 지식을 제공한다. 말하자면, **원자재**이다. 그리고 강화 학습은 특정 목표를 향한 tinh chỉnh하는 또 다른 확장 단계이다. 진행자: 맞습니다. 그는 이를 GPT1에서 GPT2로의 변화와 직접적으로 비교합니다. GPT1이 팬픽션에서 훈련되었듯이, 더 다양한 데이터가 필요했듯이, RL(강화 학습)은 현재 매우 특정한 작업인 단일 수학 문제 해결에서 훨씬 더 넓은 일반화로 이동하고 있습니다. 우리는 기본적으로 큰 덩어리가 RL을 먹어치우는 것을 보고 있습니다. 이전에 언어 모델링을 먹어치운 것처럼요. 그래서 우리가 사실을 배우는 것과 추론하는 것을 배우는 것 사이에 만드는 구분은 우리가 만들어낸 인위적인 것일지도 모릅니다. 결국 모든 것은 학습입니다. 그것이 큰 의미입니다. 모든 것은 정보의 압축일 뿐입니다. 그 정보가 프랑스의 수도가 파리라는 것이든, 이 적분을 해결하는 방법이 특정 규칙을 적용하는 것이든, 신경망은 매우 유사한 방식으로 이를 처리하는 것 같습니다. 단지 패턴을 찾아내고, 압축하고, 결과를 예측하는 것입니다. 와우. 이것은 실제로 그가 생물학적 지능과 비교하여 이러한 LLM(대형 언어 모델)이 어디에 위치하는지에 대한 그의 정신 모델로 완벽하게 이어집니다. 저는 이 비유가 현재 일어나고 있는 일을 시각화하는 데 매우 유용하다고 생각했습니다. 왜냐하면 가끔은 우리가 외계인의 두뇌를 만들고 있는 것 같은 느낌이 들고, 다른 때는 인간의 두뇌를 만들고 있는 것 같은 느낌이 들기 때문입니다. 네. 학습의 계층 구조입니다. 그는 이를 세 가지 뚜렷한 층으로 나누었습니다. 좋습니다. 그러면 층을 살펴보면, 첫 번째 층은 진화입니다. 두 번째 층은 인간의 생애 학습이고, 세 번째 층은 맥락 학습입니다. 맞습니다? 그러면 아래에서부터 진화에 대해 시작해 봅시다. 진화는 궁극적인 사전 훈련입니다. 수십억 년이 걸렸습니다. 상상할 수 없는 양의 컴퓨팅이 필요했습니다. 살아있고 죽었던 모든 생물체는 이 실험의 데이터 포인트였습니다. 그것을 표현하는 훌륭한 방법입니다. 그 과정에서 무엇이 생산되었나요? 하드웨어, 우리의 두뇌 구조, 우리의 본능이 생산되었습니다. 그것은 **사전 정보**를 생산했습니다. 그것이 핵심입니다. 당신의 두뇌는 태어날 때 백지 상태가 아닙니다. 진화는 얼굴을 인식하고, 언어에 대한 경향을 가지며, 물체가 떨어지는 기본 물리학을 이해하도록 미리 연결해 놓았습니다. 아기는 무작위 숫자 생성기보다 훨씬 더 많은 것을 알고 있습니다. 아기는 내가 공을 담요 뒤에 숨기면 그 공이 아마도 여전히 거기에 있을 것이라는 것을 압니다. >> 물체 영속성(Object permanence)이죠, 하지만 LLM은 시작할 때 무작위 숫자 생성기입니다, 맞나요? 그들은 단지 무작위 소음일 뿐입니다. >> 정확합니다. 그들은 무작위 가중치로 시작하며, 단지 가우시안 노이즈(Gaussian noise)입니다. 그래서 그렇게 거대한 AI를 사전 훈련(pre-training)하는 것은 **진화**의 작업을 수행하는 것입니다. 이는 무작위 소음과 태어날 때의 인간 사이의 큰 격차를 메워줍니다. >> 알겠습니다. 그게 완벽하게 이해가 됩니다. 그래서 사전 훈련은 진화와 같습니다. 이제 스펙트럼의 다른 끝으로 넘어가 보겠습니다. 당신은 **인컨텍스트 학습(in-context learning)**을 가지고 있습니다. 내가 문서를 클로우에 붙여넣고 요약하라고 할 때 발생하는 일이죠. 그것은 그 문서의 내용을 즉시 학습합니다. >> 맞죠? 기본적으로 그것은 작업 기억(work memory)입니다. 단기 적응(short-term adaptation)입니다. 믿을 수 없을 만큼 빠르지만, 또한 덧없습니다. 그 컨텍스트 창을 닫는 순간, 사라집니다. 마치 포스트잇 메모를 읽고 즉시 버리는 것과 같습니다. >> 하지만 그 중간에 큰 결여가 있습니다. 바로 인간의 평생 학습 부분입니다. >> 네. 그리고 이것이 현재 문제의 핵심입니다. 인간은 평생에 걸쳐 영구적으로 학습합니다. 우리는 잠을 잘 때마다 리셋되지 않습니다. 우리는 기술을 축적하고, 정규직이 됩니다. 우리는 사무실 정치도 배우고, 배우자의 좋아하는 색깔도 배웁니다. >> 그리고 현재 LLM은 대부분 이것을 하지 않습니다. 사실상 그렇지 않습니다. 그들은 사전 훈련이라는 진화 부분과 단기 기억 부분, 즉 컨텍스트 창을 가지고 있지만, 10년 동안 선임 엔지니어가 되는 그 중요한 중간 층이 부족합니다. 그래서 Emote는 이 결여가 문제라고 생각하나요? 왜냐하면 모델이 어제의 어떤 것도 기억하지 못한다면, 어떻게 회사를 운영할 수 있겠습니까? 매일 아침 기억상실증이 있다면 어떻게 천재가 될 수 있겠습니까? 분명히 병목 현상(bottleneck)이지만, 이것이 그가 제시하는 타임라인으로 완벽하게 전환됩니다. 그는 이것이 대규모 능력을 달성하는 데 있어 **중단 요인**(showstopper)이라고 생각하지 않습니다. 그는 우리가 그냥 힘으로 이를 극복할 수 있다고 생각합니다. >> 좋아요, 그럼 숫자로 넘어가 보죠. 이 예측은 모든 헤드라인을 장식한 부분이지만, 우리가 방금 논의한 맥락이 진정으로 중요합니다. >> 자, 그러면 여기 있습니다. 그는 **2026년** 또는 **2027년**까지 데이터 센터에서 천재들로 구성된 국가처럼 작동할 수 있는 모델을 가질 것이라고 **90%** 확신하고 있습니다. >> **90%**의 확신은 기술 세계에서 사실상 **2년** 또는 **3년** 정도 남은 예측으로는 터무니없이 높은 수치입니다. 일반적으로 **2년**이 남았다는 것은 **5년**이 남았다는 것을 의미하고, **5년**이 남았다는 것은 결코 이루어지지 않는다는 뜻입니다. >> 오, 정말 강력한 주장입니다. 그는 물론 **불가피한 불확실성**(irreducible uncertainty)에 대한 단서를 추가합니다. 예를 들어, 세계 전쟁, 대규모 공급망 붕괴, 중국의 대만 침공 같은 것들이 확률을 낮출 수 있습니다. >> 블랙 스완(Black swans). >> 정확히 그렇습니다. 하지만 기술적 실현 가능성에 관해서, 우리가 그것을 구축할 수 있는지에 대한 질문에 대해서는 그는 길이 명확하다고 봅니다. 그는 거의 확정된 거래라고 생각합니다. 선로는 깔려 있고, 기차는 움직이고 있으며 속도를 높이고 있습니다. >> 그렇다면 천재들로 구성된 국가는 실제로 어떤 모습일까요? 천재라는 단어는 매우 무겁습니다. 우리는 변호사 시험을 통과하는 것을 이야기하고 있나요? 그들은 이미 그걸 꽤 잘 할 수 있습니다. 아니면 IQ 테스트에서 **160**을 얻는 것을 이야기하고 있나요? >> 이건 정말 좋은 질문이고 또 다른 신경 신호 점검을 할 시간입니다. >> 해봅시다. >> 우리는 이 기술적 능력 수준을 제대로 정의할 필요가 있습니다. 단순히 정적인 객관식 시험을 통과하는 것만이 아닙니다. Amodei는 검증된 작업(verified tasks)과 검증되지 않은 작업(unverified tasks) 사이의 중요한 구분을 만듭니다. >> 검증된 작업은 코딩 같은 것들입니다. 맞죠? 그것은 작동하거나 작동하지 않습니다. 컴파일러가 판사이자 배심원입니다. >> 맞습니다. 이것은 폐쇄 루프(closed loop)입니다. 환경은 명확한 피드백을 제공합니다. 그리고 그 검증된 작업에 대해서 Amodei는 우리가 기본적으로 거의 도달했거나 **12개월**에서 **18개월** 이내에 도달할 것이라고 생각합니다. 모델은 해결책을 생성합니다. 환경이 그것을 검증합니다. 끝났습니다. >> 하지만 천재들의 나라에서 요구하는 기준은 검증되지 않은 작업에서의 성공입니다. >> 그 엉망인 것들, 소설을 쓰거나 화성으로의 임무를 계획하거나 새로운 약물을 발명하는 것과 같은 엉망인 것들입니다. 단순히 유닛 테스트를 실행해서 올바른지 확인할 수 없는 것들입니다. 판단과 취향이 필요한 것들입니다. >> 정확히 그렇습니다. 그가 사용하는 특정 테스트 케이스는 제가 좋아하는 비디오 편집기 테스트입니다. >> 이 예시가 너무 완벽하다고 생각한 이유는 정말 공감할 수 있기 때문입니다. 그는 이렇게 말합니다. "지금 우리가 녹화하고 있는 이 인터뷰에서 작업 중인 비디오 편집기를 상상해 보세요." >> 맞죠? >> 그들은 단순히 스크립트를 기반으로 클립을 자르는 것이 아닙니다. 그들은 끊임없이 수백 개의 작은 판단을 내리고 있습니다. 아, Daario가 거기서 머리를 긁었네요. 그건 어색해 보입니다. 잘라버립시다. 아니면 이 포인트는 정말 흥미롭습니다. 조금 확대해 봅시다. >> 취향이 필요합니다. 바로 그 단어입니다. 호스트의 선호도, 청중의 반응 가능성, 템포, 전체 내러티브 흐름을 이해해야 합니다. 훌륭한 비디오 편집자는 당신이 요청하기도 전에 당신이 원하는 것을 알고 있습니다. >> 그리고 이것은 평생 학습의 그 잃어버린 연결고리로 다시 돌아옵니다. 모델이 매 세션마다 리셋된다면, 어떻게 6개월 동안 제 특정한 취향을 배울 수 있을까요? 어떻게 제 전담 비디오 편집자가 될 수 있을까요? 매일 아침 제 스타일 가이드를 처음부터 설명해야 한다면, 그것은 천재가 아니라 인턴입니다. >> 그리고 꽤 짜증나는 인턴이죠. >> 정확히 그렇습니다. 그래서 Amod는 이 병목 현상에 대한 두 가지 기술적 해결책을 제안합니다. 첫 번째는 꽤 강력한 컨텍스트 확장입니다. >> 그냥 창을 더 크게 만들면 됩니다. >> 훨씬 더 크게요. 수백만 개의 토큰. 당신의 관계의 전체 역사, 당신이 승인한 모든 편집, 모든 Slack 메시지, 모든 스타일 가이드를 매번 프롬프트에 집어넣는 것입니다. >> 그러니까 배우는 것이 아니라 정말 빠르게 읽는 것뿐입니다. >> 정확합니다. 그리고 그는 이것이 근본적인 연구 문제가 아니라 엔지니어링 문제라고 주장합니다. KV 캐시 저장소에 관한 것입니다. >> KV 캐시, 키-값 캐시. 우리는 최적화 논문에서 이 용어를 자주 듣습니다. 비전문가 청중을 위해 설명해 주실 수 있나요? 그게 무엇인가요? >> 물론입니다. LLM이 텍스트를 처리할 때, 각 토큰에 대해 중간 수학적 표현인 키와 값을 계산하고 이를 저장합니다. 이렇게 하면 다음 단어를 생성할 때마다 다시 계산할 필요가 없습니다. 에세이를 작성할 때 모든 노트를 책상 위에 펼쳐 놓는 것과 같습니다. >> 그러니까 메모리 절약 트릭이군요. >> 맞습니다. 하지만 그 저장소 자체가 매우 비싼 GPU 메모리를 대량으로 차지합니다. 그래서 컨텍스트 윈도우를 수백만 개의 단어로 크게 만들면 그 캐시는 엄청나게 커집니다. 이는 배관 문제입니다. 수천 개의 GPU에 걸쳐 그 방대한 양의 메모리를 효율적으로 관리하는 방법은 무엇인가요? >> 하지만 배관 문제는 해결할 수 있습니다. 비싸긴 하지만 해결할 수 있습니다. >> 네, 충분한 엔지니어링 노력과 자금이 있다면 해결할 수 있습니다. 그가 제안하는 두 번째 해결책은 지속적인 학습입니다. 실제로 새로운 상호작용에 따라 모델의 가중치를 즉시 업데이트하는 것입니다. 이것이 바로 성배, 진정한 학습입니다. >> 맞죠? Emma Day는 이것이 1~2년 안에 실제로 해결될 수 있다고 생각합니다. 하지만, 여기서 정말 흥미로운 점은, 그는 그것이 천재 수준에 도달하는 데 필요하지 않을 수도 있다고 생각합니다. >> 정말로, 진정한 학습이 필요하지 않군요. >> 그는 방대한 컨텍스트 윈도우가 평생 학습을 시뮬레이션하는 데 충분할 수 있다고 제안합니다. 만약 컨텍스트에 백만 개의 단어를 담을 수 있다면, 이는 인간의 독서 시간으로 며칠 또는 몇 주에 해당하는 양입니다. 그 정도면 모델이 그 기초적인 뇌를 영구적으로 변화시키지 않고도 일을 할 수 있을 것입니다. >> 그러니까 천재의 나라는 완벽한 사진 단기 기억을 가진 기억상실증 천재들의 나라일 수 있습니다. >> 정말, 정말 정확한 표현입니다. 그들은 매일 아침 완전히 빈 마음으로 일어나지만, 10초 만에 당신의 전체 기업 역사를 읽고 마치 수년간 충성스러운 직원인 것처럼 행동할 수 있습니다. 그리고 Amod는 그 능력이 **조 trillions**의 경제적 가치를 창출하기에 충분하다고 생각합니다. >> 그는 그렇게 생각합니다. >> 이로 인해 우리는 코딩에 대해 이야기하게 됩니다. 만약 천재들이 있는 나라라면, 그들이 소프트웨어를 작성할 수 있을 것이라고 확실히 생각할 수 있습니다. 그리고 그들이 소프트웨어를 작성할 수 있다면, 그들은 다음 세대의 자신들을 만들어야 하지 않을까요? 제 말은, 그게 바로 고전적인 특이점 루프입니다. >> 코딩은 절대적으로 첫 번째 도미노입니다. Emma Day는 이 점을 매우 분명히 하고 있습니다. 하지만 여기서 정의를 조심해야 합니다. 사람들은 AI 코딩을 듣고 즉시 내일 모든 소프트웨어 엔지니어를 대체할 것이라고 생각합니다. >> 맞죠? 그리고 그는 소프트웨어 엔지니어링(SWE)의 스펙트럼을 제시합니다. 그는 이게 이분법적이지 않다고 말합니다. 인간 대 AI가 아니라, 진행 과정입니다. >> 정확합니다. 이것은 이러한 뚜렷한 단계들을 통해 진행됩니다. 1단계는 **90%**의 코드 라인이 AI에 의해 작성됩니다. >> 우리는 거의 그 수준에 도달했죠, 그렇죠? 제 말은, 저는 C-pilot을 사용하고, Claude를 사용합니다. 그들은 많은 경우 저를 위해 대부분의 보일러플레이트 코드를 작성했습니다. >> 네, 맞습니다. 하지만 사실 그건 꽤 약한 지표입니다. 코드 라인을 작성했다고 해서 그 코드가 작동하거나 잘 설계되었다는 의미는 아닙니다. 그래서 2단계는 **100%**의 코드 라인이 AI에 의해 작성됩니다. >> 그 시점에서는 당신은 단지 리뷰어일 뿐입니다. >> 그렇죠? 그 다음에는 더 흥미로워집니다. 3단계는 **90%**의 작업이 AI에 의해 수행됩니다. >> 작업. 알겠습니다. 그게 핵심 구분입니다. 코딩은 타이핑입니다. 소프트웨어 엔지니어링은 주로 고통입니다. 컴파일링, 환경 설정, 라이브러리 버전이 잘못되었다는 것을 깨닫고, 당신이 한 일을 설명하는 메모를 작성하고, 병합 충돌을 수정하는 모든 그 영광스러운 잡일은 실제로 코드를 타이핑하는 것이 아니지만, 코딩이 이루어지기 위해서는 절대적으로 필요합니다. 그리고 마지막으로 4단계는 **100%**의 작업이 AI에 의해 수행됩니다. 그 시점에서, 당신은 단순히 비즈니스 목표를 제시합니다. >> 그리고 Emma는 Anthropic의 자신의 엔지니어들이 이미 이 스펙트럼을 빠르게 이동하고 있다고 말합니다. 그들은 Clawude를 사용하여 GPU 커널을 작성하고 있는데, 이는 정말 어려운 저수준 최적화 작업으로, 예전에는 수작업으로 작성해야 했습니다. >> 이는 이러한 연구소 내에서 **막대한** 생산성 향상을 의미합니다. 하지만 이는 역설을 제기합니다, 그렇지 않나요? 기술이 이미 이렇게 좋다면, 왜 지금 경제가 호황이 아니죠? 왜 올해 전 세계 GDP가 **10%** 상승하지 않았나요? 코딩이 **50%** 더 빠르다면, 소프트웨어 생산은 급증해야 합니다. >> 이것이 바로 확산 지연입니다. >> 네. 기술적으로 가능한 것과 경제적으로 통합된 것 사이의 간극입니다. Amodei는 여기서 매우 실용적이고 명확한 시각을 가지고 있습니다. 그는 Claude 코드의 예를 제시합니다. >> 그게 그들의 명령줄 인터페이스 도구죠? CLI. >> 네. 개별 개발자는 그것을 다운로드하고 실제로 **5분** 안에 사용을 시작할 수 있습니다. 붐. 그들의 생산성이 향상됩니다. 하지만 대기업, 은행, 제약회사, 정부 기관은, >> 아, 잊어버리세요. 법적 검토가 필요합니다. 보안 준수 검사가 필요합니다. CTO의 승인이 필요합니다. **6개월**의 변화 관리 프로세스가 필요합니다. 전체 직원을 재교육해야 합니다. AI가 실수로 주요 생산 데이터베이스를 삭제하는 명령을 환각하지 않도록 반드시 확인해야 합니다. >> 정확히 그렇습니다. AI가 오늘날 완벽하게 작업을 수행할 수 있다 하더라도, 대기업이 그것을 어떻게 작업하게 할지를 알아내는 데 **2년**이 걸릴 수 있습니다. 그는 이를 기업 면역 체계라고 부릅니다. 새로운 것을 공격하여 유기체를 안정적으로 유지하려고 하며, 새로운 것이 더 나은 경우에도 그렇습니다. 그래서 예측은 AGI, 즉 천재들의 나라가 **2026년**에 도착한다는 것입니다. 하지만 경제적 특이점, 즉 GDP가 수직으로 상승하는 지점은 그보다 **2년에서 5년** 뒤에 올 수 있습니다. >> 인간의 마찰 때문에요. 더 이상 기술적 병목 현상이 아닙니다. 사회적이고 조직적인 문제입니다. 그는 이를 약물 발견에 비유합니다. AI가 내일 암 치료제를 발명한다고 해도, 즉 분자 구조를 실제로 출력한다고 해도, 여전히 그것을 합성해야 합니다. FDA 시험을 통과해야 하고, 제조하고 유통해야 합니다. >> 컴퓨팅 부분은 빠르지만, 물리적 세계의 부분은 느립니다. >> 그게 전체 이야기입니다. >> 하지만 그는 이 확산이 영원히 걸릴 것이라는 생각에 반박합니다. 그렇죠? 그는 느리지 않을 것이라고 말합니다. 그의 인용은 "빠르지만 무한히 빠르지는 않을 것" 같은 내용이었습니다. >> 그렇죠? 그는 즉각적으로 다이슨 구(Dyson spheres)가 하룻밤 사이에 나타날 것이라고 생각하지 않습니다. 그러나 그는 산업 혁명에서 전기가 공장을 완전히 장악하는 데 걸린 50년과 같을 것이라고도 생각하지 않습니다. 그 중간의 복잡한 상황이 될 것입니다. >> 왜냐하면 채택에 대한 압력이 무시할 수 없을 만큼 높을 것이기 때문입니다. >> 경쟁 압력은 엄청날 것입니다. 만약 당신의 경쟁자가 그것을 사용하고 당신이 사용하지 않는다면, 당신은 단순히 사라질 것입니다. 압력에 대해 이야기하자면, 돈에 대해 이야기해봅시다. 실험실 자체의 경제에 대해 이야기해봅시다. Anthropic의 수익 곡선을 보면, 정말 미친 수준입니다. 순수한 지수 함수입니다. 매년 **10배** 성장하고 있으며, **1억 달러**에서 **10억 달러**, 그리고 **100억 달러**로 예상되고 있습니다. 그건 정말 수직선입니다. >> 만약 제가 매년 **10배** 성장하는 회사를 가지고 있다면, 저는 샴페인을 터뜨리고 요트를 살 것입니다. 하지만 아마이(Amay)가 이 이야기를 할 때, 그는 스트레스를 받는 것처럼 들립니다. 그는 파산의 위험에 대해 이야기하고 있습니다. >> 이것은 자본 지출(CAPEX) 베팅이며, 무서운 고위험 포커 게임입니다. >> 자, 그들이 하고 있는 게임을 설명해봅시다. 베팅은 무엇이었나요? 모델은 규모가 커질수록 더 좋아진다는 것을 알고 있습니다. 당신은 Anthropic이고, **2027년**을 위해 가장 크고 가장 강력한 데이터 센터를 구축하고 싶습니다. 그 비용이 **1000억 달러** 또는 몇 년에 걸쳐 **1조 달러**가 될 수 있다고 가정해봅시다. >> 오늘 Nvidia에서 GPU를 주문해야 하고, 오늘 유틸리티 회사와 전력 계약을 체결해야 합니다. 진행자: 오늘날 물리적 데이터 센터를 구축해야 합니다. >> 그들은 지금 당장 모든 현금을 만들어냈습니다. >> 그러나 그 모든 비용을 지불할 수 있는 수익은 정해진 시간에 도착하는 천재들의 나라에 달려 있습니다. 당신은 아직 구축하지도 않은 모델이 그 **1조 달러**를 회수할 만큼 똑똑할 것이라고 베팅하고 있습니다. >> 아, 문제를 알겠습니다. 이것은 도박사의 파산입니다. >> 정확히 그렇습니다. 다음 단계의 능력이 도착하는 시점을 **1년** 잘못 예측하면, 예를 들어 **2027년**이 아닌 **2028년**에 도착한다고 하면, 당신은 끝장입니다. **1조 달러**의 부채가 생깁니다. 데이터 센터는 막대한 전기 요금을 발생시키고 있지만, 제품은 아직 필요한 막대한 수익을 창출할 만큼 똑똑하지 않습니다. 당신은 파산하게 됩니다. 그래서 그들은 이 거대한 기하급수적 파도를 타고 있으며, 너무 앞으로 기울어져서 너무 많은 돈을 쓰면 망하게 됩니다. 하지만 너무 뒤로 기울어져서 충분히 지출하지 않으면 OpenAI나 Google과 같은 경쟁자가 먼저 천재의 나라에 도달해 그들은 무의미해집니다. 이것은 믿을 수 없을 만큼 미세한 선을 걷는 것이며, 그가 말하기를 이 역학은 연구소가 추상적인 안전 이유뿐만 아니라 자신의 기업 생존을 위해 책임을 지도록 강요한다고 합니다. 그리고 그는 이것이 그들이 특정 연도에 수익성이 있거나 없었던 이유를 설명한다고 말합니다. 나는 그것이 매력적이라고 생각했습니다. >> 네. 그는 **옥수수 평형**이라는 개념을 언급했습니다. 그건 나에게 경제학 101의 회상처럼 들렸습니다. >> 나도요. >> 네. >> 이 특정 맥락에서 그것은 무엇인가요? >> 그것은 AI 연구소와 같이 소수의 기업만 있는 산업을 위한 경제 모델입니다. 그는 그들의 내부 경제를 이렇게 설명합니다. 당신은 사용 가능한 컴퓨팅의 약 **50%**를 훈련에 사용합니다. 그것은 다음 모델을 구축하는 R&D입니다. 그리고 나머지 **50%**는 추론에 사용합니다. 그것은 고객에게 서비스를 제공하고 실제로 수익을 창출하는 것입니다. >> 알겠습니다. 그건 꽤 균형 잡힌 분배처럼 보입니다. >> 그렇습니다. 하지만 여기에는 완전히 반직관적인 반전이 있습니다. 이상하게도, 수익은 연구소가 고객 수요를 과소평가할 때 주로 발생합니다. >> 잠깐, 정말로요? 그것은 뒤바뀐 것처럼 보입니다. 보통은 많은 제품을 판매할 때 수익이 발생하잖아요. >> 생각해 보세요. 수요를 과소평가했다는 것은 R&D 노력과 모든 신규 고객을 서비스하기 위해 충분한 칩을 구매하지 않았다는 의미입니다. 그래서 유료 고객을 서비스하기 위해 R&D 예산에서 컴퓨팅 자원을 빼와야 합니다. >> 그러면 다음 모델에 대한 연구가 느려지겠군요. >> R&D는 느려지지만, 비용에 비해 수익은 환상적으로 보입니다. 그래서 수익을 올리게 됩니다. 반대로, 수요를 과대평가하면 >> 너무 많은 칩을 구매하게 됩니다. 그러면 유휴 컴퓨팅 자원이 그냥 남아 있게 되죠. 그럼 어떻게 하겠습니까? 모든 것을 R&D에 쏟아붓습니다. 다음 모델에 대한 놀라운 진전을 이루지만, 재무제표는 끔찍하게 보입니다. 왜냐하면 비용이 너무 높고 예상보다 낮은 수익이 있기 때문입니다. 그래서 현재 AI 연구소에서의 수익성은 사실상 잘못된 계획 또는 최소한 지나치게 보수적인 계획의 징후입니다. 이 특정한 **하이퍼 성장** 단계에서는 그렇습니다. 그렇습니다, 이는 다음 지수적 단계를 구축하는 데 충분히 공격적으로 재투자하지 않고 있다는 것을 암시합니다. 만약 큰 수익을 내고 있다면, 그 논리는 더 많은 GPU를 구매했어야 한다는 것입니다. >> P&L 보고서를 이렇게 보는 것은 정말 기발하네요. 아, 이번 분기에 수익을 올렸군요. 우리는 실패하고 있습니다. >> 이것이 특이점의 논리입니다. 성장률이 연간 **10배**일 때는 일반 비즈니스 규칙이 적용되지 않습니다. 당신은 미친 속도로 성장하고 있거나 죽어가고 있습니다. 중간은 없습니다. 좋습니다, 이제 방향을 바꿔봅시다. 큰 전환입니다. 기술, 일정, 돈에 대해 이야기했습니다. 이제 안전성에 대해 이야기해야 합니다. 왜냐하면 우리가 실제로 천재들의 나라를 만들고 있다면, 그들이 정부를 전복하거나 테러리스트가 무기를 만드는 데 도움을 주지 않도록 해야 할 것입니다. >> 이것은 헌법적 AI로 이어집니다. 이것은 Anthropic의 주요 안전 및 정렬 접근 방식입니다. 그리고 이제 신경 신호 점검을 할 시간입니다. 여기서 핵심 기술 변화는 무엇인가요? 많은 사람들에게 AI 안전은 단순히 검열처럼 들리거든요. 죄송하지만, 대형 언어 모델로서 바나나에 대한 농담을 할 수는 없습니다. >> 맞죠? 그리고 근본적인 변화는 규칙에 대한 사고에서 원칙에 대한 사고로 전환되는 것입니다. >> 그걸 좀 더 자세히 설명해 주세요. 차이가 무엇인가요? 알겠습니다. 구식 정렬 방법은 대부분 RLHF(인간 피드백을 통한 강화 학습)에 기반하여 특정한 해야 할 일과 하지 말아야 할 일의 방대한 목록에 의존했습니다. 인종차별을 하지 마세요. 한국어로 말하지 마세요. 자동차를 뜯는 방법을 알려주지 마세요. >> 나쁜 것들의 체크리스트를 생각하지 마세요. >> 정확히 그렇습니다. 하지만 체크리스트는 취약합니다. 쉽게 무너질 수 있습니다. 우주에 존재하는 모든 나쁜 것을 나열할 수는 없습니다. "포드를 뜯는 방법을 알려주지 마세요"라는 규칙이 있다면, 모델은 기술적으로 목록에 없기 때문에 쉐비를 뜯는 방법을 정확히 알려줄 수 있습니다. >> 아니면 '핫와이어'라는 단어를 피하면서 점화 시스템을 단락시키는 방법을 알려줄 수도 있습니다. >> 정확히 그렇습니다. 이는 끊임없는 **whack-a-mole** 게임입니다. 헌법적 AI는 근본적으로 다릅니다. 규칙 대신 모델이 따를 수 있는 넓은 원칙을 제공합니다. 도움이 되세요. 해롭지 않게 하세요. 사용자의 자율성을 존중하세요. 가능한 한 객관적이 되세요. 약간 모호하게 들리네요. 네, >> 점심실 벽에 붙어 있는 기업 가치 포스터 중 하나처럼 들리네요. >> 인간에게는 아마 모호하게 들릴 수 있지만, 기술적으로 Amodai는 이러한 넓은 원칙으로 훈련된 모델이 훨씬 더 잘 일반화된다고 말합니다. 이들은 무한한 수의 엣지 케이스에서도 더 강력합니다. 만약 안내 원칙이 폭력에 도움을 주지 않는 것이라면, 모델은 자동차를 뜯는 것이 폭력이나 절도와 관련이 있을 수 있다는 것을 특정한 규칙 없이도 추론할 수 있습니다. >> 이는 일반 원칙에서 특정 규칙을 파생합니다. 정확히 그렇습니다. >> 그렇다면 이 헌법을 어떻게 업데이트하나요? Daario가 어딘가의 방에 앉아 돌판에 계명을 쓰고 있는 건가요? >> 그는 이를 세 가지 피드백 루프로 설명합니다. 첫 번째는 내부 루프입니다. Anthropic의 팀이 그들이 보는 훈련 데이터를 기반으로 모델을 조정합니다. 만약 그들이 모델이 논쟁에서 너무 공격적으로 변하고 있다고 느끼면, 공손함 원칙을 조정할 수 있습니다. >> 이해가 됩니다. >> 두 번째는 경쟁 루프입니다. 이 부분은 정말 흥미롭습니다. 그는 이를 '개성의 시장'이라고 부릅니다. >> 개성의 시장. 마음에 드네요. >> 맞습니다. Open AI는 헌법이 있습니다. Anthropic도 하나 있습니다. Google도 하나 있습니다. 아마 Open AI의 모델은 좀 더 '빠르게 움직이고, 부수는' 경향이 있을 것이고, Anthropic의 모델은 좀 더 신중하고 사려 깊을 것입니다. 결국 시장이 어떤 개성이 어떤 작업에 더 유용한지를 결정합니다. 따라서 만약 당신이 단순히 당신이 말하는 대로만 하는 예스맨이 필요하다면, 모델 A를 구매합니다. 만약 더 책임감 있고 사려 깊은 조언자가 필요하다면, 모델 B를 구매합니다. >> 그게 아이디어입니다. 세 번째 루프는 사회적 루프입니다. 민주적 과정, 정부, 대중으로부터 입력을 받는 것입니다. 하지만 그는 이 부분이 매우, 매우 느리다고 인정합니다. 민주주의는 정확히 두 개의 민첩한 스프린트 주기로 운영되지 않습니다. 민주적 과정에 대해 이야기하자면, 대화는 지정학으로 급격히 전환되었습니다. >> 그리고 Amod는 그들의 전략을 형성하는 매우 구체적인 세계관을 가지고 있습니다. 그가 부르는 '공격 우위 세계'입니다. 이것은 그들의 사고를 이해하는 데 중요한 개념입니다. 군사 전략에서 방어 우위 세계는 자신의 영토를 방어하는 것이 공격하는 것보다 더 쉽다는 것을 의미합니다. 중세 성을 생각해 보세요. 작은 성을 점령하려면 거대한 군대가 필요합니다. >> 맞죠? >> 공격 우위 세계는 공격하는 것이 더 쉽다는 것을 의미합니다. 핵무기를 생각해 보세요. 그것에 대해 방어할 수는 없습니다. 보복하겠다고 위협함으로써만 억제할 수 있습니다. >> 그는 AI가 우리를 공격 우위 세계로 훨씬 더 나아가게 만든다고 주장하고 있습니다. >> 그것이 큰 두려움입니다. 특히 사이버 전쟁이나 생물 무기와 같은 분야에서 AI는 전력망에서 제로데이 취약점을 찾거나 완전히 새로운 위험한 병원체를 설계하는 것을 매우 쉽게 만들 수 있습니다. 그에 대한 방어, 즉 모든 구멍을 패치하고 전 세계의 모든 생물학 연구소를 모니터링하는 것은 공격을 처음 시작하는 것보다 훨씬 더 어렵습니다. >> 이것이 바로 칩에 대한 수출 통제의 전략적 정당화입니다. >> 맞습니다. 이것이 미국 정부가 중국에 고급 칩을 공급하지 않는 이유입니다. 자원 차단 전략입니다. 만약 당신이 세상이 공격 우위라고 믿는다면, 당신은 적들에 대해 반드시 컴퓨팅 우위를 유지해야 한다고 믿게 됩니다. 당신의 방어 AI는 그들의 공격 AI보다 더 똑똑해야 하며, 그래야 공격이 발생하기 전에 이를 포착할 수 있습니다. >> 당신의 AI는 코드를 스캔하고 그들의 AI가 취약점을 찾기 전에 버그를 찾아야 합니다. >> 이것이 게임 이론입니다. 맞습니다. 하지만 저는 스스로에게 질문을 던졌고, 진행자 Goresh도 이 질문을 했습니다. 정말로 악당이 되기 위해 가장 최첨단 AI가 필요합니까? >> 이것이 북한의 반론입니다. 정말 좋은 질문입니다. Amodei의 두려움은 단순히 중국과 같은 동등한 경쟁자가 약간 더 나은 모델을 갖는 것에 관한 것이 아닙니다. 당신은 인구를 효과적으로 억압하기 위해 최첨단 AI가 필요하지 않습니다. 충분히 좋은 AI면 됩니다. >> 평범한 AI도 감시 국가를 잘 운영할 수 있습니다. >> 모든 이메일을 읽을 수 있고, 모든 전화 통화를 들을 수 있으며, 모든 비디오 피드를 분석할 수 있습니다. 그리고 반대 의견을 잔인하게 효율적으로 표시할 수 있습니다. 이를 위해 시를 쓸 수 있는 능력이 필요하지 않습니다. >> 이는 정말로 오싹한 생각입니다. 그래서 우리는 이 글로벌 경쟁을 하고 있습니다. 민주주의 국가들이 AI 이후의 세계 질서를 위한 규칙을 설정할 만큼 충분히 빠르게 천재들을 양성할 수 있을까요? >> 이것이 현재 이루어지고 있는 지정학적 내기입니다. Emod는 민주주의 연구소가 먼저 도달한다면 이 기술의 글로벌 거버넌스를 구조화하여 자유주의 가치를 보호할 수 있다고 믿는 것 같습니다. 만약 권위주의 국가들이 먼저 도달한다면, 글로벌 균형은 매우 다르게 보일 것입니다. >> 무거운 이야기입니다. 하지만 잠시 시야를 넓혀 보겠습니다. 우리는 여기서 많은 내용을 다뤘습니다. **스케일링 타임라인**, **경제학**, **지정학** 등. 그가 그리는 그림은 매우 포괄적입니다. >> 정말 그렇습니다. 그는 많은 **2차** 및 **3차** 효과에 대해 깊이 고민했습니다. >> 그러면 전체 내용을 요약하자면, **지수적 성장**은 끝나고 있지만, 이는 수직으로 상승할 준비가 되어 있기 때문입니다. **컴퓨팅**의 큰 덩어리가 모든 것을 흡수하고 있으며, **강화 학습**도 포함됩니다. **코딩**이 첫 번째 주요 도미노가 무너지는 것입니다. 그리고 **2026년** 또는 **2027년**이 천재들의 나라처럼 보일 수 있는 **능력 폭발**의 목표 날짜입니다. 요약하자면 이렇습니다. >> 이제 가기 전에, 제가 정말 좋아했던 인터뷰의 마지막 세부사항을 언급해야 합니다. **Daario 비전 퀘스트**, >> **DVQ**입니다. 이 부분을 읽었을 때 웃었습니다. 정말 멋집니다. >> 네. apparently, Dario Amodei는 그의 **2500명**의 직원들과 이러한 것을 통해 소통합니다. 그가 **Daario 비전 퀘스트**라고 부르는 것입니다. 이들은 긴 **4페이지** 메모와 필터링되지 않은 **Q&A** 세션입니다. 듣기에는 좀 웃기게 들리지만, 생각해보면 이는 내부 정렬 전략의 중요한 부분입니다. **고대역폭 신뢰**를 만드는 것이죠, 맞죠? >> 이렇게 빠르게 움직이는 세상에서는 일반적인 기업 언어와 **파워포인트**에 의존할 수 없습니다. 모든 사람이 같은 방향으로 노를 저어야 하며, 같은 뉘앙스를 이해해야 합니다. 만약 CEO가 우리가 **AGI**까지 **2년** 남았다고 생각하고, 주니어 엔지니어들이 **10년** 남았다고 생각한다면, 회사는 스스로 찢어질 것입니다. >> 사실, 이는 정말 훌륭한 리더십 통찰입니다. 자, Neural Intel 청취자 여러분, 이제 여러분의 마지막 도전 과제로 넘어갑니다. >> 오늘 우리는 기술과 채택 사이의 **지연**에 대해 많이 이야기했습니다. 그래서 여러분이 고민해볼 질문이 있습니다. 만약 천재들의 나라가 정말로 **2년**밖에 남지 않았다면, 새로운 기술의 기업 확산이 **5년** 걸린다고 가정할 때, 여러분은 오늘 존재하는 **AI**를 위한 인프라를 구축하고 있습니까, 아니면 여러분의 프로젝트가 마침내 출시될 때 존재할 **AI**를 위한 인프라를 구축하고 있습니까? 만약에 여러분이 **GBT4**의 능력에 기반한 시스템을 **2년** 동안 구축한다면, 여러분이 시스템을 배포하기도 전에 완전히 구식이 될 수도 있습니다. 정확하게 말하자면, 여러분은 현재 공이 있는 곳에서 스케이트를 타고 있는 것이 아니라, 공이 갈 곳에서 스케이트를 타고 있어야 합니다. 우리는 정말로 여러분의 의견을 듣고 싶습니다. 지수적 성장은本当に 끝나고 있습니까, 아니면 이제 시작하는 것입니까? 여러분은 큰 블롭 가설을 믿고 있습니까? 댓글로 알려주세요. 또한 **neuralinttel.org**에서 전체 기술 분석을 확인하지 않으면 안 됩니다. 듣고 계신 모든 분께 감사합니다. 다음에는 더 깊은 곳에서 뵙겠습니다. 안녕히 계세요. 진행자는 이번 회의를 마무리하며, 다음 회의에서 또 다시 만날 것을 약속합니다.