全球顶尖 AI 算力分析师 Dylan Patel：算力上天、电力透支、英伟达变阵，我们仍然低估了AI 的进化速度！

오늘 우리는 세계 최고의 **Amazon**을 포함한 **Zeta**를 어떻게 전 세계에서 접근할 수 있는지에 대해 집중하고 있습니다. 최근 리뷰에 따르면, 사적 운영에 대한 구매가 개방되었습니다. 기대가 됩니다. **$3**의 높은 수요를 가진 **Fortune-22**를 얻으려면, 첫 번째 우선순위는 **Nokia**가 아닙니다. 이는 **Koval Marknas**가 오류를 목표로 삼지 않고 돈을 버는 것입니다. **Soda Bunvantad**가 잠금을 해제할 수 있는 동안 시작해야 합니다. **Crimean Plant**로 가면, 제가 기대했던 것은 **Los B**와 **OLED**를 만드는 도구와 인플레이션, 그리고 위험성이 높지 않은 것입니다. **Tesla**의 실리콘 칩, **AI** 칩과 비슷합니다. 당신은 칩을 개발하는 과정에 대해 어떤 통찰력을 가지고 있습니까? 비용을 계산하고, 열을 산란시키는 방법을 찾아냈을 때, 칩은 어떤 모습일까요? 많은 사람들이 우주에 물건을 넣는 것이 비싸다고 생각합니다. 하지만 **Starship**의 발사 비용을 보면, 계속 떨어지고 있으므로 괜찮을 것입니다. 제가 생각하기에는, **10년**이 끝나면 우주 발사 비용은 괜찮을 것입니다. 열 산란은 도전이지만, 거대한 방열기를 설치하면 괜찮을 것입니다. 제가 생각하기에는, 큰 도전은 칩이 매우 신뢰할 수 없다는 것입니다. 우주에서 칩을 어떻게 처리합니까? 인공위성은 일정 크기 이상이면 많은 지원과 구조가 필요해지므로, 분리될 수 있습니다. 발사된 인공위성은 작고, 수가 많습니다. 따라서 큰 칩 클러스터를 만들 수 없습니다. 그리고 우주에서 임의의 오류를 어떻게 처리합니까? 지구에서는 데이터 센터에서 기술자가 돌아다니며 문제를 해결하고 예비 부품을 설치합니다. 우주에서는 어떻게 합니까? 발표자: 공장으로 RMA를 보내면, 그곳에서 아마도 납땜을 해제하고 다시 납땜한 후 테스트를 진행하여 작동하게 만들고 다시 나갈 수 있습니다. 가끔은 그냥 폐기되기도 하죠. 하지만 저에게는 그게 도전입니다. **디런 패텔**은 우주 데이터 센터에 대한 놀라운 트렌드를 밝혔습니다. 그것은 더 이상 공상 과학 소설이 아니라, 대기업 고위층 간의 진지한 내기입니다. **스페이스X**의 스타십 프로젝트는 발사 비용 곡선을 완전히 변화시키고 있습니다. 만약 전 세계의 **1%**의 계산 능력이 정말로 우주로 올라간다면, 그것은 **1급 와트**의 규모를 의미합니다. 이는 다음 세대 슈퍼 모델의 추론 수요를 충분히 지원할 수 있습니다. 현재의 논리는 우주에는 무한한 무료 태양 에너지가 있다는 것입니다. 비록 전력 비용이 데이터 센터 비용의 **10%**를 차지하지만, 진정한 유혹은 지구 위의 환경과 규제의 한계를 넘는 것입니다. 그러나 신뢰성은 치명적인 문제입니다. **Blackware** 칩이 처음 배치될 때 **10%에서 15%**의 고장률을 보입니다. 지구에서는 언제든지 사람을 보내 점검할 수 있지만, 우주에서는 로봇이나 **테슬라**의 자율주행 칩처럼 극단적인 중복성과 안정성을 추구해야 합니다. 이것은 고성능 필드 생성에서 동적인 하락으로의 전환이 될 것입니다. 만약 다음 버전의 **Grok**이 훌륭한 칩이라면, 그것은 **H200**, **H100s**와 함께 랙에 앉아 있습니까? 그것은 NVIDIA가 실제로 배포하는 것과 어떻게 맞아떨어지나요? 단순히 별도의 칩인가요? 저는 이것이 NVIDIA의 큰 분위기 변화라고 생각합니다. 그들은 이전에 "좋아, 나는 이 큰 GPU를 가지고 있다. 모두가 이 GPU를 사용할 것이다. GPU의 소프트웨어 생태계는 매우 훌륭하다. 하나의 사이즈로 모두를 만족시킬 수 있다. 모두가 특정 포인트 솔루션을 만들려고 하지만, 우리는 모든 것에 잘 맞는 것을 가지고 있다"고 말했죠. 그리고 그들은 분위기 변화를 겪었습니다. 그들은 **CPX**라는 것을 출시했는데, 이는 프리필, 프롬프트 처리, KV 캐시 생성 및 비디오 생성과 이미지 생성에 적합한 칩입니다. 그리고 그것은 올해 말에 출시될 예정입니다. **Grok** 보도 자료에서 그들은 비디오 생성에 대해서도 정말로 이야기하고 있었습니다. 그래서 여러분은 **CPX**, 표준 GPU, 그리고 이제 **Grok** 칩을 가지고 있으며, 이들은 모두 다른 틈새를 채웁니다. 하지만 정말로 외치는 것은 "오, 큰일이다. 우리는 AI가 어디로 가고 있는지 정확히 알지 못한다"는 것입니다. 이는 아무도 모른다고 생각합니다. 진행자: 소프트웨어와 모델 아키텍처가 너무 빠르게 변화하고 있어서, 우리는 **Pareto 최적 곡선**의 여러 지점에 맞춰 솔루션을 엔지니어링할 것입니다. 그리고 그 중 하나가 승리할 것이라고 생각합니다. 이는 NVIDIA가 과거에 **H100** 같은 전천후 제품으로 시장을 지배했던 것과는 큰 변화입니다. 하지만 Dylan은 NVIDIA가 점점 더 불안해지고 있다고 관찰했습니다. 모델이 점점 더 복잡해지면서, 예를 들어 비디오 생성의 부상으로 인해 단일 아키텍처로는 모든 계산 요구를 충족할 수 없게 되었습니다. **CPX** 칩의 출현은 그들이 이제는 단일 솔루션에 베팅하지 않고, 더 많은 옵션을 모색하고 있다는 것을 의미합니다. 더욱 흥미로운 점은 Dylan이 **황영훈**에 대해 한 평가입니다. 그는 무대 위의 화려한 리더이지만, 뒤에서는 공급망의 모든 단계를 정확하게 통제하는 최고의 전략가입니다. 그가 인터뷰에서 **1000억 달러**의 클러스터 계획을 부인했을 때, 그는 아마도 회의실에서 수억 달러의 공급망 계약을 위해 협상하고 있었을 것입니다. 그 특정 사용 사례에서 절대적인 최첨단, 가격에 민감하지 않은 고객들은 빠르게 응답해야 하는 프롬프트 유형을 필요로 합니다. 그러면 잠재적으로 속도를 높일 수 있습니다. 그들은 사용자에게 노출되는 제품 측면에서 이를 어떻게 구현할지 고민해야 합니다. 분명히 수요가 있는 부분이죠. 예를 들어, **Andre Karpathy**는 에이전트당 초당 **1000달러**를 지출하든 상관하지 않습니다. 이러한 슈퍼 엔지니어들은 전혀 신경 쓰지 않죠. 물론 대부분의 사람들에게는 비용이 중요하다는 긴 꼬리가 있습니다. 그래서 그 곡선 전체에 걸쳐 솔루션을 갖춰야 합니다. Dylan이 제안한 핵심 통찰은 AI 훈련이 훈련의 효율성에서 추론의 경험으로 이동하고 있다는 것입니다. **Cerebrus**와 같은 초대형 칩과 초저지연 아키텍처는 비록 비싸지만, 에이전트가 매우 매력적인 상황에서 작동할 수 있습니다. 예를 들어, AI 에이전트에게 전체 코드베이스를 재구성하도록 요청할 때, 여러분은 10시간을 기다릴 것인지, 아니면 조금 더 돈을 주고 1시간 내에 끝내도록 할 것인지 고민하게 됩니다. 최고의 인재와 고부가가치 비즈니스에게는 시간은 전기 요금보다 훨씬 더 가치가 있습니다. **OpenAI**가 **Cerebrus**를 도입한 것은 AI 제품의 차별화가 사고의 속도에서 비롯된다는 것을 인식했음을 보여줍니다. 데이터 센터 간에 **매개변수**와 **데이터**를 분할하는 것은 매우 어렵습니다. 구글이 이를 할 수 있었나요? 구글은 어느 정도 그렇게 할 수 있었죠. 그들이 한 것은, 가장 큰 개별 데이터 센터 캠퍼스는 없지만, 각 데이터 센터가 대략 **40마일** 정도 떨어져 있는 지역을 설정한 것입니다. 네브래스카와 아이오와, 그리고 오하이오에 이런 복합 단지를 가지고 있고, 이제는 오클라호마와 텍사스에서도 하나를 짓고 있습니다. 이렇게 서로 가까운 데이터 센터들이 모여 있는 복합 단지들이죠. 그러니까, 전 세계적으로 데이터 센터 간의 연결은 아니지만, 지역 간의 연결이죠. 이렇게 하면 많은 어려움들이 훨씬 더 수월해집니다. 반면에 우리는 RL로도 이동했죠. 대부분의 시간 동안 칩은 데이터를 생성하는 데 사용됩니다. 모델을 통해 순방향 패스를 수행하는 것만 하죠. 그리고 검증된 최종 토큰만을 다시 훈련에 사용하기 위해 보내게 됩니다. 그러면 사전 훈련 스케일링에서 모든 가중치를 **10초** 또는 **20초**마다 동기화해야 하는 대신, 롤아웃을 수행할 때, 특히 훈련이 점점 더 에이전틱해질수록, 전체 가중치를 보내지 않고 관련된 토큰만 보내면 되므로 훨씬 더 적은 양의 데이터와 훨씬 덜 자주 보내게 됩니다. **몇 분** 단위로 보내는 대신 **몇 초** 단위로 보내는 것이죠. 그래서 이제는 다중 데이터 센터 훈련이 완전히 합리적이 되었고, 실제로 사람들이 이렇게 하고 있습니다. 사람들은 다중 데이터 센터, 다중 칩 훈련을 수행하죠. 예를 들어, Anthropic은 이렇게 합니다. 구글이 이렇게 하는지는 모르겠지만, 구글은 이미 그런 카드를 가지고 있는 것 같습니다. 진행자: 알겠습니다. 많은 사람들이 구글이 AI 모델에서 왜 느린 것처럼 보이는지 궁금해하지만, 인프라에서는 여전히 안정적이라는 점에 주목하고 있습니다. **Dylan**은 구글의 강점이 그 뒤에 있는 분산 시스템의 축적에 있다고 지적합니다. 구글은 한 지붕 아래에 **10만 개의 GPU**를 두는 것을 추구하지 않고, 대신 초고속 광선을 통해 수십억 마일 떨어진 여러 데이터 센터를 논리적으로 연결합니다. AI 훈련이 합성 데이터와 인공지능 강화 학습 단계로 들어가면서 이러한 구조의 장점이 더욱 부각되고 있습니다. AI 훈련은 동기화 주파수에 대한 요구가 매우 낮기 때문에, 이는 구글과 같은 글로벌 기술 인프라를 가진 회사에 큰 전략적 공간을 제공합니다. 진행자: TSMC가 주요 병목 현상인가요? 에너지가 병목인가요? 그에 대해 어떻게 생각하시나요? **Dylan**: 네, 질문에 답하기 전에 잠깐 사이드바를 두고 이야기하겠습니다. 이건 재미있다고 생각해요. 미국에서는 에어컨을 끄라고 하는 것이 미친 짓이라고 할 수 있죠. 일반 대중은 이미 AI를 싫어합니다. 하지만 대만에서는 이전에 가뭄이 있었고, 전체 도시의 물을 끄기도 했습니다. 그들은 "일주일에 **3일** 물을 줍니다."라고 하죠. 그리고 팹(fab)에는 여전히 물이 공급됩니다. 이런 것들을 이해해야 합니다. 우리는 약한 미국인으로서 이런 상황에 준비가 되어 있지 않습니다. 진행자: 그건 정말 미친 일이네요. **Dylan**: 하지만 결국 물과 전력은 분명히 그렇게 큰 제약은 아닙니다. 이제 반도체 산업을 상상해 보세요. 예전에는 매년 또는 2년마다 트랜지스터의 양을 두 배로 늘리곤 했습니다. 그 중 일부는 **무어의 법칙(Moore's Law)** 때문이고, 일부는 더 많은 용량 때문입니다. 반면 미국의 에너지 산업은 그렇지 않았습니다. 처음에 사람들은 창의적이지 않았습니다. 그들은 이런 종류의 가스 발전소를 만들자고 했죠. 하지만 이제 우리는 세 가지 주요 터빈 제조업체가 있다는 것을 깨달았습니다. 그리고 이중 결합 사이클을 위해서는 IGT가 필요하고, 중속 왕복 엔진도 있습니다. 결국 **Cummins**는 연간 **100만 개의 디젤 엔진**을 만들 수 있으며, 이 엔진들이 전기를 생성할 수 있습니다. 제가 신경 쓰지 않고 텍사스 서부에 설치한다면, 쉽습니다. 그래서 이제는 규제 문제, 공급망 문제로 더 많이 바뀌었습니다. 전력은 그 정도로 제약이 되지 않습니다. 오늘날에도 여전히 제약이 있다고 생각합니다. **2024년**과 **2025년**에는 데이터 센터 용량과 전력이 가장 큰 제약이었습니다. 산업이 준비가 되어 있지 않았기 때문입니다. 사람들은 깨어났고, 시스템에 충격을 받았습니다. 이제 **수십 기가와트**가 배치되고 있습니다. 내년에는 **30 기가와트**가 추가될 예정이며, 우리는 그에 맞는 전력이 있다고 생각합니다. 올해는 어땠나요? 올해는 대략 **18** 정도, **10** 정도였던 것 같습니다. **15에서 18** 정도, 죄송합니다. 거의 두 배가 되는 셈이죠. 네, 거의 두 배가 되는 거죠. 와우. TSMC와 그 팀을 보면, 정말로 이 무작위로, 예를 들어 **12명**이 중속 회전 엔진을 만들고 있는 상황이 아니라는 것을 알 수 있습니다. 이제 그 엔진을 무작위 데이터 센터에서 전력을 생성하는 데 사용할 수 있죠. 아니요, 아닙니다. Arrakis가 있습니다, 맞죠? 하나의 스파이스 세트가 있는 거죠, 그게 전부입니다. 그리고 반대편을 보면, **12개의 공급업체**가 있을 때, 모두 조금씩 여유 용량을 가지고 있으니, 가능성이 더 높아집니다. 사람들은 "오, 터빈을 얻을 수 있어"라고 말할 수 있습니다. 중개인에게 전화하면 터빈을 얻을 수 있고, **50% 더 비싸거나 2배 더 비쌀 수 있지만**, 터빈을 얻을 수 있습니다. 그렇죠? 하지만 **3나노미터 팹**은 얻을 수 없습니다. 정확히 그렇습니다. 그래서 **2023**년의 반도체 부족에서 **2024, 2025, 2026**년의 전력과 데이터 센터로 배턴이 넘어갔다는 이야기를 할 때, 우리는 여전히 진자처럼 흔들고 있지만, **2027**년에는 다시 반도체로 돌아갈 것입니다. 그래서 우리는 생태계 전체에서 이 현상을 보고 있습니다. TSMC뿐만 아니라 메모리도 포함됩니다. 두 산업 모두 특정 속도로 구축되었습니다. 현재 TSMC는 어느 정도 속도로 확장하고 있지만, 메모리 제조업체들은 사실상 용량을 확장하지 않았습니다. 기본적으로 **2022**년 이후로 새로운 팹을 건설하지 않았습니다. 그들의 사이클이 너무 불규칙하기 때문입니다. 그래서 그들을 보면, "아, 그들이 용량을 두 배로 늘리고 싶어도 팹을 건설해야 한다"는 것입니다. 팹을 건설하는 것은 인간이 만드는 가장 복잡한 건물입니다. 클린룸의 전체 영역이 **1.5초**마다 순환합니다. 내부에 있을 때는 그걸 느끼지도 못합니다. 정말로요? 그런 식입니다. 그리고 입자의 농도는 **십억 분의 일** 수준입니다. Dylan은 평균에 대한 판단이 매우 정확합니다. 진행자: 2024년에는 모두 전력과 부지를 확보하기 위해 경쟁하고 있습니다. 그러나 장기적으로 진정으로 대체 불가능한 것은 TSMC의 정밀 제조 능력입니다. 전력은 디젤 발전기나 소형 핵 반응로, 또는 정책 조정을 통해 완화할 수 있습니다. 하지만 **3나노** 또는 **2나노**의 웨이퍼 공장은 급조할 수 없습니다. 여기서 그는 대만 지역에 대해 흥미로운 세부사항을 언급했습니다. 인터넷이 국민의 사용을 보장할 수 있도록 하는 것이죠. 이는 정부의 다른 상태입니다. 국제 국가들을 보기에는 어려운 상황입니다. **2027년**에는 기술 산업에 약간의 문제가 생길 때, 우리는 진정한 자동차가 여전히 세계에서 가장 깨끗하고 비싼 공장으로 돌아온다는 것을 알게 될 것입니다. 이제 Oracle에 대해 이야기하고 싶습니다. 그들은 오늘 아침에 Dona Ana 카운티, 뉴멕시코, Shackleford 카운티, 텍사스, 그리고 Port Washington, 위스콘신에 대한 파트너 자금 조달을 발표했습니다. 데이터 센터는 시장 표준 금리에 확보되었으며, 최종 신디케이션을 일정에 맞춰 진행하고 있습니다. 그리고 투자 등급 거래와 일치합니다. 어제 그들이 발표한 NVIDIA OpenAI 거래가 OpenAI와의 재정 관계에 전혀 영향을 미치지 않는다고 말한 이후, 그들은 빠르게 후속 조치를 취했습니다. 명백히, 모두가 이 발표를 보며 "담배 하나 줘"라고 생각했습니다. 마치 은행 도산 언어 같았습니다. FTX 이후로 이런 게시물을 본 적이 없습니다. 단순히 나쁜 커뮤니케이션인가요, 아니면 뭔가 걱정되는 게 있나요? 정말 끔찍한 커뮤니케이션입니다. 정말 끔찍합니다. 저는 제 Oracle 연락처에게 "트위터를 누가 관리하고 있는 거냐? 뭐하고 있는 거냐?"라고 말했습니다. NVIDIA는 작년에 TPU 열풍이 일어났을 때 비슷한 일을 했습니다. "우리는 TPU와 함께하는 구글의 진전에 매우 기쁩니다."라고 말했죠. 하지만 NVIDIA 칩은 유일한... 아무 든 기반 시설의 투자는 중요합니다.