🎧 全球顶尖 AI 算力分析师 Dylan Patel：算力上天、电力透支、英伟达变阵，我们仍然低估了AI 的进化速度！

👤 Dylan Patel · EN 3,515w · KR 1,730w

사용법 (30초)
1️⃣ 영문 or 한국어 복사 버튼 터치
2️⃣ 🔗 링크 복사 → Chrome에 붙여넣기 → 열기
3️⃣ + 새 노트북 → 소스 추가 → 붙여넣기
4️⃣ 🎧 Audio Overview → Generate
5️⃣ 차에서 재생 🚗

원문 미리보기 3,515w

Today we use to welcome focus in the world's best Amazon-ский Zeta 어떻게 we can access the whole world's most��. As recent review,incense & is open to buy-in private operations. A hope, I love it, I love it. To get tax on the 1 hour, $3, higher demand for the Fortune-22. The first madness is not a nokia. This is the Koval Marknas make money with any error targeting of it. Should be started while Soda Bunvantad can be unlocked. Go to Crimean Plant, the only thing I was expecting Los B אתens and OLED made tools with inflation and contingent didn't have high risk, more like a Tesla silicon chip, an AI chip? Do you have any insight into what the process, if you wind up figuring out how to heat dissipate, if you wind up figuring out the costs, what might the chip look like? So I think everyone freaks out, oh my god, putting stuff in space is expensive. But if you look at Starship launch costs and they keep falling, you're fine. I think that's not, by the end of the decade, the cost of space launch will be fine. The heat dissipation, I mean it's a challenge, where you just put a massive massive effectively radiator and it's it's fine right by the end of the decade like you'll be good I think I think the big challenge is that chips are just really unreliable right and so so how do you deal with like a couple things right satellites can only be so large before they like you need start needing a lot of support and structure before they tear themselves apart so when you look at like the the launches right these these things are shooting out sat like tiny satellites yeah and many of them okay so you can't have like a big fully connected cluster of chips and then And then like on top of that, right, how do you deal with any random error? On Earth, you have tech running around the data center, unplugging stuff, putting in spares, things like that. What do you do in space? You RMA it to the factory where they like might unsolder it and resolder it and then like test it and it works and go back out. Sometimes it is just trashed. But like, you know, that's the challenge to me. 迪伦·帕特尔揭示了一个令人震惊的趋势 就是太空数据中心它不再是科幻小说 而是大厂高层之间的严肃的赌约 斯维赛X的星舰项目正在彻底改变发射成本的曲线 如果一个percent的全球算力真的能够上天的话 那就意味着是一级瓦的规模 这足以支撑下一代超级模型的推理的需求目前的逻辑就是太空它有无穷无尽的免费的太阳能虽然电力只占据数据中心成本的10%但真正的诱惑在于突破地球上面的环境和监管的限制然而可靠性是一个致命的伤因为达到Blackware芯片在刚部署的时候它是有10到15%的故障率在地球上面你随时可以派人去进行检查但是在太空中间你只能靠机器人或者说是像特斯拉自动驾驶芯片那样追求极致的冗余和稳定性 this will be a shift from a高-성을-field generate to a dynamic downturn and OH&moto-ging edge to a very common curve If the next version of Grok is a great chip, is it sitting next to the H200, H100s in the rack, GB200? How does it fit into the actual, like what NVIDIA deploys? Is it just a separate chip? I think it's a big vibe shift from NVIDIA, right? Before they were like, all right, I got this big GPU, everyone's going to use this GPU, software ecosystem of the GPU is so good, it's one size fits all, everyone's trying to make all these specific point solutions, but we've got the thing that's good at everything. And then they had a vibe shift, right? They launched this thing called CPX, which is a chip made for pre-fill, prompt processing, creating a KV cache, and also good at video generation and image generation. And that's coming out later this year. In the Grok press release, they were really talking about video generation as well. So yeah, you've got CPX, you've got the standard GPU, and now you've got the Grok chips, and they all fill a different niche. But really it screams, oh crap, we don't really know exactly where AI is going, which I don't think anyone does, right? I mean it's moving so fast the software is the model architecture is etc so we're just gonna like engineer solutions that are along multiple points of the Pareto optimal curve and then you know one of them will win right and I think it's like sort of like a big vibe shift from NVIDIA过去呢英伟达靠H100这样全能的产品去打天下但是迪伦观察到说英伟达也开始焦虑了随着模型变得越来越复杂比如说视频生成的崛起单一架构已经无法覆盖掉所有的这个算力的需求CPX芯片的出现就意味着说因为他正在走向碎片化和专用化他们不再赌一种方案而是撒网布局更有趣的是迪伦对黄英勋的评价他在舞台上面的闪光灯前是一个魅力的领袖但是在幕后他是一个能够精确掌控供应链每一个环节的顶级的掠夺者当他在采访中否认1000亿美金的集群计划的时候他可能刚刚在会议室里面为了几亿块钱的供应链合同 and client are 서under. The absolute cutting edge, the most price insensitive customers in that specific use case of this is the type of prompt that you need to return fast, then you'll get the speed up potentially. Right right And they got to figure out how to do it from a product exposing it to the user etc But it clearly something where there is demand right Like I don know Andre Karpathy doesn care if he spending a thousand bucks per agent per second or whatever right like you know so whatever it is this these like super cracked engineers don care at all and then obviously there like a long tail of like actually cost does matter for most people and so so all along that curve they got to have solutions right DeLun提出了一个核心的洞察就是AI训练正在从训练的效率转向推理的体验Cerebrus这样主打超大芯片超低延迟的架构虽然昂贵但是在Agent是在极具吸引力设想一下你让一个AI agent去帮助你重构整个代码库你是愿意等10个小时还是愿意多付点钱让它在一个小时内就搞定那么对于顶尖人才和高价值的业务来说时间远远比电费更加值钱OpenAI引入Cerebrus就说明他们意识到了 AI-产品的差异化将来自于思考的速度 parameters more data and that's very difficult to split across data centers and has Google been able to do that? Google's been able to do that to an extent right so what they've done is they've got you know they don't have the largest individual data center campus but what they do is they do these like regions where it's like hey each data centers roughly 40 miles apart from each other sure so in Nebraska and Iowa and then in Ohio they've got like these complexes and now they're building one in Oklahoma Texas you know these complexes where there's all these data centers pretty close to each other. So Well, it's not really cross data center, like across the world. Right. It's just cross like region. Yeah, and then that makes a lot of the difficulties a lot easier. Flip side is we've also moved to RL, right? Yeah. And majority of the time of the chips is spent generating data, right? Only doing forward passes through the model. Sure. And then you only send the final tokens that you verified sort of back to train on to the train, right? So then you end up with like, oh, instead of in pre-training scaling, you need to like synchronize all the weights every 10, 20 whatever seconds, when you're doing these rollouts, and especially as things get more and more agentic in training, you might only need to send not the entire weights, but just the tokens that are relevant, so way smaller amount of data, and way less frequently, right? Minutes at a time instead of seconds at a time. Yeah. And so you've got this, like, now it's become, like, reasonable where, oh, actually, multi-data center training is completely reasonable, and people do this. People do multi-data center, multi-chip training, right? You know, you do your inference on one set of chips, and you do your training on another set of chips. So like Anthropic does this. I don't know if Google does this, but Google's kind of already got the cards. Okay, got it.很多人好奇为什么谷歌在AI模型上面似乎慢了半盘,但是在基础设施上面却依然稳如泰山.迪伦指出谷歌的优势在于它身后的分布式系统积累.谷歌不追求在一个屋顶下面去放10万个GPU,而是通过超高速的光线把间隔几十亿英里的多个数据中心连成一个逻辑上面的整体.随着AI训练进入合成数据和智能体强化学习阶段这种架构的优势就进一步的放大了因为AI训练对同步频率的要求是极低的这个就给了谷歌这样拥有全球化技术设施的公司巨大的战略空间TSMC the main bottleneck or energy the bottleneckHow are you feeling about that?Yeah, so sidebar before I answer the questionBecause I think it's funYou know in the US it's insane to say turn off your AC for AIRight and the general public hates AI already But in Taiwan, they've had droughts before and they've turned off water to entire cities. They're like, oh, you get water three days of the week. Whoa. And then the fab still gets supplied water. It's like this is, you know, you've got to understand the mindset. We are not ready as weak Americans to do this. Yeah, that's crazy. No, but at the end of the day, right, like water and power are certainly less big of constraints. Now, you've got to imagine like, you know, semiconductor industries used to, hey, doubling the amount of transistors made every year or two. Part of that is Moore's law, part of that is more capacity. Whereas the energy industry in America wasn't. And so initially people were not creative. They were like, let's do these kinds of gas plants. It's like, well, no, now we've realized, yes, there's three main manufacturers of turbines and then you've got for a dual combine cycle, then you've got IGTs, but you've also got medium speed reciprocating engines. Turns out Cummins can make a million diesel engines a year and those can make electricity. If I don't give a fuck and I put it in West Texas, easy. So now it's more of like a regulation thing, a supply chain thing. Power is not a constraint in so far, like that much, right? I think it certainly is a constraint still today. It was the biggest constraint in 24, 25, data center capacity power, because the industry was not ready. People have woken up, they've sort of been shocked to the system. Now you've got tens of gigawatts being deployed. Next year, 30 gigawatts are being added and we think the power's there for it. What was it this year? This year is like, I think it's like 18ish, 10ish. 15 to 18ish, sorry. So almost a doubling. Yeah, almost a doubling, yeah. Yeah, wow. And when you look at TSMC and the crew, right, there is not really, oh, this random, you know, there's 12 people making medium speed reciprocating engines that you can now convert to make power at some random data center. No, no, no. There is Arrakis, right? Yep. There is one set of spice, like, you know, that's it, right? And so, and then the flip side is like, okay, when you have 12 vendors, everyone got a little bit of slack capacity you know there more likelihood You know you can people are like oh turbines you can get You can call a broker and you can get a turbine you might be paying 50 more 2x more but you can get a turbine yeah right like it a three nanometer fab you cannot get a three nanometer fab exactly and so when you talk about what the you know the the baton got passed from semiconductor shortages in 23 to power and data centers in 24 25 26 we still we swinging the pendulum but it will fully beach semiconductors again in 27 right and so So we see this across the entire space of the ecosystem. It's not just TSMC, it's also memory, both. Because both of them have built at a certain pace. Now TSMC has been expanding at some rate. The memory makers, in fact, have just not expanded capacity. Basically, they have not built new fabs since 2022. Because their cycle is so undulating. And so when you look at it, it's like, oh, even if they wanted to double capacity, they need to build the fabs. And building the fabs, it is the most complex building humans make. It's the entire area of a clean room circulates itself every 1.5 seconds. And you don't even feel it when you're inside. Really? It's like that. And it's like parts per billion of particles. Dillon对平均的判断非常精准. 2024年大家都在抢电抢地皮.但是从长远来看,真正不可替代的是台积电的精密制造能力.电力可以通过柴油发电机小型的核反应堆或者是政策调配来去缓解.但3纳米或者是2纳米的晶圆厂是无法速成的.那这里他提到了一个有趣的细节就是 Taiwan region, to ensure the internet can be used to the people's use of the people's use. This is a different state of the government. It's a difficult to see the international countries. In the 2027, when the technology industry is a bit of a problem, we will find that the real car is still back to the world's most clean and expensive factory. I want to talk about Oracle. They put out a post this morning that said, our partners financing for the Dona Ana County, New Mexico, Shackleford County, Texas, and Port Washington, Wisconsin. and data centers are secured at market standard rates, progressing through final syndication on schedule and consistent with investment grade deals. Obviously, they were fast following their posts from yesterday where they said the NVIDIA OpenAI deal has zero impact on our financial relationship with OpenAI. We remain highly confident in OpenAI's ability to raise funds and meet its commitments. And obviously, everyone was looking at this being like, give me a cigarette. It's like bank run language. I haven't seen posts like this since like the FTX. Is it just bad comms or is there something worried? It's terrible comms. It's terrible comms. I told my Oracle contacts, I was like, who the hell is in charge of the Twitter? What are you doing? NVIDIA did something similar last year when the whole TPU mania was going on. It was like, we're thrilled with Google's progress with the TPU. That said, NVIDIA chips are the only... It's like no one asked you to comment. I'm sure a handful of people in your DMs and random, but that doesn't mean... It doesn't project confidence. It's sort of the lion shouldn't concern themselves with the sheep. And like, okay, NVIDIA is a lion. Maybe Oracle is a little bit more bumpy, but I think Oracle is fine. People are just freaking out because OpenAI is peak. People are peak negative on OpenAI right now because of how good Anthropics has been killing it. Yeah, I think it's just kind of silly. They need to hire someone to do comms like Alulu or something, right? Both NVIDIA and Oracle, because what are you doing? How did you process yesterday in general? Jensen was clip farming. He was like, I don't know why he does these street interviews, right? No other CEO does those, where they just stick 25 microphones in your face and the paparazzi's flashing. It's a great vibe. It's, you know, Jensen's not been as famous as other CEOs for as long. And yet he's so important now. And if you've like, if you know Jensen, how he's in meetings, I feel like there's two Jensen's, right? There is PR, good at PR, just good at talking, good at making people hyped up and believe what he's doing. He's great at standing on stage, holding up the chip, delivering a sermon. And then there's the real Jensen, which is a business killer, and actually just knows about every aspect of the supply chain, right? All the way from niche semiconductor design and manufacturing stuff, all the way to energy power data center, and then doing the business deals too. right and so like you've got this whole Pareto like a whole thing a whole range of things that he's good at and he's a killer in and clearly he's like he was in a meeting where he was being a killer and like negotiating like supply contracts or something and that's why he was like you know like he was like still killing like no we never said we committed to a hundred billion you know like it it's like I don't know wait where do you even get the hundred billion dollar number from it's like well you did go on CNBC and but they did say in the press release I remember these are early talks yeah but they just kind of jumped the gun this was the height of the press release economy yeah yeah what's funny is um Oracle stock peaked like just like a week after they announced the open AI deal yeah and so like the press release of like hey open eyes gonna do this humongous deal stock peaks same happened with a couple other vendors who announced deals with OpenAI or NVIDIA, like sort of a lot of these, like, they all peaked then and then it's sort of been like NVIDIA OpenAI trade has been going poorly and sort of like the TPU, Anthropik, Google, Amazon complex has been doing well. It's quite interesting that this happened. What are you expecting out of Zock and Meta this year We been big Zock defenders especially I mean there this pressure of like oh Meta is spending so much and yet they haven created any AI product that's super compelling or that's really working. And our stance has generally been Meta's making more money from AI than almost any company in the world outside of NVIDIA. So it's like, of course, Zuck should be justified in saying, hey, this is real, it's big. like I'm going to like back the truck up and go all in. Yeah, I mean, it's clear if you look at the most recent earnings, I think their CPM went up 9% when the consumer's weak, which means like if you were to like try and strip out like what is consumer spending increasing for CPM of ads versus what is the effectiveness of their algorithms? Their algorithm got better by double digits in one quarter. It's like actually insane how good the algo's getting, right? Meta's licensed all of Midjourney's code data models, right? One, two, they're actually just focusing hardcore on... Was that a billion-dollar-plus deal? The number is undisclosed. Majority still exists as a company. It looked to me like effectively a massive exit, but the best-case scenario where they can just keep being artists. I think if you had me guess, I would bet it's over a billion. Every deal that Meta did was over a billion. basically, whether it's an employment contract, a licensing deal, an acquisition, everything had a B after it. Well, so the interesting thing is Meta... It's like you're missing a zero again. Don't ever miss the zero again. Every discussion was how many billions are we spending on hiring this person, buying this company. Well, Meta interestingly has gone down market for a compute because there's not enough compute in the big size deal, so they've actually gone and bought small clusters. Because it's like, well, I want more compute. Like long tailed Neoclouds? Yeah, from a longer tail, because that's the only place they can get the compute they need. So for cetkin channel ZAQBG甚至不惜扫货市场上面剩余的零散算力 Datikton提到Meta 与MetaGernay的秘密交易也揭示了Meta的野心它要成为全球最大的内容式生产工厂 He's okay selling chips because he wants dependency on the NVIDIA ecosystem, CUDA, but he would ban lithography tools from going to China. And I've been wrestling with this idea of like, I don't know if China would accept this, but wouldn't there be a different world where you want them dependent on American LLM APIs and you don't even send them the chips? And you say, yeah, you can have as much AI as you want as long as you're paying OpenAI and Anthropic API. Yeah, I think it's like a curve of like... What they will accept. It's, you know, one, you push someone into the corner, they're going to start swinging, right? Which means... And I'm very concerned that China does this, right? Do you push them too far into the corner? Do they say, screw this, we're going to start being a lot more aggressive, we're going to do more military actions, we're going to... Fund the wallet, or military actions, or even just invest twice as much in... In global supply chains, like take over Africa more than they already have, like LATAM, etc. Or just take over Taiwan. Yeah, right because if I can't have the chips what values there in Taiwan existing in its current state, right? So there's like there's this like game theory aspect Yeah At the same time you don't want China to be able to like you know If you believe AI is gonna be do what I think many at least in San Francisco think it's gonna do Which is like completely revolutionize humanity and cause GDP growth to accelerate Do you want to have China also own that technology? And all you know their ability to integrate that into their military and all these other things much faster So there is these competing interests. Where is the right line? And some people think it's like, hey, sell them AI model. Well, I think Dario would say, don't even sell them AI model access. Don't even sell them tokens. Yeah, I think so. I think Anthropic does not sell AI access to China. They loop it through, and you can see this in the traffic data. They go through Korea and Japan and other places, and so they get it. And then the other side is sort of like the Ben Thompson view, which is like, And I think I'm more sympathetic to that. Although I think I'm not exactly in line with that, which is like, and we've been saying like, don't sell them equipment, don't sell them equipment, don't sell them equipment. And my argument is like more economic in the sense of like, if you sell them like tens of billions of dollars of equipment, they can make hundreds of billions of dollars of AI value or chips with that equipment. Whereas if you sell them AI model access, then it costs them this much to get the economic, you know, they're not able to. You're capturing more of the value. Exactly. DeLun在结尾充满了对未来的敬畏和野心他不仅从技术的角度去看待AI更从地缘政治和经济价值的角度去审视这场竞赛AI模型的价值捕捉正在发生范式的一个转移如果Anthropic能够在2030年去实现3000亿美金的收入那么AI就不再是一个行业而是像电力或者是互联网一样的基础设施层虽然他承认自己在一代人可能没有经历过08年那样的毁灭性而显得过于的乐观但他看到的每一项的基础设施的投入 亳 basket Anyone rags 以及数 most million Guide with Asane A cape wasn't Sad in the Pro哪裡 the

오늘 우리는 세계 최고의 **Amazon**을 포함한 **Zeta**를 어떻게 전 세계에서 접근할 수 있는지에 대해 집중하고 있습니다. 최근 리뷰에 따르면, 사적 운영에 대한 구매가 개방되었습니다. 기대가 됩니다. **$3**의 높은 수요를 가진 **Fortune-22**를 얻으려면, 첫 번째 우선순위는 **Nokia**가 아닙니다. 이는 **Koval Marknas**가 오류를 목표로 삼지 않고 돈을 버는 것입니다. **Soda Bunvantad**가 잠금을 해제할 수 있는 동안 시작해야 합니다. **Crimean Plant**로 가면, 제가 기대했던 것은 **Los B**와 **OLED**를 만드는 도구와 인플레이션, 그리고 위험성이 높지 않은 것입니다. **Tesla**의 실리콘 칩, **AI** 칩과 비슷합니다.

당신은 칩을 개발하는 과정에 대해 어떤 통찰력을 가지고 있습니까? 비용을 계산하고, 열을 산란시키는 방법을 찾아냈을 때, 칩은 어떤 모습일까요? 많은 사람들이 우주에 물건을 넣는 것이 비싸다고 생각합니다. 하지만 **Starship**의 발사 비용을 보면, 계속 떨어지고 있으므로 괜찮을 것입니다. 제가 생각하기에는, **10년**이 끝나면 우주 발사 비용은 괜찮을 것입니다. 열 산란은 도전이지만, 거대한 방열기를 설치하면 괜찮을 것입니다.

제가 생각하기에는, 큰 도전은 칩이 매우 신뢰할 수 없다는 것입니다. 우주에서 칩을 어떻게 처리합니까? 인공위성은 일정 크기 이상이면 많은 지원과 구조가 필요해지므로, 분리될 수 있습니다. 발사된 인공위성은 작고, 수가 많습니다. 따라서 큰 칩 클러스터를 만들 수 없습니다. 그리고 우주에서 임의의 오류를 어떻게 처리합니까? 지구에서는 데이터 센터에서 기술자가 돌아다니며 문제를 해결하고 예비 부품을 설치합니다. 우주에서는 어떻게 합니까?

발표자: 공장으로 RMA를 보내면, 그곳에서 아마도 납땜을 해제하고 다시 납땜한 후 테스트를 진행하여 작동하게 만들고 다시 나갈 수 있습니다. 가끔은 그냥 폐기되기도 하죠. 하지만 저에게는 그게 도전입니다.

**디런 패텔**은 우주 데이터 센터에 대한 놀라운 트렌드를 밝혔습니다. 그것은 더 이상 공상 과학 소설이 아니라, 대기업 고위층 간의 진지한 내기입니다. **스페이스X**의 스타십 프로젝트는 발사 비용 곡선을 완전히 변화시키고 있습니다. 만약 전 세계의 **1%**의 계산 능력이 정말로 우주로 올라간다면, 그것은 **1급 와트**의 규모를 의미합니다. 이는 다음 세대 슈퍼 모델의 추론 수요를 충분히 지원할 수 있습니다.

현재의 논리는 우주에는 무한한 무료 태양 에너지가 있다는 것입니다. 비록 전력 비용이 데이터 센터 비용의 **10%**를 차지하지만, 진정한 유혹은 지구 위의 환경과 규제의 한계를 넘는 것입니다. 그러나 신뢰성은 치명적인 문제입니다. **Blackware** 칩이 처음 배치될 때 **10%에서 15%**의 고장률을 보입니다. 지구에서는 언제든지 사람을 보내 점검할 수 있지만, 우주에서는 로봇이나 **테슬라**의 자율주행 칩처럼 극단적인 중복성과 안정성을 추구해야 합니다.

이것은 고성능 필드 생성에서 동적인 하락으로의 전환이 될 것입니다. 만약 다음 버전의 **Grok**이 훌륭한 칩이라면, 그것은 **H200**, **H100s**와 함께 랙에 앉아 있습니까? 그것은 NVIDIA가 실제로 배포하는 것과 어떻게 맞아떨어지나요? 단순히 별도의 칩인가요? 저는 이것이 NVIDIA의 큰 분위기 변화라고 생각합니다. 그들은 이전에 "좋아, 나는 이 큰 GPU를 가지고 있다. 모두가 이 GPU를 사용할 것이다. GPU의 소프트웨어 생태계는 매우 훌륭하다. 하나의 사이즈로 모두를 만족시킬 수 있다. 모두가 특정 포인트 솔루션을 만들려고 하지만, 우리는 모든 것에 잘 맞는 것을 가지고 있다"고 말했죠.

그리고 그들은 분위기 변화를 겪었습니다. 그들은 **CPX**라는 것을 출시했는데, 이는 프리필, 프롬프트 처리, KV 캐시 생성 및 비디오 생성과 이미지 생성에 적합한 칩입니다. 그리고 그것은 올해 말에 출시될 예정입니다. **Grok** 보도 자료에서 그들은 비디오 생성에 대해서도 정말로 이야기하고 있었습니다. 그래서 여러분은 **CPX**, 표준 GPU, 그리고 이제 **Grok** 칩을 가지고 있으며, 이들은 모두 다른 틈새를 채웁니다. 하지만 정말로 외치는 것은 "오, 큰일이다. 우리는 AI가 어디로 가고 있는지 정확히 알지 못한다"는 것입니다. 이는 아무도 모른다고 생각합니다.

진행자: 소프트웨어와 모델 아키텍처가 너무 빠르게 변화하고 있어서, 우리는 **Pareto 최적 곡선**의 여러 지점에 맞춰 솔루션을 엔지니어링할 것입니다. 그리고 그 중 하나가 승리할 것이라고 생각합니다. 이는 NVIDIA가 과거에 **H100** 같은 전천후 제품으로 시장을 지배했던 것과는 큰 변화입니다. 하지만 Dylan은 NVIDIA가 점점 더 불안해지고 있다고 관찰했습니다. 모델이 점점 더 복잡해지면서, 예를 들어 비디오 생성의 부상으로 인해 단일 아키텍처로는 모든 계산 요구를 충족할 수 없게 되었습니다.

**CPX** 칩의 출현은 그들이 이제는 단일 솔루션에 베팅하지 않고, 더 많은 옵션을 모색하고 있다는 것을 의미합니다. 더욱 흥미로운 점은 Dylan이 **황영훈**에 대해 한 평가입니다. 그는 무대 위의 화려한 리더이지만, 뒤에서는 공급망의 모든 단계를 정확하게 통제하는 최고의 전략가입니다. 그가 인터뷰에서 **1000억 달러**의 클러스터 계획을 부인했을 때, 그는 아마도 회의실에서 수억 달러의 공급망 계약을 위해 협상하고 있었을 것입니다.

그 특정 사용 사례에서 절대적인 최첨단, 가격에 민감하지 않은 고객들은 빠르게 응답해야 하는 프롬프트 유형을 필요로 합니다. 그러면 잠재적으로 속도를 높일 수 있습니다. 그들은 사용자에게 노출되는 제품 측면에서 이를 어떻게 구현할지 고민해야 합니다. 분명히 수요가 있는 부분이죠. 예를 들어, **Andre Karpathy**는 에이전트당 초당 **1000달러**를 지출하든 상관하지 않습니다. 이러한 슈퍼 엔지니어들은 전혀 신경 쓰지 않죠. 물론 대부분의 사람들에게는 비용이 중요하다는 긴 꼬리가 있습니다. 그래서 그 곡선 전체에 걸쳐 솔루션을 갖춰야 합니다.

Dylan이 제안한 핵심 통찰은 AI 훈련이 훈련의 효율성에서 추론의 경험으로 이동하고 있다는 것입니다. **Cerebrus**와 같은 초대형 칩과 초저지연 아키텍처는 비록 비싸지만, 에이전트가 매우 매력적인 상황에서 작동할 수 있습니다. 예를 들어, AI 에이전트에게 전체 코드베이스를 재구성하도록 요청할 때, 여러분은 10시간을 기다릴 것인지, 아니면 조금 더 돈을 주고 1시간 내에 끝내도록 할 것인지 고민하게 됩니다. 최고의 인재와 고부가가치 비즈니스에게는 시간은 전기 요금보다 훨씬 더 가치가 있습니다. **OpenAI**가 **Cerebrus**를 도입한 것은 AI 제품의 차별화가 사고의 속도에서 비롯된다는 것을 인식했음을 보여줍니다. 데이터 센터 간에 **매개변수**와 **데이터**를 분할하는 것은 매우 어렵습니다. 구글이 이를 할 수 있었나요?

구글은 어느 정도 그렇게 할 수 있었죠. 그들이 한 것은, 가장 큰 개별 데이터 센터 캠퍼스는 없지만, 각 데이터 센터가 대략 **40마일** 정도 떨어져 있는 지역을 설정한 것입니다. 네브래스카와 아이오와, 그리고 오하이오에 이런 복합 단지를 가지고 있고, 이제는 오클라호마와 텍사스에서도 하나를 짓고 있습니다. 이렇게 서로 가까운 데이터 센터들이 모여 있는 복합 단지들이죠.

그러니까, 전 세계적으로 데이터 센터 간의 연결은 아니지만, 지역 간의 연결이죠. 이렇게 하면 많은 어려움들이 훨씬 더 수월해집니다. 반면에 우리는 RL로도 이동했죠. 대부분의 시간 동안 칩은 데이터를 생성하는 데 사용됩니다. 모델을 통해 순방향 패스를 수행하는 것만 하죠.

그리고 검증된 최종 토큰만을 다시 훈련에 사용하기 위해 보내게 됩니다. 그러면 사전 훈련 스케일링에서 모든 가중치를 **10초** 또는 **20초**마다 동기화해야 하는 대신, 롤아웃을 수행할 때, 특히 훈련이 점점 더 에이전틱해질수록, 전체 가중치를 보내지 않고 관련된 토큰만 보내면 되므로 훨씬 더 적은 양의 데이터와 훨씬 덜 자주 보내게 됩니다. **몇 분** 단위로 보내는 대신 **몇 초** 단위로 보내는 것이죠.

그래서 이제는 다중 데이터 센터 훈련이 완전히 합리적이 되었고, 실제로 사람들이 이렇게 하고 있습니다. 사람들은 다중 데이터 센터, 다중 칩 훈련을 수행하죠. 예를 들어, Anthropic은 이렇게 합니다. 구글이 이렇게 하는지는 모르겠지만, 구글은 이미 그런 카드를 가지고 있는 것 같습니다.

진행자: 알겠습니다. 많은 사람들이 구글이 AI 모델에서 왜 느린 것처럼 보이는지 궁금해하지만, 인프라에서는 여전히 안정적이라는 점에 주목하고 있습니다.

**Dylan**은 구글의 강점이 그 뒤에 있는 분산 시스템의 축적에 있다고 지적합니다. 구글은 한 지붕 아래에 **10만 개의 GPU**를 두는 것을 추구하지 않고, 대신 초고속 광선을 통해 수십억 마일 떨어진 여러 데이터 센터를 논리적으로 연결합니다. AI 훈련이 합성 데이터와 인공지능 강화 학습 단계로 들어가면서 이러한 구조의 장점이 더욱 부각되고 있습니다. AI 훈련은 동기화 주파수에 대한 요구가 매우 낮기 때문에, 이는 구글과 같은 글로벌 기술 인프라를 가진 회사에 큰 전략적 공간을 제공합니다.

진행자: TSMC가 주요 병목 현상인가요? 에너지가 병목인가요? 그에 대해 어떻게 생각하시나요?

**Dylan**: 네, 질문에 답하기 전에 잠깐 사이드바를 두고 이야기하겠습니다. 이건 재미있다고 생각해요. 미국에서는 에어컨을 끄라고 하는 것이 미친 짓이라고 할 수 있죠. 일반 대중은 이미 AI를 싫어합니다. 하지만 대만에서는 이전에 가뭄이 있었고, 전체 도시의 물을 끄기도 했습니다. 그들은 "일주일에 **3일** 물을 줍니다."라고 하죠. 그리고 팹(fab)에는 여전히 물이 공급됩니다. 이런 것들을 이해해야 합니다. 우리는 약한 미국인으로서 이런 상황에 준비가 되어 있지 않습니다.

진행자: 그건 정말 미친 일이네요.

**Dylan**: 하지만 결국 물과 전력은 분명히 그렇게 큰 제약은 아닙니다. 이제 반도체 산업을 상상해 보세요. 예전에는 매년 또는 2년마다 트랜지스터의 양을 두 배로 늘리곤 했습니다. 그 중 일부는 **무어의 법칙(Moore's Law)** 때문이고, 일부는 더 많은 용량 때문입니다. 반면 미국의 에너지 산업은 그렇지 않았습니다. 처음에 사람들은 창의적이지 않았습니다. 그들은 이런 종류의 가스 발전소를 만들자고 했죠. 하지만 이제 우리는 세 가지 주요 터빈 제조업체가 있다는 것을 깨달았습니다. 그리고 이중 결합 사이클을 위해서는 IGT가 필요하고, 중속 왕복 엔진도 있습니다.

결국 **Cummins**는 연간 **100만 개의 디젤 엔진**을 만들 수 있으며, 이 엔진들이 전기를 생성할 수 있습니다. 제가 신경 쓰지 않고 텍사스 서부에 설치한다면, 쉽습니다. 그래서 이제는 규제 문제, 공급망 문제로 더 많이 바뀌었습니다. 전력은 그 정도로 제약이 되지 않습니다. 오늘날에도 여전히 제약이 있다고 생각합니다. **2024년**과 **2025년**에는 데이터 센터 용량과 전력이 가장 큰 제약이었습니다. 산업이 준비가 되어 있지 않았기 때문입니다. 사람들은 깨어났고, 시스템에 충격을 받았습니다.

이제 **수십 기가와트**가 배치되고 있습니다. 내년에는 **30 기가와트**가 추가될 예정이며, 우리는 그에 맞는 전력이 있다고 생각합니다. 올해는 어땠나요? 올해는 대략 **18** 정도, **10** 정도였던 것 같습니다. **15에서 18** 정도, 죄송합니다. 거의 두 배가 되는 셈이죠. 네, 거의 두 배가 되는 거죠. 와우.

TSMC와 그 팀을 보면, 정말로 이 무작위로, 예를 들어 **12명**이 중속 회전 엔진을 만들고 있는 상황이 아니라는 것을 알 수 있습니다. 이제 그 엔진을 무작위 데이터 센터에서 전력을 생성하는 데 사용할 수 있죠. 아니요, 아닙니다. Arrakis가 있습니다, 맞죠? 하나의 스파이스 세트가 있는 거죠, 그게 전부입니다. 그리고 반대편을 보면, **12개의 공급업체**가 있을 때, 모두 조금씩 여유 용량을 가지고 있으니, 가능성이 더 높아집니다. 사람들은 "오, 터빈을 얻을 수 있어"라고 말할 수 있습니다. 중개인에게 전화하면 터빈을 얻을 수 있고, **50% 더 비싸거나 2배 더 비쌀 수 있지만**, 터빈을 얻을 수 있습니다. 그렇죠? 하지만 **3나노미터 팹**은 얻을 수 없습니다. 정확히 그렇습니다.

그래서 **2023**년의 반도체 부족에서 **2024, 2025, 2026**년의 전력과 데이터 센터로 배턴이 넘어갔다는 이야기를 할 때, 우리는 여전히 진자처럼 흔들고 있지만, **2027**년에는 다시 반도체로 돌아갈 것입니다. 그래서 우리는 생태계 전체에서 이 현상을 보고 있습니다. TSMC뿐만 아니라 메모리도 포함됩니다. 두 산업 모두 특정 속도로 구축되었습니다. 현재 TSMC는 어느 정도 속도로 확장하고 있지만, 메모리 제조업체들은 사실상 용량을 확장하지 않았습니다. 기본적으로 **2022**년 이후로 새로운 팹을 건설하지 않았습니다. 그들의 사이클이 너무 불규칙하기 때문입니다. 그래서 그들을 보면, "아, 그들이 용량을 두 배로 늘리고 싶어도 팹을 건설해야 한다"는 것입니다. 팹을 건설하는 것은 인간이 만드는 가장 복잡한 건물입니다. 클린룸의 전체 영역이 **1.5초**마다 순환합니다. 내부에 있을 때는 그걸 느끼지도 못합니다. 정말로요? 그런 식입니다. 그리고 입자의 농도는 **십억 분의 일** 수준입니다. Dylan은 평균에 대한 판단이 매우 정확합니다.

진행자: 2024년에는 모두 전력과 부지를 확보하기 위해 경쟁하고 있습니다. 그러나 장기적으로 진정으로 대체 불가능한 것은 TSMC의 정밀 제조 능력입니다. 전력은 디젤 발전기나 소형 핵 반응로, 또는 정책 조정을 통해 완화할 수 있습니다. 하지만 **3나노** 또는 **2나노**의 웨이퍼 공장은 급조할 수 없습니다.

여기서 그는 대만 지역에 대해 흥미로운 세부사항을 언급했습니다. 인터넷이 국민의 사용을 보장할 수 있도록 하는 것이죠. 이는 정부의 다른 상태입니다. 국제 국가들을 보기에는 어려운 상황입니다. **2027년**에는 기술 산업에 약간의 문제가 생길 때, 우리는 진정한 자동차가 여전히 세계에서 가장 깨끗하고 비싼 공장으로 돌아온다는 것을 알게 될 것입니다.

이제 Oracle에 대해 이야기하고 싶습니다. 그들은 오늘 아침에 Dona Ana 카운티, 뉴멕시코, Shackleford 카운티, 텍사스, 그리고 Port Washington, 위스콘신에 대한 파트너 자금 조달을 발표했습니다. 데이터 센터는 시장 표준 금리에 확보되었으며, 최종 신디케이션을 일정에 맞춰 진행하고 있습니다. 그리고 투자 등급 거래와 일치합니다. 어제 그들이 발표한 NVIDIA OpenAI 거래가 OpenAI와의 재정 관계에 전혀 영향을 미치지 않는다고 말한 이후, 그들은 빠르게 후속 조치를 취했습니다.

명백히, 모두가 이 발표를 보며 "담배 하나 줘"라고 생각했습니다. 마치 은행 도산 언어 같았습니다. FTX 이후로 이런 게시물을 본 적이 없습니다. 단순히 나쁜 커뮤니케이션인가요, 아니면 뭔가 걱정되는 게 있나요? 정말 끔찍한 커뮤니케이션입니다. 정말 끔찍합니다. 저는 제 Oracle 연락처에게 "트위터를 누가 관리하고 있는 거냐? 뭐하고 있는 거냐?"라고 말했습니다. NVIDIA는 작년에 TPU 열풍이 일어났을 때 비슷한 일을 했습니다. "우리는 TPU와 함께하는 구글의 진전에 매우 기쁩니다."라고 말했죠. 하지만 NVIDIA 칩은 유일한... 아무

든 기반 시설의 투자는 중요합니다.