🎧 Interview with Dario Amodei from Anthropic: Inside the $100B "Big Blob of Compute" & The 2030 AGI Certainty

👤 Dario Amodei · EN 7,034w · KR 5,173w

사용법 (30초)
1️⃣ 영문 or 한국어 복사 버튼 터치
2️⃣ 🔗 링크 복사 → Chrome에 붙여넣기 → 열기
3️⃣ + 새 노트북 → 소스 추가 → 붙여넣기
4️⃣ 🎧 Audio Overview → Generate
5️⃣ 차에서 재생 🚗

원문 미리보기 7,034w

Welcome back to Neural Intel. >> If you are a regular listener, you know exactly how this works. >> Yeah, you know the drill. >> We don't do the surface level stuff here. We don't just, you know, read the headlines about which chatbot is currently hallucinating or which stock price is up 3%. >> No, no. >> We take the stack of papers, the dense interviews, the technical documentation. I mean, the stuff that usually makes your eyes glaze over and we really tear it apart to find the signal. >> That is the mission, right? We extract the signal from the noise. And for those of you who want to see the raw data, and I mean the code snippets, the math, the architectural diagrams we might reference today, you really need to head over to neuralinttel.org. >> That's where the homework is. >> That is where the real work happens. And of course, make sure you are subscribed on YouTube, Apple Podcasts, and Spotify. You just do not want to miss a deep dive, especially when things are moving this fast. >> Well, speaking of moving fast, today is well, it's a big one. We are looking directly into the mind of Daario Ammoday, the CEO of Entropic. Now, usually when you hear from a CEO, it's a lot of corporate fluff. You know the drill, synergy, paradigm shifts, delighting the customer, >> all the buzzwords. >> Exactly. But Daario is different. He's a physicist by training. And so when he talks, he talks in probabilities, compute cycles, and um scaling laws. >> He is very much an engineer's CEO. And the picture he paints in this recent interview he did with Orcesh Patel is intense. >> Intense is a good word for it. >> Yeah. I mean we are not talking about a better spellch checker here. We are talking about a specific quantified prediction that puts us potentially two to three years away from having and this is a direct quote a country of geniuses in a data center. >> A country of geniuses. It's such a striking image. It really sounds like the setup to a sci-fi novel. >> It does. But our job today isn't to get swept up in the sci-fi vibes of that quote. Our job is to unpack the technical justification for it. >> Mhm. >> Why does he think that's even possible? Is the exponential curve of AI progress actually holding steady or is it about to hit a wall like so many critics keep saying? >> That really is the trillion dollar question, isn't it? I mean, is the curve flattening or is it going vertical? And if it is going vertical, what happens to well everything, the economics, the safety, the geopolitics of the world when it does? >> Because if he is right, the world in 2027 looks fundamentally different from the world today. >> Fundamentally. >> Exactly. So, we aren't here for the hype. We're here for the mechanics. And speaking of mechanics, I think it's time to ground this conversation right out of the gate. Let's hit our first check-in. >> Okay, let's do it. This is the neural signal check. >> All right, lay it on us. What is the real signal here that we should be paying attention to? >> The signal is that while the media is totally obsessed with the user interface, you know, can the bot write a poem? Can it make a funny picture? Does it sound like a human? >> All the front-end stuff. >> All the front-end stuff. The real story is hidden in the math of scaling. The signal is what Amod calls the big blob of compute hypothesis. And more importantly, it's the technical realization that reinforcement learning or RL, which you know, everyone thought was the separate complex different beast, is starting to learn mathematically identical to pre-training scaling loss. >> Whoa. Okay, hold on. So, you're saying it's all just one big curve. >> That's what the data is suggesting. Exactly. It suggests that the magic isn't in some new clever architecture we haven't discovered yet. The magic is in the scale itself. >> Wow. And that has massive, massive implications for the next 24 months because it simplifies the road map. It means we don't need a miracle. We just need more power. >> Wait, let's unpack this. Our source material is this incredibly dense interview. We've got notes here on on the end of the exponential, the physics of scaling, the economics of running these massive labs, which is a whole fascinating topic on its own. >> It's a crazy topic. >> And the technical implementation of constitutional AI. >> And we really should start with the physics. I think that's the foundation for everything else because if the physics don't work, the timeline doesn't work. It doesn't matter how much money you throw at it if the laws of, you know, thermodynamics or information theory say no. >> Okay, let's do it. Segment one, the big blob hypothesis. I have to say, I love this name. It just sounds like a monster from a 1950s horror movie. >> The blob that ate the data center. >> Exactly. >> But Amod actually wrote a document with this title way back in 2017, didn't he? >> That's right. 2017. And you have to think about where we were in 2017. GPT1 hadn't even really broken through yet. >> It was a different world. >> A completely different world. The prevailing wisdom in the AI community was that advancement required cleverness. You needed a specific trick for translation, a different trick for playing chess, a whole different architecture for vision. You had people working on robotics as a totally separate field from language. >> It was a very fragmented world. You were a vision guy or a language guy or robotics guy. and never the twain shall meet. >> Precisely. And Emod and his colleagues, they look at this landscape and they say, "You're all overthinking it." His hypothesis was that all those clever tricks, all those handcoded features, they don't matter nearly as much as we think. >> So, it's not about being smart, it's about being big >> in a way. Yeah. >> He argued that there are really only seven ingredients that matter. If you get these seven right, the blob just it absorbs everything else. It absorbs the cleverness. Okay, I have the list of the seven ingredients here. I want to run through them because this is effectively the recipe for that country of geniuses. Ingredient number one, raw compute. >> Self-explanatory, the most obvious one. You need massive amounts of FOVs, floatingoint operations per second. The bigger the engine, the faster you go. Simple as that. >> Number two, quantity of data. >> Also pretty straightforward. You need to feed the beast. You need tokens, trillions and trillions of them. If you run out of data, the compute just spins its wheels. >> Got it. Number three, quality and distribution of data. Now, this one seems a bit more nuanced. It's not just more. It's better and broader. >> This is critical. This is so important. It can't just be a lot of data. It has to be a broad distribution of data. Amade is this great example of GPT1. >> Do you happen to know what GPT1 was primarily trained on? >> Uh, I'm guessing the internet. Yeah. >> Or maybe Wikipedia. That's what you'd think, but no, actually, it was a data set called Book Corpus, which was mostly self-published books and fanfiction. >> Wait, wait, really? Fanfiction? So, you're telling me the grandfather of modern AI was basically raised on Harry Potter alternate universes and vampire romances? >> Essentially, yes. And because of that very narrow distribution, it was mostly literary text, you know, dialogue, narrative, it didn't generalize well at all. >> Couldn't do other things. >> It couldn't do math. that couldn't code. It was only when they moved to GPT2 and scraped the actual open internet Reddit links, Common Crawl, all the messy stuff that they got that broad distribution. That diversity is what unlocked the generalization we see today. >> So, fanfiction wasn't enough to build AGI. That is honestly a relief. >> It's a start. Maybe >> if the singularity was birthed from bad romance novels, I would be very, very worried about the alignment problem. Okay, number four on the list, training time, >> right? You have to let it bake. You can't rush the gradient descent. It's a physical process of optimization. It takes as long as it takes. >> Number five, objective function. >> This is a big one. A really big one. The objective function. So the goal you give the model, it must be able to scale indefinitely. If your goal is just play tic-tac-toe, well, the model learns it almost instantly and then it stops learning. It tops out. >> There's nowhere else to go. >> There is no more better after you solve it perfectly. But an objective like predict the next token on the entire internet or solve this complex reasoning problem. Those are objectives that can scale to the moon. They are effectively infinite. >> Number six and seven. I'm grouping these together because they sound like the boring but necessary engineering headaches. Normalization and conditioning. >> This is the plumbing. It is absolutely critical and it's all about numerical stability. When you are training a model with billions or trillions of parameters, you are doing these massive matrix multiplications and if the numbers get too big, they explode. That's called exploding gradients. >> And if they get too small, >> they vanish. Vanishing gradients. You need to ensure that as you pour more and more compute into the system, it doesn't just crash or diverge into mathematical chaos. Amade uses this great phrase, a laminer flow of compute. >> Laminer flow. That's a fluid dynamics term, right? Like water flowing through a pipe really smoothly. >> Exactly. In fluid dynamics, laminer flow is smooth. It's orderly. Turbulent flow is chaotic, mixing inefficient. In AI training, you want the compute to flow smoothly through the neural network updates without mathematical turbulence or any bottlenecks. >> You need smooth pipes for the numbers to flow through. >> You got it. If you have those seven things, the compute, the data quantity, the data quality, the time, the objective function, and the stability to keep it all running, the specific architecture becomes secondary. The blob just works. >> And he's saying this hypothesis from 2017 still holds up today. That's like an eternity in AI years. That's like saying a theory from the 1800s holds up in quantum physics. >> He says he hasn't seen much that contradicts it. And this brings us right to the RL revelation that we mentioned in the signal check. Because this is the new frontier. This is the stuff happening right now inside the labs that no one's really talking about, >> right? Because three years ago, we were all looking at these neat, clean loss curves for pre-training. We knew if we added more data and more compute, the model got smarter at predicting the next word. It was a straight line on a log graph. >> It was predictable, >> very predictable. >> But now we have reinforcement learning. We have models doing math, coding, thinking before they answer. All that chain of thought stuff. My intuition says that has to be a different process. Is that a different curve? >> That is the trillion dollar question. And Amaday's answer, which is kind of shocking, is no. >> No. >> No, it is not a different curve. He argues that RL is scaling exactly like pre-training. So, it's log linear. You just double the compute. You get a constant reduction in error even for reasoning. >> It appears so. And he points out that other companies, Deep Mind, OpenAI, they've all found this too. If you train a model on say math contests, the improvement in its performance is log linear with the amount of training time or the amount of samples you generate. It's the same physics. >> That is fascinating. So essentially pre-training gives you the base capability, the raw knowledge of the world. Let's say >> the raw material >> and RL is just another phase of scaling that refineses it towards a specific goal. >> Correct. He compares it directly to the shift from GPT1 to GPT2. Just as GPT1 trained on fanfiction needed more diverse data to generalize, RL is currently moving from these very specific tasks like solving a single math problem to much broader generalization. We are basically seeing the big blob eat RL just like it ate language modeling before. >> So the distinction we make between learning facts and learning to reason might just be an artificial one we've created. It's all just learning. >> That is the big implication. It's all just compression of information. Whether that information is the capital of France is Paris or the way to solve this integral is to apply this specific rule, the neural network seems to treat it in a very similar way. It just finds the pattern, compresses it and predicts the outcome. >> Wow. This actually leads perfectly into his mental model of where these LLM sit compared to biological intelligence. I found this analogy incredibly helpful to visualize what's happening because you know sometimes it feels like we're building an alien brain and other times it feels like we're building a human brain. >> Yes. The hierarchy of learning. He breaks it down into these three distinct layers. >> Okay. So the layers are let's see layer one is evolution. Layer two is human lifetime learning and layer three is in context learning. >> Right? So let's start at the bottom with evolution. Evolution is the ultimate pre-training run. It took billions of years. It took an unfathomable amount of compute. Every single organism that ever lived and died was a data point in this experiment. >> That's a great way to put it. >> And what did that process produce? >> It produced the hardware, the structure of our brains, our instincts. >> It produced the priors. That's the key. Your brain isn't a blank slate when you're born. Evolution has pre-wired it to recognize faces, to have a propensity for language, to understand basic physics like objects fall down. A baby knows a lot more than a random number generator. A baby knows that if I hide a ball behind a blanket, the ball is probably still there. >> Object permanence, but LLMs are random number generators when they start, right? They're just random noise. >> Exactly. They start as random weights, just Gaussian noise. So pre-training an AI that massive massive run that costs a hundred million or a billion dollars that's doing the work of evolution. It fills that huge gap between random noise and human at birth. >> Okay, that makes perfect sense. So pre-training equals evolution. Now let's jump to the other end of the spectrum. You have incontext learning. That's what happens when I paste a document into claw and say summarize this. It learns the content of that document instantly. >> Right? That's basically working memory. It's short-term adaptation. It's incredibly fast, but it's also ephemeral. As soon as you close that context window, it's gone. It's like you read a post-it note and then you immediately throw it away. >> But there's this huge missing link in the middle, the human lifetime learning piece. >> Yes. And this is the crux of the problem right now. Humans learn permanently over the course of a lifetime. We don't reset every single time we go to sleep. We accumulate skills. We become tenured. We learn office politics. We learn our spouse's favorite color. >> And LLMs right now mostly don't do this. Not really. They have the evolution part, which is pre-training, and they have the short-term memory part, the context window, but they lack that crucial middle layer of becoming a senior engineer over 10 years. So, does Emote think this missing link is a showstopper? Because if the model can't remember anything from yesterday, how can it run a company? How could it possibly be a genius if it has amnesia every morning? It's a bottleneck certainly, but and this transitions us perfectly into the timeline he lays out. He doesn't think it's a showstopper for achieving massive capability. He thinks we can just brute force our way around it. >> All right, let's get to the numbers then. The prediction, cuz this is the part that made all the headlines, but the context we've just discussed is what really matters. >> Okay, so here it is. He is 90% confident that by 2026 or 2027 we will have models capable of performing as a country of geniuses in a data center. >> 90% confidence that is that's absurdly high for a prediction that is effectively two maybe three years away in the tech world. Usually two years away means five years away and five years away means it's never happening. >> Oh it's an incredibly strong claim. He does add a caveat of course about irreducible uncertainty. Things like you know global wars, massive supply chain collapses, China invading Taiwan. Those things might push the probability down. >> Black swans. >> Exactly. But on the technical feasibility, just on the question of can we build it? He sees the path clearly. He thinks it's almost a done deal. The tracks are laid. The train is moving and it's picking up speed. >> So what does a country of geniuses actually look like in practice? Because genius is such a loaded word. Are we talking about passing the bar exam? Because they can already do that pretty well. Are we talking about scoring one and 60 on an IQ test? >> This is a great question and it's time for another neural signal check. >> Let's do it. >> We need to define this technical capability level properly. It is not just about passing some static multiple choice test. Ammoday makes a really important distinction between verified tasks and unverified tasks. >> Verified tasks, those are things like coding, right? and it either works. The compiler is the judge and jury. >> Correct. It's a closed loop. The environment gives you unambiguous feedback. And for those verified tasks, Amod thinks we are basically there or we will be in the next 12 to 18 months. The model generates a solution. The environment verifies it. Done. >> But the country of geniuses benchmark requires success in the unverified tasks. >> The messy stuff. the messy stuff like writing a novel >> or planning a mission to Mars or inventing a new drug. Things where you can't just run a unit test to see if it's correct. Things that require judgment and taste. >> Exactly. And the specific test case he uses, which I love, is the video editor test. >> I thought this example was so perfect because it's so relatable. He says, "Imagine a video editor working on this very interview that we're recording right now." >> Right? >> They aren't just cutting clips based on a script. They are making hundreds of tiny judgment calls constantly. Oh, Daario scratched his head there. That looks awkward. Let's cut it. Or this point is really interesting. Let's zoom in a little bit. >> It requires taste. That's the word. It requires understanding the host's preferences, the audience's likely reaction, the pacing, the overall narrative flow. A great video editor knows what you want before you even ask for it. >> And this brings us right back to that missing link of lifetime learning. If the model resets every session, how does it learn my specific taste over six months? How does it become my tenur video editor? If I have to explain my style guide from scratch every single morning, it's not a genius, it's an intern >> and a pretty annoying one at that. >> Exactly. So, Amod proposes two technical solutions to this bottleneck. The first one is pretty brute force context extension. >> Just make the window bigger. >> Much much bigger. Millions of tokens. You just shove the entire history of your relationship, every edit you've ever approved, every Slack message, every style guide into the prompt every single time. >> So it's not learning, it's just reading really fast. >> Precisely. And he argues this is an engineering problem, not a fundamental research problem. It's about something called KV cache storage. >> KV cache, key value cache. We hear this term a lot in optimization papers. Can you explain that for the non-engineers in the audience? What is that? >> Sure. So when an LLM processes text for every token, it calculates these intermediate mathematical representations, keys, and values and it stores them so it doesn't have to recomputee them every time it generates the next word. It's like keeping all your notes open on the desk while you write an essay. >> So it's a memory saving trick. >> It is, but that storage itself takes up a massive amount of very expensive GPU memory. So making the context window huge millions and millions of words means that cache becomes absolutely enormous. It's a plumbing problem. How do you juggle that massive amount of memory efficiently across thousands of GPUs? >> But plumbing is solvable. It might be expensive, but it's solvable. >> Yes, it's solvable with enough engineering effort and money. The second solution he proposes is continual learning. Actually updating the model's weights on the fly based on new interactions. the holy grail, true learning, >> right? Emma Day thinks this might actually be solved in 1 to two years. But, and here's where it gets really interesting, he also thinks it might not even be necessary to get to that genius level. >> Really, you don't need real learning. >> He suggests that a massive context window might be good enough to simulate lifetime learning. If you can fit a million words in the context, that's days or weeks of human reading time available instantly. That might be enough for the model to gro the job without permanently changing its underlying brain. >> So, the country of geniuses might just be a country of amnesiac geniuses with a perfect photographic short-term memory. >> That is a very, very accurate way to put it. They wake up every morning with a totally blank mind, but they can read your entire corporate history in 10 seconds flat and then act as if they've been a loyal employee for years. And Amod thinks that capability is enough to generate trillions of dollars in economic value. >> He does. >> Which brings us to coding. Because if you have a country of geniuses, surely they can write software. And if they can write software, shouldn't they be building the next better version of themselves? I mean, that's the classic singularity loop right there. >> Coding is absolutely the first domino. Emma Day is very clear on this. But we need to be careful with our definitions here because people hear AI coding and they immediately think it's going to replace all the software engineers tomorrow. >> Right? And he lays out this spectrum of SWE software engineering. He says it's not binary. It's not human versus AI. It's a progression. >> Exactly. It progresses through these distinct phases. Phase one is 90% of lines of code are written by AI. >> We're pretty much there, aren't we? I mean, I use C-pilot. I use Claude. They wrote the bulk of the boilerplate code for me >> in a lot of cases. Yes. But that's actually a pretty weak metric. Just because it wrote the lines doesn't mean the code works or that it's architected well. So phase two is 100% of lines of code are written by AI. >> So you're just a reviewer at that point, >> right? Then it gets more interesting. Phase three is 90% of tasks are done by AI. >> Tasks. Okay. That's the key distinction because coding is typing. Software engineering is well it's suffering mostly. It's compiling, setting up the environment, realizing the library version is wrong, writing the memo to explain why you did what you did, fixing the merge conflict, >> all that glorious grunt work that isn't actually typing code, but is absolutely necessary for coding to happen. And then finally, phase four is 100% of tasks are done by AI. At that point, you just give it a business goal. >> And Emma says his own engineers at Anthropic are already moving rapidly through this spectrum. They're using Clawude to write GPU kernels, which is really hard low-level optimization stuff that they used to have to write by hand, >> which implies a massive productivity boost inside these labs. But this raises a paradox, doesn't it? If the tech is already so good, why isn't the economy booming right now? Why isn't global GDP up 10% this year? If coding is 50% faster, software production should be going through the roof. >> This is the diffusion lag. >> Yes. the gap between what is technically capable and what is economically integrated. Ammoday is very pragmatic and cleareyed here. He gives the example of claude code. >> That's their command line interface tool, right? The CLI. >> Yes. An individual developer can download it and start using it in literally 5 minutes. Boom. Their productivity goes up. But a large enterprise, a bank, a pharmaceutical company, a government agency, >> oh, forget about it. You need a legal review. You need a security compliance check. You need the CTO to sign off. You need a six-month change management process. You need to retrain the entire staff. You need to make absolutely sure the AI doesn't accidentally hallucinate a command that deletes the main production database. >> Exactly. Even if the AI can do the job perfectly today, it might take a big corporation two full years to figure out how to let it do the job. He calls it the corporate immune system. It attacks new things to keep the organism stable even if the new thing is better. So the prediction is AGI, the country of geniuses, arrives in 2026. But the economic singularity, the point where GDP goes vertical, might trail that by 2 to 5 years >> because of human friction. It's not a technical bottleneck anymore. It's a social and organizational one. He compares it to drug discovery. Even if an AI invents the cure for cancer tomorrow, I mean, literally just outputs the molecule structure, you still have to synthesize it. You still have to run FDA trials. You have to manufacture it, distribute it. >> The compute part is fast. The physical world part is slow. >> That's the whole story. >> But he does push back on the idea that this diffusion will take forever. Right? He says it won't be slow. His quote was something like it will be fast but not infinitely fast. >> Right? He doesn't think it's going to be instantaneous Dyson spheres appearing overnight. But he also doesn't think it'll be like the 50 years it took for electricity to fully take over factories in the industrial revolution. It'll be somewhere in that messy middle >> because the pressure to adopt will be too high to ignore. >> The competitive pressure will be immense. If your competitor uses it and you don't, you simply die. >> Okay, speaking of pressure, let's talk about money. Let's talk about the economics of the labs themselves. Because looking at Anthropic's revenue curve, it is just it's bonkers. It is a pure exponential. We're talking 10x growth every single year from a hund00 million to a projected $1 billion to a projected $10 billion. It's just a vertical line. >> Now, if I had a company growing 10x a year, I would be popping champagne. I would be buying a yacht. But amay, when he talks about this, he sounds stressed. He's talking about the risk of bankruptcy. >> This is the capex bet and it's a terrifying highstakes game of poker. >> Okay, explain the hand they are playing. was the bet. >> Okay, so you know the model gets better with scale. You're anthropic and you want to build the biggest most powerful data center possible for the year 2027. Let's say that costs hundred billion dollars, maybe even a trillion dollars over a few years, right? >> You have to order the GPUs from Nvidia today. You have to sign the power contracts with the utility companies today. You have to build the physical data centers today. >> They made all that cash right now. >> But the revenue you need to pay for all of that relies on the country of geniuses arriving on schedule. You are betting that the model you haven't even built yet will be smart enough to earn back that trillion dollars. >> Ah, I see the problem. This is the gamblers's ruin. >> Precisely. If you predict the arrival of that next level capability wrong by just one year, say it arrives in 2028 instead of 2027, you're dead. You have a trillion dollars in debt. The data center is running up massive electricity bills, but the product isn't quite smart enough yet to generate the massive revenue you need. You go bankrupt. So they are surfing this massive exponential wave and if they lean too far forward and spend too much they wipe out. But if they lean too far back and don't spend enough they become irrelevant because a competitor like OpenAI or Google beats them to the genius country. >> It is an unbelievably fine line to walk and this dynamic he says forces the labs to be responsible not just for abstract safety reasons but for their own corporate survival. And he says this explains why they are profitable or unprofitable in any given year which I found fascinating. >> Yeah. He mentioned this concept of a corn equilibrium. That sounded like an econ 101 flashback for me. >> Me too. >> Yeah. >> What is that in this specific context? >> It's an economic model for an industry with just a small number of firms like the AI labs. And he breaks down their internal economics like this. You spend roughly 50% of your available compute on training. That's R&D building the next model. and you spend the other 50% on inference. That's serving customers and actually making money. >> Okay, that seems like a pretty balanced split. >> It does. But here's the totally counterintuitive kicker. Profit, oddly enough, usually happens when a lab underestimates customer demand. >> Wait, really? That seems backward. Usually, you profit when you sell a lot of stuff. >> Think about it. If you underestimated demand, it means you didn't buy enough chips to serve both your R&D efforts and all your new customers. So you have to steal compute from your R&D budget to serve the paying customers. >> So your research for the next model slows down. >> Your R&D slows down, but your revenue looks fantastic relative to your cost. So you make a profit. >> And conversely, if you overestimate demand, >> you bought too many chips. You have idle compute just sitting there. So what do you do? You dump all of it into R&D. You make amazing progress on the next model, but your balance sheet looks terrible because you have these super high costs and lower than expected revenue. So profitability in an AI lab right now is actually a sign of bad planning or at least overly conservative planning >> in this specific hyperrowth phase. Yes, it suggests you aren't reinvesting aggressively enough in building that next exponential step. If you're making a big profit, the logic is you should have bought more GPUs. >> That is a wild way to look at a P&L statement. Oh no, we made a profit this quarter. We're failing. >> It's the logic of the singularity. Normal business rules just don't apply when your growth rate is 10x per year. You are either growing at an insane pace or you are dying. There's no in between. >> Okay, let's pivot. This is a big pivot. We've talked about the tech, the timeline, and the money. Now, we have to talk about the safety because if we are actually building a country of geniuses, we probably want to make sure they don't, you know, overthrow the government or help a terrorist build a boweapon. >> This brings us to constitutional AI. This is Anthropic's flagship safety and alignment approach. And it's time for a neural signal check. What is the core technical shift here? Because for a lot of people, AI safety just sounds like censorship. It means I'm sorry, as a large language model, I can't tell you a joke about a banana, >> right? And the fundamental shift is from thinking in terms of rules to thinking in terms of principles. >> Unpack that for me. What's the difference? Okay. So, the old method of alignment, which was mostly RLHF, reinforcement learning from human feedback, was based on a huge list of specific dos and don'ts. Don't be racist. Don't speak in Korean. Don't tell people how to hotwire a car. >> Don't think checklist of bad things. >> Exactly. But checklists are brittle. They're easy to break. You can't possibly list every single bad thing in the universe. If you have a rule that says, "Don't tell people how to hotwire a Ford," the model might turn around and tell you exactly how to hotwire a Chevy because it wasn't technically on the list. >> Or it might just tell you how to short circuit the ignition system, carefully avoiding the word hotwire. >> Exactly. It's a constant game of whack-a-ole. Constitutional AI is fundamentally different. Instead of rules, you give the model broad principles to follow. Be helpful. Be harmless. Respect the user's autonomy. Be as objective as possible. It sounds a little vague. Yeah, >> like one of those corporate values posters you see on lunchroom wall. >> To a human, maybe it does sound vague, but technically Amodai says that models trained on these broad principles generalize much better. They are more robust across an infinite number of edge cases. If the guiding principle is don't help with violence, the model can infer that hotwiring a car could be related to violence or theft without needing a specific rule about every make and model of car. >> It deres the specific rule from the general principle. Excisely. >> So, how do they update this constitution? Is it just Daario sitting in a room somewhere writing commandments on stone tablets? >> He describes it as three feedback loops. First is the internal loopanthropic's own team tweaks it based on the training data they see. If they notice the model is getting too aggressive in debates, they might tweak the politeness principle. >> Makes sense. >> Second is a competitive loop. This one is really interesting. He calls it the marketplace of personalities. >> The marketplace of personalities. I like that. >> Right. So, Open AI has a constitution. Anthropic has one. Google has one. Maybe Open AI's model is a bit more move fast and break things. And maybe Anthropics is a bit more cautious and thoughtful. The market ultimately decides which personality is more useful for which tasks. >> So if you want a yes man to just do what you say, you buy model A. If you want a more responsible, thoughtful adviser, you buy model B. >> That's the idea. And the third loop is societal. Getting input from democratic processes, from governments, from the public. But he admits that one is very, very slow. Democracy doesn't exactly run on a twoe agile sprint cycle. Speaking of democratic processes, the conversation took a pretty sharp turn into geopolitics >> and Amod has a very specific worldview here that informs their strategy. What he calls the offense dominant world. >> This is a crucial concept to understand their thinking. In military strategy, a defense dominant world means it's easier to defend your territory than to attack. Think of a medieval castle. You need a huge army to take a small castle, >> right? >> An offense dominant world means it's easier to attack. Think of nuclear weapons. You can't really defend against them. You can only deter by threatening to retaliate. >> And he's arguing that AI pushes us much further towards an offense dominant world. >> That's the big fear. Specifically in areas like cyber warfare or boweapons and AI might make it trivially easy to find a zeroday exploit in a power grid or to design a brand new dangerous pathogen. And defending against that, patching every single hole, monitoring every single biology lab in the world is much much harder than creating the attack in the first place. >> And this is the strategic justification for the export controls on chips. >> Yes, this is why the US government is denying high-end chips to China. It is a resource denial strategy. If you believe the world is offense dominant, then you believe you absolutely must maintain a compute lead over your adversaries. You need your defensive AI to be smarter than their offensive AI so you can catch the attacks before they happen. >> You need your AI to scan the code and find the bugs before their AI finds the exploits. >> That's the game theory of it. Yes. >> But I found myself asking and the host Goresh asked this too. Do you really need the best most cutting edge AI to be a villain? >> And that's the North Korea counterpoint. It's a great question. Amaday's fear isn't just about a peer competitor like China having a slightly better model. It's that you don't need soda state-of-the-art AI to effectively oppress a population. You just need good enough AI. >> A mediocre AI can still run a surveillance state perfectly well. >> It can read every email. It can listen to every phone call. It can analyze every video feed. And it can flag descent with brutal efficiency. It doesn't need to be able to write poetry to do that, >> which is a genuinely chilling thought. So, we had this global race. Can the democracies build the country of geniuses fast enough to set the rules of the road for the entire post AI world order? >> That is the geopolitical wager being made right now. Emod seems to believe that if the democratic labs get there first, they can structure the global governance of this technology to protect liberal values. If the authoritarian states get there first, well, the global equilibrium looks very, very different. >> Heavy stuff. But let's zoom back out for a moment. We've covered a lot of ground here. Scaling timelines, the economics, the geopolitics. It's a very comprehensive picture he paints. >> It really is. He's thought through a lot of the second and third order effects. >> So to recap the whole deep dive, the exponential is ending, but only because it's about to go vertical. The big blob of compute is eating everything, including reinforcement learning. Coding is the first major domino to fall. And 2026 or 2027 is the target date for a capability explosion that could look like a country of geniuses. That's a summary in a nutshell. >> Now, before we go, I have to mention one last detail from the interview that I just absolutely loved. The Daario vision quest, >> the DVQ. I laughed when I read this part. It's great. >> Yes. Apparently, Dario Amod communicates with his entire 2500 person company via these things he calls Daario vision quests. They're these long four-page memos and then unfiltered Q&A sessions. It sounds kind of funny, but when you think about it, it's actually a vital part of the internal alignment strategy. It's about creating high bandwidth trust, right? >> In a world that is moving this fast, you can't rely on generic corporate speak and powerpoints. You need every single person in the boat rowing in the exact same direction, understanding the exact same nuance. If the CEO thinks we are two years from AGI and the junior engineers think we are 10 years away, the company just tears itself apart. >> It's a really great leadership insight, actually. Okay, Neural Intel listeners, that brings us to your final provocation for the week. >> We've talked a lot today about the lag between technology and adoption. So, here is the question for you to chew on. If the country of geniuses is truly only 2 years away and corporate diffusion of new tech takes, say, 5 years, are you building your infrastructure for the AI that exists today or for the AI that will exist when your project finally launches? Because if you're spending two years building a system based on GBT4's capabilities, you might be completely obsolete before you even deploy >> precisely. You have to skate to where the puck is going to be, not where it is right now. >> We really want to hear your take on this. Is the exponential actually ending or is it just getting started? Are you buying the big blob hypothesis? Let us know in the comments. >> And don't forget to check out the full technical breakdown over at neuralinttel.org. >> Thanks for listening. We'll see you in the deep end next time. Goodbye.

안녕하세요, Neural Intel에 오신 것을 환영합니다. 정기적으로 들으시는 분이라면 이미 알고 계실 것입니다. 우리는 여기서 표면적인 이야기를 하지 않습니다. 어떤 채팅봇이 현재 환각을 보이고 있는지 또는 어떤 주식 가격이 **3%** 상승했는지에 대한 헤드라인을 읽지 않습니다. 아니요, 우리는 기술적인 문서와 인터뷰를 분석하여 신호를 찾습니다. 그것이 우리의 임무입니다. 우리는 잡음에서 신호를 추출합니다. 원본 데이터, 코드 조각, 수학, 아키텍처 다이어그램을 보시려면 neuralinttel.org를 방문하시기 바랍니다. 그곳이 실제 작업이 진행되는 곳입니다. 그리고 당연히 YouTube, Apple Podcasts, Spotify에서 구독하시기 바랍니다. 특히 이러한 분야에서 빠르게 진행되는 상황에서는 깊은 분석을 놓치지 않으려면 구독이 필수입니다.

오늘은 특별한 날입니다. 우리는 Entropic의 CEO인 Dario Amodei의 생각을 직접 들여다보는 시간입니다. 일반적으로 CEO의 말을 듣게 되면 많은 기업용 구호를 듣게 됩니다. 시너지, 패러다임 전환, 고객 만족 등 모든 버즈워드가 등장합니다. 하지만 Dario는 다릅니다. 그는 물리학자 출신입니다. 그래서 그가 말할 때, 그는 확률, 컴퓨팅 사이클, 스케일링 법칙에 대해 이야기합니다. 그는 매우 엔지니어적인 CEO입니다. 그리고 최근에 Orcesh Patel과 가진 인터뷰에서 그는 강한 이미지를描写합니다. 강한 이미지를描写한다는 것이 적절한 표현입니다. 우리는 더 좋은 맞춤법 검사기에 대해 이야기하는 것이 아닙니다. 우리는 **2-3년** 내에 데이터 센터에 천재들의 국가를 가질 수 있는 구체적인 예측에 대해 이야기합니다. 데이터 센터에 천재들의 국가, 그것은 매우 인상적인 이미지입니다. 科學小說의 시작과 같습니다.

하지만 오늘 우리의 일은 그 인용문의 과학 소설적인 분위기에 빠지지 않는 것입니다. 우리의 일은 그것을 위한 기술적인 정당성을 분석하는 것입니다. >> 음. >> 왜 그가 그것이 가능하다고 생각하는지 이유를 설명해 보세요. 인공지능의 진행에 대한 지수 곡선이 실제로 안정적인지, 아니면 많은 비평가들이 말하는 것처럼 벽에 부딪히는 것인지요? >> 그것은 정말로 **1조 달러**의 질문입니다. 곡선이 평탄화되는지, 아니면 수직으로 상승하는지, 그리고 그것이 발생하면 경제, 안전, 세계의 지구정치가 어떻게 되는지 묻는 것입니다. >> 그가 옳다면, **2027년**의 세계는 오늘날의 세계와 근본적으로 다르게 보입니다. >> 근본적으로. >> 정확히 그렇습니다. 그래서 우리는 여기서 과장된 이야기를听하지 않습니다. 우리는 여기서 메커니즘을听합니다. 그리고 메커니즘에 관해 이야기하면, 나는 이 대화를 처음부터 현실적으로 만들어야 한다고 생각합니다. 우리의 첫 번째 체크인을 시작해 보겠습니다. >> 좋습니다, 시작해 보겠습니다. 이것은 신경 신호 체크입니다. >> 좋습니다, 우리에게 그것을 알려주세요. 우리가 주목해야 할 실제 신호는 무엇입니까? >> 신호는 미디어가 사용자 인터페이스에 완전히 집착하고 있다는 것입니다. 봇이 시를 쓸 수 있나요? 재미있는 그림을 만들 수 있나요? 그것은 인간처럼 들리나요? >> 모든 프론트엔드 관련 사항. >> 모든 프론트엔드 관련 사항. 실제 이야기는 확장의 수학에 숨겨져 있습니다. 신호는 아모드가 큰 컴퓨팅 가설이라고 부르는 것입니다. 그리고 더 중요한 것은, 강화 학습 또는 RL이 수학적으로 사전 교육 확장 손실과 동일하게 학습하고 있다는 기술적 실현입니다. >> 와우, 좋습니다, 잠깐 멈추세요. 그래서 당신은 그것이 모두 하나의 큰 곡선이라고 nói하고 있습니다. >> 그것이 데이터가 암시하는 것입니다. 정확히 그렇습니다. 그것은 마법이 아직 발견하지 못한 새로운巧妙한 아키텍처에 있는 것이 아니라, 확장 자체에 있다는 것을 암시합니다. >> 와우, 그리고 그것은 다음 **24개월**에巨大한 영향을 미칩니다. 왜냐하면 그것은 로드맵을 단순화하기 때문입니다. 그것은 우리가 기적을 필요로 하지 않는다는 것을 의미합니다.

進行자: 우리가 앞으로 나아가기 전에, Dario Amodei의 주장을 이해하기 위해 몇 가지 기술적인 용어를 정의해야 합니다. **가속 컴퓨팅(Accelerated Computing)**과 **고대역폭 메모리(HBM)**는 인공지능의 발전에 중요한 역할을 합니다.

{person_name}: 그렇습니다. Dario Amodei는 인공지능의 발전이 지수적으로 증가하고 있으며, 이는 **2-3년** 내에 데이터 센터에 천재들의 국가를 가질 수 있는 구체적인 예측에 근거한다고 주장합니다. 그러나 이러한 주장은 많은 비평가들의 비판을 받고 있습니다.

進行자: 그렇다면, Dario Amodei의 주장을 뒷받침하는 기술적인 근거는 무엇일까요? 그는 인공지능의 진행에 대한 지수 곡선이 실제로 안정적인지, 아니면 벽에 부딪히는 것인지에 대해 어떻게 설명할까요?

에 대한 기술적인 근거는 무엇일까요? 그는 인공지능의 진행에 대한 지수 곡선이 실제로 안정적인지, 아니면 벽에 부딪히는 것인지에 대해 어떻게 설명할까요? 
인공지능의 발전에 대한 물리학적인 근거를 살펴보는 것이 중요합니다. 물리학적인 법칙이 성립하지 않으면, 투자하는 금액에 관계없이 일정한 속도로 발전할 수 없습니다. 
따라서 물리학적인 법칙을 이해하는 것이 중요합니다. **지수 곡선**에 대한 논의는 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 
인공지능의 발전을 이해하기 위해서는 **스케일링의 물리학**, **대규모 연구소 운영의 경제학**, **헌법적 인공지능의 기술적 구현** 등 다양한 요소를 고려해야 합니다. 
이러한 요소들은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다.

인공지능의 발전을 이해하기 위해서는 **정보이론**과 **열역학**의 법칙을 이해하는 것이 중요합니다. 
이러한 법칙들이 성립하지 않으면, 인공지능의 발전은 일정한 속도로 진행되지 않을 수 있습니다. 
따라서 이러한 법칙들을 이해하는 것이 중요합니다. 
**빅 블롭 가설**은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 
이 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 하는 **7가지 요소**를 강조합니다. 
이러한 요소들을 이해하는 것이 중요합니다.

빅 블롭 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 
이 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 하는 **7가지 요소**를 강조합니다. 
이러한 요소들을 이해하는 것이 중요합니다. 
빅 블롭 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 하는 **스케일링**의 중요성을 강조합니다. 
스케일링은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 
따라서 스케일링의 중요성을 이해하는 것이 중요합니다. 
빅 블롭 가설은 인공지능의 발전을 이해하는 데 중요한 역할을 하는 **가속 컴퓨팅(Accelerated Computing)**의 중요성을 강조합니다. 
가속 컴퓨팅은 인공지능의 발전을 이해하는 데 중요한 역할을 합니다. 
따라서 가속 컴퓨팅의 중요성을 이해하는 것이 중요합니다.

좋습니다. 여기 7가지 요소의 목록이 있습니다. 이 목록을 살펴보겠습니다. 이것은 효과적으로 천재들의 국가를 만드는 요약입니다. 첫 번째 요소, **원시 컴퓨팅 능력(Raw Compute)**입니다. 이는 매우 명백한 것으로, 엄청난 양의 **플로팅 포인트 연산(Floating-Point Operations)**이 필요합니다. 엔진이 클수록 속도가 빠르다는 것은 간단합니다. 두 번째 요소는 **데이터의 양(Quantity of Data)**입니다. 이는 또한 매우 직접적입니다. 데이터를 많이 필요로 합니다. **트리플(trillion)** 단위의 토큰이 필요합니다. 데이터가 부족하면 컴퓨팅은 아무런 의미가 없습니다.

세 번째 요소는 **데이터의 질과 분포(Quality and Distribution of Data)**입니다. 이제 이것은 조금 더 복잡해 보입니다. 단순히 데이터의 양이 많은 것이 아니라, 데이터의 질과 분포가 중요합니다. 이것은 매우 중요합니다. 데이터의 양이 많다고 해서 모두가 좋은 것은 아닙니다. 데이터의 분포가 넓고 다양해야 합니다. **GPT1**은 좋은 예입니다. **GPT1**이 주로 어떤 데이터로 학습되었는지 알고 계십니까? 인터넷이라고 생각하거나 위키피디아라고 생각할 수 있지만, 실제로는 **Book Corpus**라는 데이터셋으로 학습되었으며, 이는 대부분 자체 출판된 책과 팬픽션으로 구성되었습니다.

진짜입니까? 팬픽션입니까? 그래서 현대 AI의 조상은 본질적으로 해리 포터 대체 유니버스와 뱀파이어 로맨스를 통해 길러졌다는 뜻입니까? 본질적으로 그렇습니다. 그리고 그 매우 좁은 분포로 인해, 그것은 대부분 문학 텍스트였으며, 대화, 내러티브와 같은 것만을 잘 할 수 있었으며, 다른 것들은 할 수 없었습니다. 수학을 할 수 없었습니다. 코드를 작성할 수 없었습니다. **GPT2**로 이동하여 실제 인터넷을 스크레이핑하고, Reddit 링크, Common Crawl, 모든 지저분한 것들을 얻을 때까지, 그것은 광범위한 분포를 얻을 수 없었습니다.那种 다양성이 오늘날 우리가 보는 일반화를 가능하게 한 것입니다. 그래서 팬픽션만으로는 AGI를 구축할 수 없다는 것입니다. 그것은 진정으로 안도하는 것입니다. 그것은 시작일 뿐입니다. 만약 특이점이 나쁨 로맨스 소설에서 태어났다면, 나는 매우, 매우 우려할 것입니다. **정렬 문제(Alignment Problem)**에 대해 말입니다.

진행자: 네, 목록의 4번째, **훈련 시간**입니다. 그것을 익히게 해야 합니다. 그라디언트 디센트를 서두르지 말아야 합니다. 그것은 최적화의 물리적 과정입니다. 그것은 걸리는 시간만큼 걸립니다. 목록의 5번째, **목적 함수**입니다. 이것은 큰 문제입니다. 정말로 큰 문제입니다. 모델에게 주는 목표는 무한히 확장할 수 있어야 합니다. 만약 목표가 단지 틱택토를 하는 것이라면, 모델은 거의 즉시 학습을 마치고 더 이상 학습하지 않습니다. 그것은 정점에 도달합니다. 더 이상 갈 곳이 없습니다. 완벽하게 해결한 후에는 더 이상 좋은 것이 없습니다. 하지만 다음 토큰을 예측하는 것과 같은 목표나 복잡한 추론 문제를 해결하는 것과 같은 목표는 달에까지 확장할 수 있습니다. 그것들은 효과적으로 무한합니다.

진행자: 6번째와 7번째 항목은 함께 묶어서 설명하겠습니다. 왜냐하면 그것들은 지루하지만 필요한 엔지니어링 문제처럼 들리기 때문입니다. **정규화**와 **조건화**입니다. 이것은 플럼빙입니다. 그것은 절대적으로 중요하며 수치적 안정성에 관한 것입니다. 수십억 또는 수조 개의 매개변수를 가진 모델을 훈련할 때, 이러한 거대한 행렬 곱셈을 수행하고 있기 때문에 숫자가 너무 크면 폭발합니다. 그것을 **폭발하는 그라디언트**라고 합니다. 그리고 숫자가 너무 작으면,消失합니다. **소실되는 그라디언트**입니다. 컴퓨팅 능력을 시스템에 더 많이 투입할수록, 그것이 단지 충돌하거나 수학적 혼돈으로 발산하지는 않도록 보장해야 합니다. Amade는 훌륭한 문구를 사용합니다. 컴퓨팅의 **층류**입니다.

진행자: 층류는 유체 역학 용어입니다. 물이 파이프를 통해 매우 부드럽게 흐르는 것과 같습니다. 정확히 vậy입니다. 유체 역학에서 층류는 부드럽고, 질서정연합니다. 난류는 혼돈스럽고, 비효율적입니다. AI 훈련에서, 신경망 업데이트에서 수학적 난류나 병목 현상 없이 컴퓨팅이 부드럽게 흐르기를 원합니다. 숫자가 흐를 수 있는 부드러운 파이프가 필요합니다. 그렇습니다.

7가지 요소를 모두 갖추고 있다면, 컴퓨팅 능력, 데이터 양, 데이터 품질, 시간, 목적 함수, 그리고 모든 것을 작동시키기 위한 안정성, 특정 아키텍처는 SECONDARY하다. Blob은 그냥 작동한다. 그리고 그는 2017년부터 제기된 이 가설이 여전히 오늘날에도 유효하다고 말한다. 그것은 AI 년으로는 영원과 같은 것이다. 그것은 1800년대에 제기된 이론이 양자 물리학에서 여전히 유효하다고 말하는 것과 같다. 그는 그것과矛盾되는 것을 많이 보지 못했다고 말한다. 그리고 이것은 우리가 신호 확인에서 언급한 강화 학습(RL) 계시로 우리를 바로 데려간다. 왜냐하면 이것은 새로운 전선이다. 이것은 아무도 실제로談하지 않는 실험실 내에서 발생하는 일이다.

3년 전, 우리는 모두 사전 훈련에 대한 깔끔한 손실 곡선을 보고 있었다. 우리는 더 많은 데이터와 더 많은 컴퓨팅 능력을 추가하면 모델이 다음 단어를 예측하는 데 더 똑듚해진다는 것을 알았다. 그것은 로그 그래프上的 직선이었다. 그것은 예측 가능했다. 매우 예측 가능했다. 그러나 이제 우리는 강화 학습을 가지고 있다. 우리는 수학, 코딩, 생각하기 전에 답변하는 모델을 가지고 있다. 모든 사슬 생각에 대한 내용이다. 내 직관은 그것이 다른 프로세스여야 한다고 말한다. 그것은 다른 곡선인가? 그것은 **1조 달러**의 질문이다. 그리고 Amodei의 대답은 충격적이다. 아니오. 아니오, 그것은 다른 곡선이 아니다. 그는 강화 학습이 사전 훈련과 정확히 같은 방식으로 확장되고 있다고 주장한다. 그래서, 그것은 로그 선형이다. 컴퓨팅 능력을 두 배로 늘리면, 이유에 대한 오차를 줄이는 상수적인 감소가 있다.

그는 다른 회사들, Deep Mind, OpenAI도 이것을 발견했다고 지적한다. 수학 대회와 같은 문제에 모델을 훈련시키면, 성능의 향상은 훈련 시간이나 생성된 샘플의 양과 로그 선형적으로 관련이 있다. 그것은 같은 물리학이다. 그것은 매우 흥미롭다. 그래서 본질적으로 사전 훈련은 기본적인 능력, 세계에 대한 원시적인 지식을 제공한다. 말하자면, **원자재**이다. 그리고 강화 학습은 특정 목표를 향한 tinh chỉnh하는 또 다른 확장 단계이다.

진행자: 맞습니다. 그는 이를 GPT1에서 GPT2로의 변화와 직접적으로 비교합니다. GPT1이 팬픽션에서 훈련되었듯이, 더 다양한 데이터가 필요했듯이, RL(강화 학습)은 현재 매우 특정한 작업인 단일 수학 문제 해결에서 훨씬 더 넓은 일반화로 이동하고 있습니다. 우리는 기본적으로 큰 덩어리가 RL을 먹어치우는 것을 보고 있습니다. 이전에 언어 모델링을 먹어치운 것처럼요.

그래서 우리가 사실을 배우는 것과 추론하는 것을 배우는 것 사이에 만드는 구분은 우리가 만들어낸 인위적인 것일지도 모릅니다. 결국 모든 것은 학습입니다.

그것이 큰 의미입니다. 모든 것은 정보의 압축일 뿐입니다. 그 정보가 프랑스의 수도가 파리라는 것이든, 이 적분을 해결하는 방법이 특정 규칙을 적용하는 것이든, 신경망은 매우 유사한 방식으로 이를 처리하는 것 같습니다. 단지 패턴을 찾아내고, 압축하고, 결과를 예측하는 것입니다.

와우. 이것은 실제로 그가 생물학적 지능과 비교하여 이러한 LLM(대형 언어 모델)이 어디에 위치하는지에 대한 그의 정신 모델로 완벽하게 이어집니다. 저는 이 비유가 현재 일어나고 있는 일을 시각화하는 데 매우 유용하다고 생각했습니다. 왜냐하면 가끔은 우리가 외계인의 두뇌를 만들고 있는 것 같은 느낌이 들고, 다른 때는 인간의 두뇌를 만들고 있는 것 같은 느낌이 들기 때문입니다.

네. 학습의 계층 구조입니다. 그는 이를 세 가지 뚜렷한 층으로 나누었습니다.

좋습니다. 그러면 층을 살펴보면, 첫 번째 층은 진화입니다. 두 번째 층은 인간의 생애 학습이고, 세 번째 층은 맥락 학습입니다.

맞습니다? 그러면 아래에서부터 진화에 대해 시작해 봅시다. 진화는 궁극적인 사전 훈련입니다. 수십억 년이 걸렸습니다. 상상할 수 없는 양의 컴퓨팅이 필요했습니다. 살아있고 죽었던 모든 생물체는 이 실험의 데이터 포인트였습니다.

그것을 표현하는 훌륭한 방법입니다.

그 과정에서 무엇이 생산되었나요?

하드웨어, 우리의 두뇌 구조, 우리의 본능이 생산되었습니다.

그것은 **사전 정보**를 생산했습니다. 그것이 핵심입니다. 당신의 두뇌는 태어날 때 백지 상태가 아닙니다. 진화는 얼굴을 인식하고, 언어에 대한 경향을 가지며, 물체가 떨어지는 기본 물리학을 이해하도록 미리 연결해 놓았습니다.

아기는 무작위 숫자 생성기보다 훨씬 더 많은 것을 알고 있습니다. 아기는 내가 공을 담요 뒤에 숨기면 그 공이 아마도 여전히 거기에 있을 것이라는 것을 압니다. >> 물체 영속성(Object permanence)이죠, 하지만 LLM은 시작할 때 무작위 숫자 생성기입니다, 맞나요? 그들은 단지 무작위 소음일 뿐입니다. >> 정확합니다. 그들은 무작위 가중치로 시작하며, 단지 가우시안 노이즈(Gaussian noise)입니다. 그래서 그렇게 거대한 AI를 사전 훈련(pre-training)하는 것은 **진화**의 작업을 수행하는 것입니다. 이는 무작위 소음과 태어날 때의 인간 사이의 큰 격차를 메워줍니다.

>> 알겠습니다. 그게 완벽하게 이해가 됩니다. 그래서 사전 훈련은 진화와 같습니다. 이제 스펙트럼의 다른 끝으로 넘어가 보겠습니다. 당신은 **인컨텍스트 학습(in-context learning)**을 가지고 있습니다. 내가 문서를 클로우에 붙여넣고 요약하라고 할 때 발생하는 일이죠. 그것은 그 문서의 내용을 즉시 학습합니다. >> 맞죠? 기본적으로 그것은 작업 기억(work memory)입니다. 단기 적응(short-term adaptation)입니다. 믿을 수 없을 만큼 빠르지만, 또한 덧없습니다. 그 컨텍스트 창을 닫는 순간, 사라집니다. 마치 포스트잇 메모를 읽고 즉시 버리는 것과 같습니다.

>> 하지만 그 중간에 큰 결여가 있습니다. 바로 인간의 평생 학습 부분입니다. >> 네. 그리고 이것이 현재 문제의 핵심입니다. 인간은 평생에 걸쳐 영구적으로 학습합니다. 우리는 잠을 잘 때마다 리셋되지 않습니다. 우리는 기술을 축적하고, 정규직이 됩니다. 우리는 사무실 정치도 배우고, 배우자의 좋아하는 색깔도 배웁니다.

>> 그리고 현재 LLM은 대부분 이것을 하지 않습니다. 사실상 그렇지 않습니다. 그들은 사전 훈련이라는 진화 부분과 단기 기억 부분, 즉 컨텍스트 창을 가지고 있지만, 10년 동안 선임 엔지니어가 되는 그 중요한 중간 층이 부족합니다. 그래서 Emote는 이 결여가 문제라고 생각하나요? 왜냐하면 모델이 어제의 어떤 것도 기억하지 못한다면, 어떻게 회사를 운영할 수 있겠습니까? 매일 아침 기억상실증이 있다면 어떻게 천재가 될 수 있겠습니까? 분명히 병목 현상(bottleneck)이지만, 이것이 그가 제시하는 타임라인으로 완벽하게 전환됩니다.

그는 이것이 대규모 능력을 달성하는 데 있어 **중단 요인**(showstopper)이라고 생각하지 않습니다. 그는 우리가 그냥 힘으로 이를 극복할 수 있다고 생각합니다. >> 좋아요, 그럼 숫자로 넘어가 보죠. 이 예측은 모든 헤드라인을 장식한 부분이지만, 우리가 방금 논의한 맥락이 진정으로 중요합니다. >> 자, 그러면 여기 있습니다. 그는 **2026년** 또는 **2027년**까지 데이터 센터에서 천재들로 구성된 국가처럼 작동할 수 있는 모델을 가질 것이라고 **90%** 확신하고 있습니다. >> **90%**의 확신은 기술 세계에서 사실상 **2년** 또는 **3년** 정도 남은 예측으로는 터무니없이 높은 수치입니다. 일반적으로 **2년**이 남았다는 것은 **5년**이 남았다는 것을 의미하고, **5년**이 남았다는 것은 결코 이루어지지 않는다는 뜻입니다.

>> 오, 정말 강력한 주장입니다. 그는 물론 **불가피한 불확실성**(irreducible uncertainty)에 대한 단서를 추가합니다. 예를 들어, 세계 전쟁, 대규모 공급망 붕괴, 중국의 대만 침공 같은 것들이 확률을 낮출 수 있습니다. >> 블랙 스완(Black swans). >> 정확히 그렇습니다. 하지만 기술적 실현 가능성에 관해서, 우리가 그것을 구축할 수 있는지에 대한 질문에 대해서는 그는 길이 명확하다고 봅니다. 그는 거의 확정된 거래라고 생각합니다. 선로는 깔려 있고, 기차는 움직이고 있으며 속도를 높이고 있습니다.

>> 그렇다면 천재들로 구성된 국가는 실제로 어떤 모습일까요? 천재라는 단어는 매우 무겁습니다. 우리는 변호사 시험을 통과하는 것을 이야기하고 있나요? 그들은 이미 그걸 꽤 잘 할 수 있습니다. 아니면 IQ 테스트에서 **160**을 얻는 것을 이야기하고 있나요? >> 이건 정말 좋은 질문이고 또 다른 신경 신호 점검을 할 시간입니다. >> 해봅시다. >> 우리는 이 기술적 능력 수준을 제대로 정의할 필요가 있습니다. 단순히 정적인 객관식 시험을 통과하는 것만이 아닙니다. Amodei는 검증된 작업(verified tasks)과 검증되지 않은 작업(unverified tasks) 사이의 중요한 구분을 만듭니다.

>> 검증된 작업은 코딩 같은 것들입니다. 맞죠? 그것은 작동하거나 작동하지 않습니다. 컴파일러가 판사이자 배심원입니다. >> 맞습니다. 이것은 폐쇄 루프(closed loop)입니다. 환경은 명확한 피드백을 제공합니다. 그리고 그 검증된 작업에 대해서 Amodei는 우리가 기본적으로 거의 도달했거나 **12개월**에서 **18개월** 이내에 도달할 것이라고 생각합니다.

모델은 해결책을 생성합니다. 환경이 그것을 검증합니다. 끝났습니다. >> 하지만 천재들의 나라에서 요구하는 기준은 검증되지 않은 작업에서의 성공입니다. >> 그 엉망인 것들, 소설을 쓰거나 화성으로의 임무를 계획하거나 새로운 약물을 발명하는 것과 같은 엉망인 것들입니다. 단순히 유닛 테스트를 실행해서 올바른지 확인할 수 없는 것들입니다. 판단과 취향이 필요한 것들입니다. >> 정확히 그렇습니다. 그가 사용하는 특정 테스트 케이스는 제가 좋아하는 비디오 편집기 테스트입니다. >> 이 예시가 너무 완벽하다고 생각한 이유는 정말 공감할 수 있기 때문입니다. 그는 이렇게 말합니다. "지금 우리가 녹화하고 있는 이 인터뷰에서 작업 중인 비디오 편집기를 상상해 보세요." >> 맞죠? >> 그들은 단순히 스크립트를 기반으로 클립을 자르는 것이 아닙니다. 그들은 끊임없이 수백 개의 작은 판단을 내리고 있습니다. 아, Daario가 거기서 머리를 긁었네요. 그건 어색해 보입니다. 잘라버립시다. 아니면 이 포인트는 정말 흥미롭습니다. 조금 확대해 봅시다. >> 취향이 필요합니다. 바로 그 단어입니다. 호스트의 선호도, 청중의 반응 가능성, 템포, 전체 내러티브 흐름을 이해해야 합니다. 훌륭한 비디오 편집자는 당신이 요청하기도 전에 당신이 원하는 것을 알고 있습니다.

>> 그리고 이것은 평생 학습의 그 잃어버린 연결고리로 다시 돌아옵니다. 모델이 매 세션마다 리셋된다면, 어떻게 6개월 동안 제 특정한 취향을 배울 수 있을까요? 어떻게 제 전담 비디오 편집자가 될 수 있을까요? 매일 아침 제 스타일 가이드를 처음부터 설명해야 한다면, 그것은 천재가 아니라 인턴입니다. >> 그리고 꽤 짜증나는 인턴이죠. >> 정확히 그렇습니다. 그래서 Amod는 이 병목 현상에 대한 두 가지 기술적 해결책을 제안합니다. 첫 번째는 꽤 강력한 컨텍스트 확장입니다. >> 그냥 창을 더 크게 만들면 됩니다. >> 훨씬 더 크게요. 수백만 개의 토큰. 당신의 관계의 전체 역사, 당신이 승인한 모든 편집, 모든 Slack 메시지, 모든 스타일 가이드를 매번 프롬프트에 집어넣는 것입니다. >> 그러니까 배우는 것이 아니라 정말 빠르게 읽는 것뿐입니다. >> 정확합니다. 그리고 그는 이것이 근본적인 연구 문제가 아니라 엔지니어링 문제라고 주장합니다.

KV 캐시 저장소에 관한 것입니다. >> KV 캐시, 키-값 캐시. 우리는 최적화 논문에서 이 용어를 자주 듣습니다. 비전문가 청중을 위해 설명해 주실 수 있나요? 그게 무엇인가요? >> 물론입니다. LLM이 텍스트를 처리할 때, 각 토큰에 대해 중간 수학적 표현인 키와 값을 계산하고 이를 저장합니다. 이렇게 하면 다음 단어를 생성할 때마다 다시 계산할 필요가 없습니다. 에세이를 작성할 때 모든 노트를 책상 위에 펼쳐 놓는 것과 같습니다. >> 그러니까 메모리 절약 트릭이군요. >> 맞습니다. 하지만 그 저장소 자체가 매우 비싼 GPU 메모리를 대량으로 차지합니다. 그래서 컨텍스트 윈도우를 수백만 개의 단어로 크게 만들면 그 캐시는 엄청나게 커집니다. 이는 배관 문제입니다. 수천 개의 GPU에 걸쳐 그 방대한 양의 메모리를 효율적으로 관리하는 방법은 무엇인가요?

>> 하지만 배관 문제는 해결할 수 있습니다. 비싸긴 하지만 해결할 수 있습니다. >> 네, 충분한 엔지니어링 노력과 자금이 있다면 해결할 수 있습니다. 그가 제안하는 두 번째 해결책은 지속적인 학습입니다. 실제로 새로운 상호작용에 따라 모델의 가중치를 즉시 업데이트하는 것입니다. 이것이 바로 성배, 진정한 학습입니다. >> 맞죠? Emma Day는 이것이 1~2년 안에 실제로 해결될 수 있다고 생각합니다. 하지만, 여기서 정말 흥미로운 점은, 그는 그것이 천재 수준에 도달하는 데 필요하지 않을 수도 있다고 생각합니다.

>> 정말로, 진정한 학습이 필요하지 않군요. >> 그는 방대한 컨텍스트 윈도우가 평생 학습을 시뮬레이션하는 데 충분할 수 있다고 제안합니다. 만약 컨텍스트에 백만 개의 단어를 담을 수 있다면, 이는 인간의 독서 시간으로 며칠 또는 몇 주에 해당하는 양입니다. 그 정도면 모델이 그 기초적인 뇌를 영구적으로 변화시키지 않고도 일을 할 수 있을 것입니다. >> 그러니까 천재의 나라는 완벽한 사진 단기 기억을 가진 기억상실증 천재들의 나라일 수 있습니다. >> 정말, 정말 정확한 표현입니다.

그들은 매일 아침 완전히 빈 마음으로 일어나지만, 10초 만에 당신의 전체 기업 역사를 읽고 마치 수년간 충성스러운 직원인 것처럼 행동할 수 있습니다. 그리고 Amod는 그 능력이 **조 trillions**의 경제적 가치를 창출하기에 충분하다고 생각합니다.

>> 그는 그렇게 생각합니다. >> 이로 인해 우리는 코딩에 대해 이야기하게 됩니다. 만약 천재들이 있는 나라라면, 그들이 소프트웨어를 작성할 수 있을 것이라고 확실히 생각할 수 있습니다. 그리고 그들이 소프트웨어를 작성할 수 있다면, 그들은 다음 세대의 자신들을 만들어야 하지 않을까요? 제 말은, 그게 바로 고전적인 특이점 루프입니다.

>> 코딩은 절대적으로 첫 번째 도미노입니다. Emma Day는 이 점을 매우 분명히 하고 있습니다. 하지만 여기서 정의를 조심해야 합니다. 사람들은 AI 코딩을 듣고 즉시 내일 모든 소프트웨어 엔지니어를 대체할 것이라고 생각합니다. >> 맞죠? 그리고 그는 소프트웨어 엔지니어링(SWE)의 스펙트럼을 제시합니다. 그는 이게 이분법적이지 않다고 말합니다. 인간 대 AI가 아니라, 진행 과정입니다.

>> 정확합니다. 이것은 이러한 뚜렷한 단계들을 통해 진행됩니다. 1단계는 **90%**의 코드 라인이 AI에 의해 작성됩니다. >> 우리는 거의 그 수준에 도달했죠, 그렇죠? 제 말은, 저는 C-pilot을 사용하고, Claude를 사용합니다. 그들은 많은 경우 저를 위해 대부분의 보일러플레이트 코드를 작성했습니다.

>> 네, 맞습니다. 하지만 사실 그건 꽤 약한 지표입니다. 코드 라인을 작성했다고 해서 그 코드가 작동하거나 잘 설계되었다는 의미는 아닙니다. 그래서 2단계는 **100%**의 코드 라인이 AI에 의해 작성됩니다. >> 그 시점에서는 당신은 단지 리뷰어일 뿐입니다. >> 그렇죠? 그 다음에는 더 흥미로워집니다. 3단계는 **90%**의 작업이 AI에 의해 수행됩니다.

>> 작업. 알겠습니다. 그게 핵심 구분입니다. 코딩은 타이핑입니다. 소프트웨어 엔지니어링은 주로 고통입니다. 컴파일링, 환경 설정, 라이브러리 버전이 잘못되었다는 것을 깨닫고, 당신이 한 일을 설명하는 메모를 작성하고, 병합 충돌을 수정하는 모든 그 영광스러운 잡일은 실제로 코드를 타이핑하는 것이 아니지만, 코딩이 이루어지기 위해서는 절대적으로 필요합니다. 그리고 마지막으로 4단계는 **100%**의 작업이 AI에 의해 수행됩니다.

그 시점에서, 당신은 단순히 비즈니스 목표를 제시합니다. >> 그리고 Emma는 Anthropic의 자신의 엔지니어들이 이미 이 스펙트럼을 빠르게 이동하고 있다고 말합니다. 그들은 Clawude를 사용하여 GPU 커널을 작성하고 있는데, 이는 정말 어려운 저수준 최적화 작업으로, 예전에는 수작업으로 작성해야 했습니다. >> 이는 이러한 연구소 내에서 **막대한** 생산성 향상을 의미합니다. 하지만 이는 역설을 제기합니다, 그렇지 않나요? 기술이 이미 이렇게 좋다면, 왜 지금 경제가 호황이 아니죠? 왜 올해 전 세계 GDP가 **10%** 상승하지 않았나요? 코딩이 **50%** 더 빠르다면, 소프트웨어 생산은 급증해야 합니다. >> 이것이 바로 확산 지연입니다. >> 네. 기술적으로 가능한 것과 경제적으로 통합된 것 사이의 간극입니다. Amodei는 여기서 매우 실용적이고 명확한 시각을 가지고 있습니다. 그는 Claude 코드의 예를 제시합니다. >> 그게 그들의 명령줄 인터페이스 도구죠? CLI. >> 네. 개별 개발자는 그것을 다운로드하고 실제로 **5분** 안에 사용을 시작할 수 있습니다. 붐. 그들의 생산성이 향상됩니다. 하지만 대기업, 은행, 제약회사, 정부 기관은, >> 아, 잊어버리세요. 법적 검토가 필요합니다. 보안 준수 검사가 필요합니다. CTO의 승인이 필요합니다. **6개월**의 변화 관리 프로세스가 필요합니다. 전체 직원을 재교육해야 합니다. AI가 실수로 주요 생산 데이터베이스를 삭제하는 명령을 환각하지 않도록 반드시 확인해야 합니다. >> 정확히 그렇습니다. AI가 오늘날 완벽하게 작업을 수행할 수 있다 하더라도, 대기업이 그것을 어떻게 작업하게 할지를 알아내는 데 **2년**이 걸릴 수 있습니다. 그는 이를 기업 면역 체계라고 부릅니다. 새로운 것을 공격하여 유기체를 안정적으로 유지하려고 하며, 새로운 것이 더 나은 경우에도 그렇습니다. 그래서 예측은 AGI, 즉 천재들의 나라가 **2026년**에 도착한다는 것입니다. 하지만 경제적 특이점, 즉 GDP가 수직으로 상승하는 지점은 그보다 **2년에서 5년** 뒤에 올 수 있습니다. >> 인간의 마찰 때문에요. 더 이상 기술적 병목 현상이 아닙니다. 사회적이고 조직적인 문제입니다. 그는 이를 약물 발견에 비유합니다.

AI가 내일 암 치료제를 발명한다고 해도, 즉 분자 구조를 실제로 출력한다고 해도, 여전히 그것을 합성해야 합니다. FDA 시험을 통과해야 하고, 제조하고 유통해야 합니다. >> 컴퓨팅 부분은 빠르지만, 물리적 세계의 부분은 느립니다. >> 그게 전체 이야기입니다. >> 하지만 그는 이 확산이 영원히 걸릴 것이라는 생각에 반박합니다. 그렇죠? 그는 느리지 않을 것이라고 말합니다. 그의 인용은 "빠르지만 무한히 빠르지는 않을 것" 같은 내용이었습니다. >> 그렇죠? 그는 즉각적으로 다이슨 구(Dyson spheres)가 하룻밤 사이에 나타날 것이라고 생각하지 않습니다. 그러나 그는 산업 혁명에서 전기가 공장을 완전히 장악하는 데 걸린 50년과 같을 것이라고도 생각하지 않습니다. 그 중간의 복잡한 상황이 될 것입니다. >> 왜냐하면 채택에 대한 압력이 무시할 수 없을 만큼 높을 것이기 때문입니다. >> 경쟁 압력은 엄청날 것입니다. 만약 당신의 경쟁자가 그것을 사용하고 당신이 사용하지 않는다면, 당신은 단순히 사라질 것입니다.

압력에 대해 이야기하자면, 돈에 대해 이야기해봅시다. 실험실 자체의 경제에 대해 이야기해봅시다. Anthropic의 수익 곡선을 보면, 정말 미친 수준입니다. 순수한 지수 함수입니다. 매년 **10배** 성장하고 있으며, **1억 달러**에서 **10억 달러**, 그리고 **100억 달러**로 예상되고 있습니다. 그건 정말 수직선입니다. >> 만약 제가 매년 **10배** 성장하는 회사를 가지고 있다면, 저는 샴페인을 터뜨리고 요트를 살 것입니다. 하지만 아마이(Amay)가 이 이야기를 할 때, 그는 스트레스를 받는 것처럼 들립니다. 그는 파산의 위험에 대해 이야기하고 있습니다. >> 이것은 자본 지출(CAPEX) 베팅이며, 무서운 고위험 포커 게임입니다. >> 자, 그들이 하고 있는 게임을 설명해봅시다. 베팅은 무엇이었나요?

모델은 규모가 커질수록 더 좋아진다는 것을 알고 있습니다. 당신은 Anthropic이고, **2027년**을 위해 가장 크고 가장 강력한 데이터 센터를 구축하고 싶습니다. 그 비용이 **1000억 달러** 또는 몇 년에 걸쳐 **1조 달러**가 될 수 있다고 가정해봅시다. >> 오늘 Nvidia에서 GPU를 주문해야 하고, 오늘 유틸리티 회사와 전력 계약을 체결해야 합니다.

진행자: 오늘날 물리적 데이터 센터를 구축해야 합니다. >> 그들은 지금 당장 모든 현금을 만들어냈습니다. >> 그러나 그 모든 비용을 지불할 수 있는 수익은 정해진 시간에 도착하는 천재들의 나라에 달려 있습니다. 당신은 아직 구축하지도 않은 모델이 그 **1조 달러**를 회수할 만큼 똑똑할 것이라고 베팅하고 있습니다. >> 아, 문제를 알겠습니다. 이것은 도박사의 파산입니다. >> 정확히 그렇습니다. 다음 단계의 능력이 도착하는 시점을 **1년** 잘못 예측하면, 예를 들어 **2027년**이 아닌 **2028년**에 도착한다고 하면, 당신은 끝장입니다. **1조 달러**의 부채가 생깁니다. 데이터 센터는 막대한 전기 요금을 발생시키고 있지만, 제품은 아직 필요한 막대한 수익을 창출할 만큼 똑똑하지 않습니다. 당신은 파산하게 됩니다. 그래서 그들은 이 거대한 기하급수적 파도를 타고 있으며, 너무 앞으로 기울어져서 너무 많은 돈을 쓰면 망하게 됩니다. 하지만 너무 뒤로 기울어져서 충분히 지출하지 않으면 OpenAI나 Google과 같은 경쟁자가 먼저 천재의 나라에 도달해 그들은 무의미해집니다.

이것은 믿을 수 없을 만큼 미세한 선을 걷는 것이며, 그가 말하기를 이 역학은 연구소가 추상적인 안전 이유뿐만 아니라 자신의 기업 생존을 위해 책임을 지도록 강요한다고 합니다. 그리고 그는 이것이 그들이 특정 연도에 수익성이 있거나 없었던 이유를 설명한다고 말합니다. 나는 그것이 매력적이라고 생각했습니다. >> 네. 그는 **옥수수 평형**이라는 개념을 언급했습니다. 그건 나에게 경제학 101의 회상처럼 들렸습니다. >> 나도요. >> 네. >> 이 특정 맥락에서 그것은 무엇인가요? >> 그것은 AI 연구소와 같이 소수의 기업만 있는 산업을 위한 경제 모델입니다. 그는 그들의 내부 경제를 이렇게 설명합니다. 당신은 사용 가능한 컴퓨팅의 약 **50%**를 훈련에 사용합니다. 그것은 다음 모델을 구축하는 R&D입니다. 그리고 나머지 **50%**는 추론에 사용합니다. 그것은 고객에게 서비스를 제공하고 실제로 수익을 창출하는 것입니다. >> 알겠습니다. 그건 꽤 균형 잡힌 분배처럼 보입니다. >> 그렇습니다. 하지만 여기에는 완전히 반직관적인 반전이 있습니다. 이상하게도, 수익은 연구소가 고객 수요를 과소평가할 때 주로 발생합니다. >> 잠깐, 정말로요?

그것은 뒤바뀐 것처럼 보입니다. 보통은 많은 제품을 판매할 때 수익이 발생하잖아요. >> 생각해 보세요. 수요를 과소평가했다는 것은 R&D 노력과 모든 신규 고객을 서비스하기 위해 충분한 칩을 구매하지 않았다는 의미입니다. 그래서 유료 고객을 서비스하기 위해 R&D 예산에서 컴퓨팅 자원을 빼와야 합니다. >> 그러면 다음 모델에 대한 연구가 느려지겠군요. >> R&D는 느려지지만, 비용에 비해 수익은 환상적으로 보입니다. 그래서 수익을 올리게 됩니다.

반대로, 수요를 과대평가하면 >> 너무 많은 칩을 구매하게 됩니다. 그러면 유휴 컴퓨팅 자원이 그냥 남아 있게 되죠. 그럼 어떻게 하겠습니까? 모든 것을 R&D에 쏟아붓습니다. 다음 모델에 대한 놀라운 진전을 이루지만, 재무제표는 끔찍하게 보입니다. 왜냐하면 비용이 너무 높고 예상보다 낮은 수익이 있기 때문입니다. 그래서 현재 AI 연구소에서의 수익성은 사실상 잘못된 계획 또는 최소한 지나치게 보수적인 계획의 징후입니다.

이 특정한 **하이퍼 성장** 단계에서는 그렇습니다. 그렇습니다, 이는 다음 지수적 단계를 구축하는 데 충분히 공격적으로 재투자하지 않고 있다는 것을 암시합니다. 만약 큰 수익을 내고 있다면, 그 논리는 더 많은 GPU를 구매했어야 한다는 것입니다. >> P&L 보고서를 이렇게 보는 것은 정말 기발하네요. 아, 이번 분기에 수익을 올렸군요. 우리는 실패하고 있습니다. >> 이것이 특이점의 논리입니다. 성장률이 연간 **10배**일 때는 일반 비즈니스 규칙이 적용되지 않습니다. 당신은 미친 속도로 성장하고 있거나 죽어가고 있습니다. 중간은 없습니다.

좋습니다, 이제 방향을 바꿔봅시다. 큰 전환입니다. 기술, 일정, 돈에 대해 이야기했습니다. 이제 안전성에 대해 이야기해야 합니다. 왜냐하면 우리가 실제로 천재들의 나라를 만들고 있다면, 그들이 정부를 전복하거나 테러리스트가 무기를 만드는 데 도움을 주지 않도록 해야 할 것입니다. >> 이것은 헌법적 AI로 이어집니다. 이것은 Anthropic의 주요 안전 및 정렬 접근 방식입니다. 그리고 이제 신경 신호 점검을 할 시간입니다. 여기서 핵심 기술 변화는 무엇인가요? 많은 사람들에게 AI 안전은 단순히 검열처럼 들리거든요.

죄송하지만, 대형 언어 모델로서 바나나에 대한 농담을 할 수는 없습니다. >> 맞죠? 그리고 근본적인 변화는 규칙에 대한 사고에서 원칙에 대한 사고로 전환되는 것입니다. >> 그걸 좀 더 자세히 설명해 주세요. 차이가 무엇인가요? 알겠습니다. 구식 정렬 방법은 대부분 RLHF(인간 피드백을 통한 강화 학습)에 기반하여 특정한 해야 할 일과 하지 말아야 할 일의 방대한 목록에 의존했습니다. 인종차별을 하지 마세요. 한국어로 말하지 마세요. 자동차를 뜯는 방법을 알려주지 마세요. >> 나쁜 것들의 체크리스트를 생각하지 마세요. >> 정확히 그렇습니다. 하지만 체크리스트는 취약합니다. 쉽게 무너질 수 있습니다. 우주에 존재하는 모든 나쁜 것을 나열할 수는 없습니다. "포드를 뜯는 방법을 알려주지 마세요"라는 규칙이 있다면, 모델은 기술적으로 목록에 없기 때문에 쉐비를 뜯는 방법을 정확히 알려줄 수 있습니다. >> 아니면 '핫와이어'라는 단어를 피하면서 점화 시스템을 단락시키는 방법을 알려줄 수도 있습니다. >> 정확히 그렇습니다. 이는 끊임없는 **whack-a-mole** 게임입니다. 헌법적 AI는 근본적으로 다릅니다. 규칙 대신 모델이 따를 수 있는 넓은 원칙을 제공합니다. 도움이 되세요. 해롭지 않게 하세요. 사용자의 자율성을 존중하세요. 가능한 한 객관적이 되세요. 약간 모호하게 들리네요. 네, >> 점심실 벽에 붙어 있는 기업 가치 포스터 중 하나처럼 들리네요. >> 인간에게는 아마 모호하게 들릴 수 있지만, 기술적으로 Amodai는 이러한 넓은 원칙으로 훈련된 모델이 훨씬 더 잘 일반화된다고 말합니다. 이들은 무한한 수의 엣지 케이스에서도 더 강력합니다. 만약 안내 원칙이 폭력에 도움을 주지 않는 것이라면, 모델은 자동차를 뜯는 것이 폭력이나 절도와 관련이 있을 수 있다는 것을 특정한 규칙 없이도 추론할 수 있습니다. >> 이는 일반 원칙에서 특정 규칙을 파생합니다. 정확히 그렇습니다. >> 그렇다면 이 헌법을 어떻게 업데이트하나요? Daario가 어딘가의 방에 앉아 돌판에 계명을 쓰고 있는 건가요? >> 그는 이를 세 가지 피드백 루프로 설명합니다.

첫 번째는 내부 루프입니다. Anthropic의 팀이 그들이 보는 훈련 데이터를 기반으로 모델을 조정합니다. 만약 그들이 모델이 논쟁에서 너무 공격적으로 변하고 있다고 느끼면, 공손함 원칙을 조정할 수 있습니다. >> 이해가 됩니다. >> 두 번째는 경쟁 루프입니다. 이 부분은 정말 흥미롭습니다. 그는 이를 '개성의 시장'이라고 부릅니다. >> 개성의 시장. 마음에 드네요. >> 맞습니다. Open AI는 헌법이 있습니다. Anthropic도 하나 있습니다. Google도 하나 있습니다. 아마 Open AI의 모델은 좀 더 '빠르게 움직이고, 부수는' 경향이 있을 것이고, Anthropic의 모델은 좀 더 신중하고 사려 깊을 것입니다. 결국 시장이 어떤 개성이 어떤 작업에 더 유용한지를 결정합니다.

따라서 만약 당신이 단순히 당신이 말하는 대로만 하는 예스맨이 필요하다면, 모델 A를 구매합니다. 만약 더 책임감 있고 사려 깊은 조언자가 필요하다면, 모델 B를 구매합니다. >> 그게 아이디어입니다. 세 번째 루프는 사회적 루프입니다. 민주적 과정, 정부, 대중으로부터 입력을 받는 것입니다. 하지만 그는 이 부분이 매우, 매우 느리다고 인정합니다. 민주주의는 정확히 두 개의 민첩한 스프린트 주기로 운영되지 않습니다. 민주적 과정에 대해 이야기하자면, 대화는 지정학으로 급격히 전환되었습니다. >> 그리고 Amod는 그들의 전략을 형성하는 매우 구체적인 세계관을 가지고 있습니다. 그가 부르는 '공격 우위 세계'입니다.

이것은 그들의 사고를 이해하는 데 중요한 개념입니다. 군사 전략에서 방어 우위 세계는 자신의 영토를 방어하는 것이 공격하는 것보다 더 쉽다는 것을 의미합니다. 중세 성을 생각해 보세요. 작은 성을 점령하려면 거대한 군대가 필요합니다. >> 맞죠? >> 공격 우위 세계는 공격하는 것이 더 쉽다는 것을 의미합니다. 핵무기를 생각해 보세요. 그것에 대해 방어할 수는 없습니다. 보복하겠다고 위협함으로써만 억제할 수 있습니다. >> 그는 AI가 우리를 공격 우위 세계로 훨씬 더 나아가게 만든다고 주장하고 있습니다. >> 그것이 큰 두려움입니다. 특히 사이버 전쟁이나 생물 무기와 같은 분야에서 AI는 전력망에서 제로데이 취약점을 찾거나 완전히 새로운 위험한 병원체를 설계하는 것을 매우 쉽게 만들 수 있습니다.

그에 대한 방어, 즉 모든 구멍을 패치하고 전 세계의 모든 생물학 연구소를 모니터링하는 것은 공격을 처음 시작하는 것보다 훨씬 더 어렵습니다. >> 이것이 바로 칩에 대한 수출 통제의 전략적 정당화입니다. >> 맞습니다. 이것이 미국 정부가 중국에 고급 칩을 공급하지 않는 이유입니다. 자원 차단 전략입니다. 만약 당신이 세상이 공격 우위라고 믿는다면, 당신은 적들에 대해 반드시 컴퓨팅 우위를 유지해야 한다고 믿게 됩니다. 당신의 방어 AI는 그들의 공격 AI보다 더 똑똑해야 하며, 그래야 공격이 발생하기 전에 이를 포착할 수 있습니다. >> 당신의 AI는 코드를 스캔하고 그들의 AI가 취약점을 찾기 전에 버그를 찾아야 합니다. >> 이것이 게임 이론입니다. 맞습니다.

하지만 저는 스스로에게 질문을 던졌고, 진행자 Goresh도 이 질문을 했습니다. 정말로 악당이 되기 위해 가장 최첨단 AI가 필요합니까? >> 이것이 북한의 반론입니다. 정말 좋은 질문입니다. Amodei의 두려움은 단순히 중국과 같은 동등한 경쟁자가 약간 더 나은 모델을 갖는 것에 관한 것이 아닙니다. 당신은 인구를 효과적으로 억압하기 위해 최첨단 AI가 필요하지 않습니다. 충분히 좋은 AI면 됩니다. >> 평범한 AI도 감시 국가를 잘 운영할 수 있습니다. >> 모든 이메일을 읽을 수 있고, 모든 전화 통화를 들을 수 있으며, 모든 비디오 피드를 분석할 수 있습니다. 그리고 반대 의견을 잔인하게 효율적으로 표시할 수 있습니다. 이를 위해 시를 쓸 수 있는 능력이 필요하지 않습니다. >> 이는 정말로 오싹한 생각입니다.

그래서 우리는 이 글로벌 경쟁을 하고 있습니다. 민주주의 국가들이 AI 이후의 세계 질서를 위한 규칙을 설정할 만큼 충분히 빠르게 천재들을 양성할 수 있을까요? >> 이것이 현재 이루어지고 있는 지정학적 내기입니다. Emod는 민주주의 연구소가 먼저 도달한다면 이 기술의 글로벌 거버넌스를 구조화하여 자유주의 가치를 보호할 수 있다고 믿는 것 같습니다. 만약 권위주의 국가들이 먼저 도달한다면, 글로벌 균형은 매우 다르게 보일 것입니다. >> 무거운 이야기입니다. 하지만 잠시 시야를 넓혀 보겠습니다.

우리는 여기서 많은 내용을 다뤘습니다. **스케일링 타임라인**, **경제학**, **지정학** 등. 그가 그리는 그림은 매우 포괄적입니다. >> 정말 그렇습니다. 그는 많은 **2차** 및 **3차** 효과에 대해 깊이 고민했습니다. >> 그러면 전체 내용을 요약하자면, **지수적 성장**은 끝나고 있지만, 이는 수직으로 상승할 준비가 되어 있기 때문입니다. **컴퓨팅**의 큰 덩어리가 모든 것을 흡수하고 있으며, **강화 학습**도 포함됩니다. **코딩**이 첫 번째 주요 도미노가 무너지는 것입니다. 그리고 **2026년** 또는 **2027년**이 천재들의 나라처럼 보일 수 있는 **능력 폭발**의 목표 날짜입니다. 요약하자면 이렇습니다. >> 이제 가기 전에, 제가 정말 좋아했던 인터뷰의 마지막 세부사항을 언급해야 합니다. **Daario 비전 퀘스트**, >> **DVQ**입니다. 이 부분을 읽었을 때 웃었습니다. 정말 멋집니다. >> 네. apparently, Dario Amodei는 그의 **2500명**의 직원들과 이러한 것을 통해 소통합니다. 그가 **Daario 비전 퀘스트**라고 부르는 것입니다. 이들은 긴 **4페이지** 메모와 필터링되지 않은 **Q&A** 세션입니다. 듣기에는 좀 웃기게 들리지만, 생각해보면 이는 내부 정렬 전략의 중요한 부분입니다. **고대역폭 신뢰**를 만드는 것이죠, 맞죠? >> 이렇게 빠르게 움직이는 세상에서는 일반적인 기업 언어와 **파워포인트**에 의존할 수 없습니다. 모든 사람이 같은 방향으로 노를 저어야 하며, 같은 뉘앙스를 이해해야 합니다. 만약 CEO가 우리가 **AGI**까지 **2년** 남았다고 생각하고, 주니어 엔지니어들이 **10년** 남았다고 생각한다면, 회사는 스스로 찢어질 것입니다. >> 사실, 이는 정말 훌륭한 리더십 통찰입니다. 자, Neural Intel 청취자 여러분, 이제 여러분의 마지막 도전 과제로 넘어갑니다. >> 오늘 우리는 기술과 채택 사이의 **지연**에 대해 많이 이야기했습니다. 그래서 여러분이 고민해볼 질문이 있습니다. 만약 천재들의 나라가 정말로 **2년**밖에 남지 않았다면, 새로운 기술의 기업 확산이 **5년** 걸린다고 가정할 때, 여러분은 오늘 존재하는 **AI**를 위한 인프라를 구축하고 있습니까, 아니면 여러분의 프로젝트가 마침내 출시될 때 존재할 **AI**를 위한 인프라를 구축하고 있습니까?

만약에 여러분이 **GBT4**의 능력에 기반한 시스템을 **2년** 동안 구축한다면, 여러분이 시스템을 배포하기도 전에 완전히 구식이 될 수도 있습니다. 정확하게 말하자면, 여러분은 현재 공이 있는 곳에서 스케이트를 타고 있는 것이 아니라, 공이 갈 곳에서 스케이트를 타고 있어야 합니다. 우리는 정말로 여러분의 의견을 듣고 싶습니다. 지수적 성장은本当に 끝나고 있습니까, 아니면 이제 시작하는 것입니까? 여러분은 큰 블롭 가설을 믿고 있습니까? 댓글로 알려주세요.

또한 **neuralinttel.org**에서 전체 기술 분석을 확인하지 않으면 안 됩니다. 듣고 계신 모든 분께 감사합니다. 다음에는 더 깊은 곳에서 뵙겠습니다. 안녕히 계세요. 진행자는 이번 회의를 마무리하며, 다음 회의에서 또 다시 만날 것을 약속합니다.