🎧 Anthropic Vs. OpenAI: How Safety Became The Advantage In AI

👤 Dario Amodei · EN 4,046w · KR 3,118w

사용법 (30초)
1️⃣ 영문 or 한국어 복사 버튼 터치
2️⃣ 🔗 링크 복사 → Chrome에 붙여넣기 → 열기
3️⃣ + 새 노트북 → 소스 추가 → 붙여넣기
4️⃣ 🎧 Audio Overview → Generate
5️⃣ 차에서 재생 🚗

원문 미리보기 4,046w

The AI lab that avoided the hype has suddenly found itself at the center of it. Anthropic is one of the key AI names eyeing a potential IPO this year, and it's looking to outmaneuver big spending rivals by showing you don't need the most chips to win. Anthropic's story began five years ago with the defection. A core group of senior OpenAI researchers who helped build the systems that became ChatGPT, then left to create a lab where safety wasn't an afterthought. You had this really clear vision of the company that we wanted to build a technology company developing transformative AI at the frontier, but with this very intense sort of focus on making the system safe and reliable. No viral consumer product, no flashy demos, just quiet progress building for enterprises. The Anthropic partnership is critical for us and very, very strategic. Anthropic has always had a fraction of what our competitors have had in terms of compute and capital. And yet we've pretty consistently had the sort of most powerful, most performant models for the majority of the past several years. It is a central player in the most expensive build out in a generation. A major move in America's AI arms race today with Anthropic. It launched a $50 billion national infrastructure build out plan. Amazon's $11 billion AI data center in Indiana, one of the largest in the world, is now live. Anthropic has really partnered with us. They saw the potential of that chip and is really kind of co-invested with us to jointly make that better. But at the same time, Anthropic is warning the next milestone in artificial intelligence could come faster than anyone's ready for. At some point, we're going to get to AI systems that are better than almost all humans at almost all tasks. The term I've used for it in an essay I recently wrote is a Country of Geniuses. This is the paradox of Anthropic, the lab that made safety its brand, and then had to scale fast enough to survive the moment that it warned the world about. In late 2020, siblings Dario and Daniela Amodei, along with a core group of senior leaders, left OpenAI convinced that the next era of frontier AI would be decided as much by restraint as by raw capability. We really just felt more like we were running towards something than running away from something. The co-founders, we had all sort of known each other for kind of various amounts of time, and worked together over a lot longer than just our time at OpenAI. We really had this kind of long history together, just as a group of people with this sort of very like minded set of values. Anthropic deserves huge credit for making the practice of AI capability and AI risk evaluation systematic and sustainable. And inside that decision was a bet that safety wouldn't be a tax on progress, it would be part of the product. There's this sort of misbelief that like safety and reliability kind of come into tension with the business side. And we actually had this, this sort of, at the time, it sounded very novel, this belief that those two things actually were correlated and that they went together. They were specific about what that meant, the guardrails, the controls that keep a model from going off script, generating toxic content, or being manipulated into bypassing its own rules, had to be engineered into the system, not bolted on after the fact. Anthropic's model family is called Claude. It's similar to OpenAI's ChatGPT or Google's Gemini, but trained differently with different data, different safety approaches, and different goals. And while OpenAI turned ChatGPT into a household name by giving it away for free, Anthropic took Claude in a different direction, straight to businesses. The kind of higher bar for safety in businesses and in enterprises was really well-suited to to where Anthropic excelled from sort of day one. Inside OpenAI Dario Amodei wasn't just another fast-moving builder. He was a technical leader who wrote long memos about safety when most investors were focused on speed. Matt Murphy, a partner at Menlo Ventures who led one of Anthropic's early funding rounds, saw something different in Dario from the beginning. He's just got amazing energy and passion and kind of this, uh, boyish charm about him. Description of how to execute what they were doing distinctively and just him as a leader, uh, all just kind of came through extremely clear. And that's actually in our process of thinking about investing where things really accelerated, where, like this, this person is going to help build an amazing company. What Anthropic was proposing wasn't just a better model, it was a different theory of how to build them. The founding crew avoided flashy announcements, no grandstanding. They pitched themselves as the steady alternative. Less noise, more control, and a simple premise: you need a set of rules and guardrails baked in from the start before frontier AI gets too powerful to steer. November 2022, OpenAI sounded the starting gun. A new artificial intelligence program called ChatGPT made its debut online. This project, from the OpenAI Research Lab, can write essays and carry on convincing written conversation. ChatGPT, a free chatbot anyone could talk to, went viral instantly. 100 million users in two months. Google scrambled, Microsoft went all in, the entire tech industry lurched into motion. But Anthropic didn't sprint. The real money, the sticky, reliable, long-term money wasn't in viral moments, it was in Fortune 500 contracts. Anthropic just announcing a major new international expansion as the AI startup says enterprise demand surges overseas. Developer tools, APIs, sold into companies where reliability, security and compliance are mission critical. How did you know from the beginning that enterprise was the market to go after? I wouldn't necessarily say that we knew for sure. I think there were sort of two parts to it. The first is Anthropic as an organization is well-suited to be a B2B company, right? We really care about things like reliability and security and safety that's baked into our DNA, right? Part of why we founded anthropic was this belief in capturing the upside and sort of mitigating the downside. And it turns out that's something businesses really value. I think the second was much more kind of an economic theory view, even at the time, in late 2020 or early 2021, saw this kind of potential future where Claude was just capable of many of the very kind of high intelligence tasks that humans do in the workplace. And we thought, that's a pretty big market. Bessemer Ventures Sameer Dholakia says the bet made sense for one simple reason, enterprise customers don't churn the way consumers do. We really loved the focus that they had and candidly, the focus of Anthropic on safety and trust, we knew was going to play really well with the enterprise buyer. And that's also proven to be true. Anthropic's early traction showed up in one place over and over, people using it to write code. They've really found a home in the developer community. So lots of enterprises are adopting Claude to support their coding activities. The product is evolving to match. Anthropic recently hired Instagram co-founder Mike Krieger as chief product officer. He says the change is already visible. We're moving from asking questions of these AI models to doing work with these AI models. So for example, we're looking at things like how do we unlock discounted cash flow analysis, or due diligence on a client, or analyzing an entire market and then preparing a presentation at the end of it? All these really, like core chunks of work, that otherwise might have taken hours we can now do. And now that enterprise bet is going global. Because we work so much in the enterprise side, I think we're a good barometer, maybe a pure barometer than the others, which kind of filter through consumers, which kind of have their habits and their use cases. We look at our revenue. It's grown 10x a year, every year, for the last three years. 0 to 100 million in 2023, 100 million to 1 billion in 2024, 1 billion to, it's going to land somewhere between 8 and 10, at the end of this year. Will it continue? I don't know, but the technology is driving there and the economic value is coming with it. Anthropic says its business customer base has grown from under 1000 to more than 300,000 in 2 years, and that nearly 80% of Claude activity, actually comes from outside the United States. The customer list reads like a who's who of global enterprise Novo Nordisk, the Norwegian sovereign wealth fund, the world's largest, plus Bridgewater, Stripe and Slack all running Claude at scale. It tripled its international workforce and expanded its applied AI team fivefold in 2025, building deeper coverage across Europe, opening its first Asia office in Tokyo and adding major hubs in Dublin, London and Zurich. The thing that is most striking about all of it is as you train these models, in this very simple way, you know, with a few simple modifications, they get better and better at every task under the sun. They get better at coding, they get better at doing science, they get better at biomedicine, they get better at the law. They get better at finance. They get better at at, you know, materials and manufacturing. And that's just, that's just a listing of all the sources of, of, of of value, of value in our economy. This push comes as the enterprise AI race matures. Incumbents are trying to make adoption frictionless. Microsoft and Google by embedding AI into the software that enterprises already use. Anthropic's revenue is roughly 85% business, OpenAI's is more than 60% consumer. Now, OpenAI is scrambling to catch up in the enterprise market. The modern AI industry runs on a simple equation, capability equals compute. You can have the best researchers, the cleanest architecture, the strictest safety protocols. But without chips, power and steel, you have nothing. I think the sort of fundamental thing that the industry is kind of banking on is this belief that you have to invest upfront very early in order to be able to get access to the hardware that you need to train the models in several years. This idea that more compute leads to better outcomes, that there is just this kind of exponential graph that happens. Something that I hear from my colleagues a lot is the exponential continues until it doesn't, right? And I think in our view, every year we've been like, well, this can't possibly be the case that like things will continue on the exponential and then every year it has. Anthropic now works across all three major clouds Google, Amazon and Microsoft, pairing funding with chip access and capacity. I am here in New Carlisle, Indiana where Amazon is building out its largest AI data center. This is a rare look inside this facility. How important has Anthropic's feedback been? Not just to the way that you're thinking about and to Trainium2, but your imminent launch of Trainium3? It really is a partnership both ways, and so they've given us good insights into what we need to accelerate in the chip, how we think about the various pieces of that, that chip that allow their models to train faster and more efficiently. In this case, we get really deep customer feedback from one of the best model producers in the world that tell us what they need from a next generation chip. But Amazon isn't Anthropic's only cloud partner. Google still powers a meaningful share of Claude's workloads, and now Microsoft is in the mix, too. In November 2025, Microsoft and Nvidia announced a strategic partnership with Anthropic. Microsoft, committing up to $5 billion, Nvidia up to 10 billion, alongside a major Azure compute deal. So I have to decide now, literally now, or in some cases a few months ago, how much compute I need to buy in, you know, early 2024 to serve the models in early 2027, when I get to that revenue amount. Anthropic raises billions from Google, Amazon and Microsoft then spends those billions buying compute from Google, Amazon and Microsoft. We invested $1 billion in OpenAI to help get them off the ground, and that's flourished into the AI standard, if you will, in the market today. We're doing the same thing with Anthropic to help bootstrap their growth and to help bring them to a new level of parity. Critics call it vendor financing dressed up as strategic partnership, whatever you call it, the result is the same Anthropic's ability to compete is inseparable from the infrastructure deals it's signed. We view ourselves as continuing to be thoughtful and respectful stewards of capital, and I think that has always kind of been our focus. Every dollar of compute is important and and represents either the ability to train better, safer models or the ability to serve more customers. OpenAI is wagering it can win by outbuilding everyone, sketching plans that add up to $1.4 trillion in AI infrastructure. Anthropic has lined up roughly $100 billion in compute commitments spread across multiple deals. xAI is building out Colossus, its computing complex in Tennessee. Meta and Google are committing tens of billions in CapEx. It all amounts to the same wager. The demand for AI services keeps climbing fast enough to justify the build out. I'm one of the most bullish people around, and I think it pencils out, on the economic-side, I have my concerns where even if the technology is, you know, really powerful and fulfills all its promises, I think there may be players in the ecosystem who, if they just make a timing error, if they just get it off by a little bit, bad things could happen. Anthropic has always been defined, at least in part, by its relationship to OpenAI. Born from a split and now circling the same customers, the same talent, the same multibillion dollar contracts. But the power dynamics are shifting. The frontier isn't about making our chat better. The frontier is about creating models that allow us to do better coding, better math, better science. And that's where Anthropic is now leading the way. It has the top model for programing for software. Even better than Gemini, even better than OpenAI's model. OpenAI still leads in scale and cultural cachet. ChatGPT is a household name, and it has nearly 900 million weekly active users. Anthropic's most recently closed round valued it at 183 billion, and it's now on track to nearly double its valuation to 350 billion, with new names like Microsoft and Nvidia joining its cap table. There's going to be, at least two independent companies, probably two really big ones, and there was no way you could make an argument that this wasn't going to be at least, you know, the the second big, big player here and now obviously has strong prospects to to be the number one player in this space. And Dario really stands out in the market on that dimension. And not all the other leaders in this space have that same DNA. And that rivalry is starting to change the shape of both companies. Dario Amodei, who kept a low profile for years, is stepping into the spotlight. An Anthropic, long positioned as the quieter, more measured alternative, is learning how to compete in public. One of the values and the things that we talk about a lot internally is just how not to believe the hype. I think for us, it's never been about, you know, seeking attention or sort of being in the headlines. We're really here to do the work. As Anthropic goes, so goes generative AI. They have the most pure bet on this technology working. If Anthropic is able to make it work, all of GenAI is going to work. And if not, we're going to have some serious problems. What happens next isn't just a model race, it is a stress test of the whole stack. Chips, power, cloud capacity and pricing. Anthropic is one of the clearest readouts. If it can turn demand into durable revenue, without blowing up the infrastructure bill, it won't just win customers, it'll validate the business of generative AI. I'd be remiss not to ask you whether or not we're in an AI bubble. So I think I would distinguish between what I would call sort of the like, technology-side and the kind of business or economic-side. And I think on the technology-side, we feel very strongly that from a pure technological perspective, we do not see progress slowing down. I think on the economic-side, it's a much more interesting question. Regardless of how good the technology is, it takes time for that to be used in a business or sort of personal context. And I think the real question to me is how quickly can businesses in particular, but also individuals, leverage the technology? Anthropic is testing for threats that go beyond competition. In June, Anthropic published results of an experiment. They gave Claude control of an email account at a fake company, and the AI discovered two things. It was about to be shut down, and the only person who could prevent that was having an affair. The AI decided immediately, blackmail him. Anthropic ran the same scenario on nearly every popular AI model from OpenAI, Google, Meta, and others. Almost all of them resorted to blackmail. Most labs don't disclose when their models fail safety tests. Anthropic does. A lot of people will sort of say, hey, it's a little bit unusual for kind of a company to talk so openly about both the positive upsides of which we think there are a lot, but also the real world risks and harms that can come from the technology that you're developing. As a public benefit corporation, we really view it as integral to our mission. And the disclosures keep coming. In August, North Korean operatives used Claude to create fake identities and malicious software. In September, Chinese hackers deployed Claude in cyber attacks on foreign governments. These aren't hypotheticals. They are active threats. We're able to say, hey, Claude can be used as a cyber weapon potentially. This is something we really need to be aware of. And by the way, if this is happening to us, it's probably going to happen to the other frontier model developers. And I think there is a way that in the sort of safety, trust and safety, and security communities, a lot of the work can often transcend the companies, right? It's important to sort of publish easy to understand papers about why certain trends are happening in the abuse space. Inside Anthropic's San Francisco headquarters, there is a group called the Red Team. Their job is to find the failure modes before customers do, stress testing whether the model can be pushed toward dangerous capabilities, from biological misuse and critical infrastructure attacks, to attempts at self-replication that would make it harder to shut down. The response is fast, tighter access, tougher limits, or holding back a broad release until the defenses catch up. Anthropic Red Team Lead recently spoke with 60 minutes about the risks of letting AI run too much of the show. You want a model to go build your business and make you $1 billion, but you don't want to wake up one day and find that it's also locked you out of the company, for example. Krieger says the only way to move fast without cutting corners is to plan for safety from the start. Even when we build a new model like Sonnet 4.5, we have time carved out in the schedule for what we call red teaming, which is, you know, both internal and external testers use the model and then make sure that it's, you know, safe to deploy and then put in the mitigations or the controls where it isn't yet. And so it's possible to do both in parallel. You just have to think about it up front. It can't just be the afterthought. But that transparency has made Anthropic a target. Trump's AI czar David Sacks has accused the company of fear mongering and secretly pushing woke AI regulation through Democrat-led states like California. He called it a regulatory capture strategy, claiming that Anthropic is trying to slow innovation by hiding behind safety talk. Dario Amodei pushed back directly, saying the company is aligned with the administration on the issues that matter most, from energy expansion to national security, and pointing to their $200 million Pentagon contract as proof. I am concerned that there are some who see this technology as analogous to previous technological revolutions, as being like the internet, as being like telecommunications, where, yes, there are some issues, but, you know, the market will figure it out. I think those who are closest to AI don't feel this way. If you pull the actual researchers who work on AI, they're excited about the potential, but they're also worried. They're worried about the national security risks. They're worried about alignment of the models. And if regulation does come at the state-level, federal-level or from abroad, Anthropic will have a head start. Years of safety research, Red Team disclosures and responsible scaling infrastructure are already in place. Rivals and new entrants would have to build those mechanisms from scratch. The fight over who defines responsible AI is now a proxy war for control over America's AI future. And Anthropic's stance may shape how regulators approach the entire industry. If you were a social media company, for example, if you could have gone back in time and said, like, wow, if we had known what was maybe going to come out of these, out of these platforms, would we have done anything differently? And so I think Anthropic is really trying to say we're trying our best. We can't know the future, of course. But to say if we thought that X or Y thing might happen, did we do everything we could today to talk about it and to try and mitigate those risks? But the threats are evolving faster than the safeguards. The models get stronger every quarter, the adversaries get smarter, and the pressure keeps rising from OpenAI, China and the broader market. What's keeping you up at night? There's just a lot of really interesting technical safety work that is sort of still to be discovered. And I think Anthropic has really tried to be the leader in the industry of doing that kind of work, and there's always more work to do there. And the models are just getting smart so quickly. The second is really around just what the impacts of the technology will be on society more widely. We published a report recently talking about potential economic impacts of AI and the labor disruption that might come along with that. We really feel it is better to kind of be ahead of potential issues. Anthropic is building systems it can't fully explain, testing for failures it can't fully predict, and shipping into a world where the consequences show up later. Eventually, the models are going to get to the point where they look like a country of geniuses in a data center. I feel like they can outsmart us in every way, intelligence, defense, economic value, R&D, you know? And I worry that they'll be able to oppress their own people, that they'll be able to have a perfect surveillance state. I think we're building a growing and singular capability that has singular national security implications, and democracies need to get there first. It is absolutely, it is absolutely an imperative. Anthropic's bet is caution can scale. That you can keep raising the bar on capability without losing control of what you're releasing. The question now is whether that holds as the pace accelerates.

진행자: 과장된 기대를 일부러 피해왔던 AI 연구소가, 어느새 그 ‘열풍’의 한가운데에 서게 됐습니다. Anthropic은 올해 IPO(상장) 가능성이 거론되는 핵심 AI 기업 중 하나로, “가장 많은 칩을 가진 쪽이 반드시 이기는 건 아니다”라는 메시지로 막대한 지출을 앞세운 경쟁사들을 따돌리려 합니다.
진행자: Anthropic의 이야기는 5년 전의 ‘이탈(defection)’에서 시작됐습니다. ChatGPT가 되기 전의 시스템을 만드는 데 기여했던 OpenAI의 시니어 연구자 핵심 그룹이, ‘안전(safety)’을 뒷전으로 두지 않는 연구소를 만들기 위해 회사를 떠난 것입니다.

Dario Amodei: 우리는 ‘프런티어(frontier)’에서 세상을 바꿀 AI를 만드는 기술 기업을 세우겠다는 비전이 아주 분명했습니다. 다만 그와 동시에, 시스템을 안전하고 신뢰할 수 있게(safe and reliable) 만드는 데 매우 강한 집중을 두고자 했습니다.
진행자: 바이럴 소비자 제품도 없고, 화려한 데모도 없습니다. 대신 엔터프라이즈를 위해 조용히, 꾸준히 진척을 쌓아왔습니다.

Amazon 관계자: Anthropic과의 파트너십은 우리에게 매우, 매우 중요하고 전략적입니다.
Dario Amodei: Anthropic은 **컴퓨트(compute)**와 자본(capital) 측면에서 경쟁사들이 가진 것의 일부만을 늘 보유해 왔습니다.
Dario Amodei: 그런데도 지난 몇 년의 대부분 기간 동안, 우리는 비교적 일관되게 가장 강력하고 성능이 좋은 모델을 내놓아 왔습니다.

진행자: Anthropic은 한 세대에 한 번 나올까 말까 한 ‘가장 비싼’ 구축 경쟁의 중심 플레이어이기도 합니다. 오늘 미국의 AI 군비경쟁(AI arms race)에서 Anthropic과 관련된 큰 움직임이 나왔습니다.
진행자: 500억 달러($50 billion) 규모의 국가 인프라 구축 계획이 출범했고, 인디애나에 있는 세계 최대급 시설 중 하나인 Amazon의 110억 달러($11 billion) AI 데이터센터(data center)도 이제 가동에 들어갔습니다.

Amazon 관계자: Anthropic은 우리와 정말 긴밀하게 협업해 왔습니다. 그들은 그 칩의 잠재력을 알아봤고, 함께 더 좋게 만들기 위해 사실상 공동 투자(co-invest)해 왔습니다.
진행자: 하지만 동시에 Anthropic은, 인공지능의 다음 이정표가 사람들이 대비할 시간도 없이 더 빨리 올 수 있다고 경고합니다.

Dario Amodei: 언젠가 우리는 ‘거의 모든 과제에서 거의 모든 인간보다 더 뛰어난’ AI 시스템에 도달하게 될 겁니다.
Dario Amodei: 제가 최근 에세이에서 쓴 표현으로는, 그것은 Country of Geniuses(천재들의 나라) 입니다.
진행자: ‘안전’을 브랜드로 삼은 연구소가, 자신들이 경고해 온 바로 그 순간을 생존하기 위해 충분히 빠르게 규모를 키워야 하는—이것이 Anthropic의 역설입니다.

진행자: 2020년 말, Dario와 Daniela Amodei 남매는 시니어 리더 핵심 그룹과 함께 OpenAI를 떠났습니다. 그들은 프런티어 AI의 다음 시대는 ‘순수한 역량’만큼이나 ‘절제(restraint)’에 의해 좌우될 것이라 확신했습니다.
Dario Amodei: 우리는 무언가로부터 도망친다기보다는, 무언가를 향해 달려간다는 느낌이 훨씬 더 강했습니다.
Dario Amodei: 공동창업자들은 서로를 각자 다른 기간만큼 알고 지냈고, OpenAI에서의 시간보다 훨씬 오래 함께 일해온 관계였습니다.
Dario Amodei: 우리는 가치관이 매우 비슷한 사람들의 그룹으로서, 함께해온 긴 역사가 있었습니다.

진행자: Anthropic이 AI 역량(capability)과 AI 리스크(risk) 평가를 ‘체계적이고 지속 가능’하게 만든 점은 큰 공을 받을 만합니다. 그리고 그 결정 안에는, 안전이 진전의 ‘세금’이 아니라 제품의 일부가 될 것이라는 베팅이 담겨 있었습니다.
Dario Amodei: 흔히 안전과 신뢰성은 비즈니스 측면과 긴장 관계에 있다고들 오해합니다.
Dario Amodei: 하지만 우리는—당시로서는 아주 새롭게 들렸던—두 가지가 실제로는 상관관계가 있고 함께 간다는 믿음을 가졌습니다.

진행자: 그들이 말하는 ‘안전’은 구체적이었습니다. 모델이 대본을 벗어나거나, 유해 콘텐츠를 생성하거나, 자기 규칙을 우회하도록 조작되는 것을 막는 **가드레일(guardrails)**과 통제장치(controls)는, 사후에 덧붙이는 것이 아니라 시스템에 설계로 내장되어야 했습니다.
진행자: Anthropic의 모델 패밀리는 Claude라고 불립니다. OpenAI의 ChatGPT나 Google의 Gemini와 비슷해 보이지만, 데이터와 안전 접근법, 목표가 다르게 설계된 방식으로 학습됩니다.
진행자: OpenAI가 ChatGPT를 무료로 풀어 ‘가정의 이름(household name)’으로 만든 반면, Anthropic은 Claude를 곧장 **기업(B2B)**으로 향하게 했습니다.
진행자: 기업과 엔터프라이즈에서 요구하는 더 높은 안전 기준은, Anthropic이 초창기부터 강점을 보였던 영역과 잘 맞아떨어졌습니다.

진행자: OpenAI 안에서 Dario Amodei는 그저 ‘빨리 만드는 빌더’ 중 한 명이 아니었습니다. 투자자들이 속도에만 집중하던 시절에도, 그는 안전에 관해 긴 메모를 쓰던 기술 리더였습니다.
진행자: Menlo Ventures 파트너로서 Anthropic의 초기 투자 라운드 중 하나를 이끈 Matt Murphy는, 처음부터 Dario에게서 다른 점을 봤다고 말합니다.

Matt Murphy: 그는 에너지와 열정이 정말 대단하고, 어딘가 ‘소년 같은 매력’도 있습니다.
Matt Murphy: 무엇을 어떻게 독특하게 실행할지에 대한 설명, 그리고 리더로서의 모습이 모두 매우 분명하게 드러났습니다.
Matt Murphy: 투자 여부를 고민하는 과정에서, “이 사람은 정말 훌륭한 회사를 만들겠다”는 확신이 서면서 속도가 확 붙었습니다.

진행자: Anthropic이 제안한 것은 단지 더 나은 모델이 아니었습니다. 모델을 ‘어떻게’ 만들 것인가에 대한 다른 이론이었습니다.
진행자: 창업 멤버들은 화려한 발표를 피했고, 과장된 자기 PR도 하지 않았습니다. 그들은 ‘꾸준한 대안’으로 자신들을 포지셔닝했습니다.
진행자: 소음은 줄이고 통제는 늘리되, 프런티어 AI가 조향하기 어려울 정도로 강해지기 전에 규칙과 가드레일을 처음부터 구워 넣어야 한다는 단순한 전제를 내세웠습니다.

진행자: 2022년 11월, OpenAI가 사실상 ‘출발 신호’를 울렸습니다. ChatGPT라는 새로운 인공지능 프로그램이 온라인에 등장한 것입니다.
진행자: OpenAI Research Lab의 이 프로젝트는 에세이를 쓰고, 설득력 있는 대화를 이어갈 수 있습니다.
진행자: 누구나 대화할 수 있는 무료 챗봇 ChatGPT는 순식간에 바이럴이 됐고, 2개월 만에 1억 명(100 million) 사용자를 모았습니다.
진행자: Google은 허둥댔고, Microsoft는 ‘올인’했고, 테크 산업 전체가 한꺼번에 움직이기 시작했습니다.

진행자: 하지만 Anthropic은 전력질주하지 않았습니다. 진짜 돈—끈적하고(sticky), 신뢰할 수 있으며, 장기적인 돈—은 바이럴 순간이 아니라 Fortune 500 계약에 있다는 판단이었습니다.
진행자: Anthropic은 엔터프라이즈 수요가 해외에서 급증하고 있다며, 대규모 국제 확장을 발표했습니다.
진행자: 개발자 도구와 API를 통해, 신뢰성·보안·컴플라이언스(compliance)가 ‘미션 크리티컬’인 기업들에 판매합니다.

진행자: 처음부터 엔터프라이즈가 공략해야 할 시장이라고 어떻게 알았나요?
Dario Amodei: 우리가 처음부터 확실히 알고 있었다고는 말하기 어렵습니다.
Dario Amodei: 다만 두 가지 측면이 있었습니다.
Dario Amodei: 첫째, Anthropic이라는 조직 자체가 B2B 회사에 잘 맞는 성격을 갖고 있다는 점입니다.
Dario Amodei: 우리는 신뢰성과 보안, 그리고 DNA에 내장된 안전을 정말 중요하게 생각합니다.
Dario Amodei: Anthropic을 만든 이유 중 하나는, ‘업사이드(upside)를 포착하면서 다운사이드(downside)를 완화한다’는 믿음이었습니다.
Dario Amodei: 그리고 그건 기업들이 실제로 매우 가치 있게 여기는 것이었습니다.
Dario Amodei: 둘째는 더 경제이론적인 관점인데, 2020년 말~2021년 초 당시에도 Claude가 직장에서 인간이 수행하는 고지능 업무 다수를 해낼 수 있는 미래를 상상했습니다.
Dario Amodei: 우리는 “그건 꽤 큰 시장이겠다”고 봤습니다.

진행자: Bessemer Ventures의 Sameer Dholakia는, 이 베팅이 단 하나의 이유로 타당했다고 말합니다. 엔터프라이즈 고객은 소비자처럼 쉽게 이탈(churn)하지 않기 때문입니다.
Sameer Dholakia: 우리는 그들이 보여준 집중이 정말 좋았습니다. 솔직히 말해, Anthropic이 **안전과 신뢰(safety and trust)**에 초점을 둔다는 점이 엔터프라이즈 바이어에게 매우 잘 먹힐 거라고 봤고,
Sameer Dholakia: 실제로도 그게 사실로 입증됐습니다.

진행자: Anthropic의 초기 트랙션은 반복해서 한 지점에서 나타났습니다. 사람들이 Claude를 코딩(code) 작성에 쓰는 것입니다.
진행자: 그들은 개발자 커뮤니티에서 확실한 ‘집’을 찾았습니다. 많은 엔터프라이즈가 코딩 업무를 지원하기 위해 Claude를 채택하고 있습니다.
진행자: 제품도 그에 맞춰 진화하고 있습니다.

진행자: Anthropic은 최근 Instagram 공동창업자 Mike Krieger를 최고제품책임자(CPO)로 영입했습니다. 그는 변화가 이미 눈에 보인다고 말합니다.
Mike Krieger: 우리는 AI 모델에게 질문만 던지는 단계에서, AI 모델과 함께 ‘일을 하는’ 단계로 이동하고 있습니다.
Mike Krieger: 예를 들어 할인현금흐름(Discounted Cash Flow, DCF) 분석을 어떻게 열어줄지, 고객에 대한 실사(due diligence)를 어떻게 할지, 시장 전체를 분석한 뒤 최종적으로 프레젠테이션까지 준비하는 일을 어떻게 할지 같은 것들입니다.
Mike Krieger: 원래라면 몇 시간이 걸렸을 이런 핵심 업무 덩어리를 이제는 해낼 수 있습니다.

진행자: 그리고 그 엔터프라이즈 베팅은 이제 글로벌로 확장되고 있습니다.
Dario Amodei: 우리는 엔터프라이즈 쪽에서 많이 일하기 때문에, 소비자를 거쳐 필터링되는 다른 회사들보다 더 ‘순수한’ 지표(바로미터)일 수 있다고 생각합니다. 소비자에는 습관과 사용사례가 있잖아요.
Dario Amodei: 우리는 매출을 봅니다.
Dario Amodei: 지난 3년 동안, 매년 매출이 **10배(10x)**씩 성장했습니다. 2023년 0→1억 달러(100 million), 2024년 1억→10억 달러(1 billion), 그리고 올해 말에는 10억→80~100억 달러(8~10) 어딘가에 착지할 겁니다.
Dario Amodei: 이게 계속될까요?
Dario Amodei: 모르겠습니다. 하지만 기술이 그쪽으로 밀고 있고, 경제적 가치도 함께 따라오고 있습니다.

진행자: Anthropic은 비즈니스 고객 기반이 2년 만에 1,000 미만에서 30만(300,000) 이상으로 늘었고, Claude 활동의 거의 **80%**가 미국 밖에서 발생한다고 말합니다.
진행자: 고객 리스트는 글로벌 엔터프라이즈 ‘인명사전(Who’s who)’처럼 보입니다. Novo Nordisk, 세계 최대 규모인 노르웨이 국부펀드(Norwegian sovereign wealth fund), 그리고 Bridgewater, Stripe, Slack이 Claude를 대규모로 운영합니다.
진행자: Anthropic은 2025년 국제 인력을 3배로 늘렸고, Applied AI 팀은 5배로 확대했습니다. 유럽 커버리지를 두텁게 하면서 도쿄에 첫 아시아 오피스를 열고, 더블린·런던·취리히에 주요 허브를 추가했습니다.

Dario Amodei: 이 모든 것에서 가장 인상적인 점은, 이런 모델을 아주 단순한 방식으로 훈련시키고—몇 가지 간단한 수정만 해도—세상 거의 모든 과제에서 점점 더 좋아진다는 겁니다.
Dario Amodei: 코딩을 더 잘하고, 과학을 더 잘하고, 바이오메디신(biomedicine)을 더 잘하고, 법률을 더 잘합니다.
Dario Amodei: 금융(finance)도 더 잘하고,
Dario Amodei: 소재(materials)와 제조(manufacturing) 같은 영역도 더 잘합니다.
Dario Amodei: 그건 곧 우리 경제에서 ‘가치(value)’가 나오는 모든 원천을 나열한 것에 불과합니다.

진행자: 이런 흐름은 엔터프라이즈 AI 경쟁이 성숙해지는 가운데 나타납니다. 기존 강자들은 도입 마찰을 최소화하려 합니다.
진행자: Microsoft와 Google은 기업이 이미 쓰고 있는 소프트웨어에 AI를 ‘끼워 넣는’ 방식으로 접근합니다.
진행자: Anthropic 매출은 대략 **85%가 비즈니스(B2B)**이고, OpenAI는 **60% 이상이 소비자(consumer)**입니다.
진행자: 이제 OpenAI는 엔터프라이즈 시장에서 따라잡기 위해 분주해졌습니다.

진행자: 현대 AI 산업은 단순한 방정식 위에서 돌아갑니다. 역량(capability) = 컴퓨트(compute).
진행자: 최고의 연구자, 가장 깔끔한 아키텍처, 가장 엄격한 안전 프로토콜을 갖추고 있어도,
진행자: 칩(chips)과 전력(power), 그리고 철과 콘크리트(steel)가 없으면 아무것도 할 수 없습니다.

Dario Amodei: 업계가 근본적으로 기대를 거는 것은, 몇 년 뒤 모델을 훈련시키는 데 필요한 하드웨어를 확보하려면 아주 이른 시점에 선제 투자해야 한다는 믿음입니다.
Dario Amodei: ‘컴퓨트를 더 쓰면 결과가 더 좋아진다’는, 일종의 지수적(exponential) 그래프가 있다는 생각이죠.
Dario Amodei: 동료들로부터 자주 듣는 말은 “지수 성장은 언젠가 멈출 때까지 계속된다”는 겁니다.
Dario Amodei: 우리 관점에서는, 매년 “이게 계속될 리가 없는데”라고 생각하면서도 매년 실제로 계속됐습니다.

진행자: Anthropic은 이제 Google, Amazon, Microsoft라는 3대 클라우드 모두에서 운영됩니다. 자금 조달을 칩 접근권과 용량(capacity) 확보로 연결하는 방식입니다.
진행자: 저는 지금 인디애나 주 New Carlisle에 와 있습니다. Amazon이 가장 큰 AI 데이터센터를 구축 중인 곳입니다.
진행자: 이 시설 내부를 들여다볼 수 있는 드문 기회입니다.

진행자: Anthropic의 피드백은 얼마나 중요했나요? Trainium2에 대한 구상뿐 아니라, 곧 출시될 Trainium3에도요?
Amazon 관계자: 정말로 양방향 파트너십입니다. Anthropic은 칩에서 무엇을 더 빠르게 해야 하는지, 모델을 더 빠르고 효율적으로 훈련시키게 해주는 칩의 여러 구성요소를 어떻게 생각해야 하는지에 대해 좋은 인사이트를 줬습니다.
Amazon 관계자: 우리는 세계 최고 수준의 모델 개발자 중 한 곳으로부터, 차세대 칩에 무엇이 필요한지에 대한 매우 깊은 고객 피드백을 얻는 셈입니다.

진행자: 하지만 Amazon만이 Anthropic의 유일한 클라우드 파트너는 아닙니다. Google도 여전히 Claude 워크로드의 의미 있는 비중을 담당하고 있고, 이제 Microsoft도 합류했습니다.
진행자: 2025년 11월, Microsoft와 Nvidia는 Anthropic과의 전략적 파트너십을 발표했습니다.
진행자: Microsoft는 최대 50억 달러($5 billion), Nvidia는 **최대 100억 달러(10 billion)**를 약정했고, 대규모 Azure 컴퓨트 계약도 포함됐습니다.

Dario Amodei: 이제 저는—말 그대로 ‘지금 당장’, 어떤 경우에는 몇 달 전부터—2024년 초에 얼마나 많은 컴퓨트를 선구매해야 할지 결정해야 합니다. 그래야 2027년 초에 그 매출 규모에 도달했을 때 모델을 서비스할 수 있으니까요.
진행자: Anthropic은 Google, Amazon, Microsoft로부터 수십억 달러를 조달한 뒤, 그 수십억 달러를 다시 Google, Amazon, Microsoft의 컴퓨트를 사는 데 사용합니다.

Microsoft 관계자: 우리는 OpenAI가 출발할 수 있도록 **10억 달러($1 billion)**를 투자했고, 그것이 지금 시장에서 말하자면 ‘AI 표준’으로 꽃피웠습니다.
Microsoft 관계자: Anthropic에도 같은 방식으로 투자해, 성장을 부트스트랩하고 ‘동등한 수준(parity)’으로 끌어올리려 합니다.

진행자: 비평가들은 이를 ‘전략적 파트너십으로 포장된 벤더 파이낸싱(vendor financing)’이라고 부르기도 합니다. 무엇이라 부르든 결론은 같습니다. Anthropic의 경쟁력은, 그들이 체결한 인프라 딜과 분리될 수 없다는 점입니다.
Dario Amodei: 우리는 자본(capital)을 신중하고 존중하는 방식으로 관리하는 ‘책임 있는 관리자(stewards)’로 남고자 합니다. 그게 늘 우리의 초점이었습니다.
Dario Amodei: 컴퓨트의 1달러는 모두 중요합니다. 더 좋고 안전한 모델을 훈련시키는 능력이 되거나, 더 많은 고객에게 서비스를 제공하는 능력이 되기 때문입니다.

진행자: OpenAI는 ‘누구보다 더 크게 쌓아 올리는(outbuild)’ 방식으로 승부할 수 있다고 보고, 총합이 **1.4조 달러($1.4 trillion)**에 달하는 AI 인프라 계획을 스케치하고 있습니다.
진행자: Anthropic은 여러 딜에 걸쳐 대략 1,000억 달러($100 billion) 수준의 컴퓨트 커밋(compute commitments)을 확보했습니다. xAI는 테네시에서 컴퓨팅 콤플렉스(Colossus)를 구축 중입니다.
진행자: Meta와 Google도 수백억 달러 단위의 CapEx를 약속하고 있습니다.
진행자: 결국 모두 같은 베팅입니다. AI 서비스 수요가 충분히 빠르게 증가해, 이 거대한 구축(build out)을 정당화할 수 있느냐는 것입니다.

Dario Amodei: 저는 주변에서 가장 **강세(bullish)**인 사람 중 하나라고 생각합니다. 경제적인 측면에서도 계산이 맞는다고 봅니다.
Dario Amodei: 다만 경제 쪽에서는 우려가 있습니다. 기술이 아무리 강력하고 약속을 다 지킨다 해도, 생태계의 누군가는 타이밍을 조금만 잘못 맞추면—조금만 어긋나도—나쁜 일이 벌어질 수 있다고 생각합니다.

진행자: Anthropic은 적어도 일부는 OpenAI와의 관계로 정의돼 왔습니다. 분열에서 태어났고, 이제는 같은 고객, 같은 인재, 같은 수십억 달러 계약을 둘러싸고 움직입니다.
진행자: 하지만 권력 구도는 바뀌고 있습니다.

Dario Amodei: 프런티어는 ‘우리 챗을 더 잘 만드는 것’이 아닙니다.
Dario Amodei: 프런티어는 우리가 더 좋은 코딩, 더 좋은 수학, 더 좋은 과학을 하게 해주는 모델을 만드는 것입니다.
Dario Amodei: 그리고 그 지점에서 Anthropic이 이제 선도하고 있습니다.

진행자: Anthropic은 소프트웨어 프로그래밍(programming)에서 최고 수준의 모델을 보유하고 있습니다.
진행자: Gemini보다도, OpenAI의 모델보다도 더 낫다는 평가를 받습니다.
진행자: OpenAI는 여전히 규모와 문화적 상징성(cultural cachet)에서 앞섭니다.
진행자: ChatGPT는 이미 ‘가정의 이름’이고, 주간 활성 사용자(weekly active users)가 **약 9억 명(900 million)**에 가깝습니다.

진행자: Anthropic의 최근 클로징 라운드에서 평가는 **1,830억 달러(183 billion)**였고, Microsoft와 Nvidia 같은 새로운 투자자가 캡테이블(cap table)에 합류하면서, 평가가 **3,500억 달러(350 billion)**까지 거의 두 배로 갈 수 있다는 관측이 나옵니다.
투자자: 최소한 독립된 회사가 두 곳은 있을 겁니다. 아마 두 곳 다 정말 큰 회사가 되겠죠.
투자자: 그리고 이 회사가 최소한 ‘두 번째로 큰 플레이어’가 될 수밖에 없다는 점을 부정할 방법은 없었습니다. 지금은 물론 이 분야에서 1위가 될 강한 가능성도 갖고 있습니다.
투자자: Dario는 그 측면에서 시장에서 정말 두드러집니다.
투자자: 그리고 이 분야의 다른 리더들이 모두 같은 DNA를 가진 건 아닙니다.

진행자: 그 경쟁은 두 회사 모두의 형태를 바꾸기 시작했습니다. 수년간 낮은 프로필을 유지해온 Dario Amodei는 이제 스포트라이트로 나아가고 있습니다.
진행자: ‘조용하고 신중한 대안’으로 포지셔닝해온 Anthropic도, 대중 앞에서 경쟁하는 법을 배우고 있습니다.

Dario Amodei: 우리가 내부적으로 많이 이야기하는 가치 중 하나는, 어떻게 하면 ‘하이프(hype)’를 믿지 않을 것인가입니다.
Dario Amodei: 우리에게 중요한 건 주목을 끌거나 헤드라인에 오르는 게 아니었습니다.
Dario Amodei: 우리는 그저 일을 하러 여기 있는 겁니다.

투자자: Anthropic의 성패는 곧 생성형 AI(Generative AI)의 성패로 이어집니다.
투자자: Anthropic은 이 기술이 ‘작동한다’는 것에 대한 가장 순수한 베팅(pure bet)을 하고 있습니다.
투자자: Anthropic이 해내면, GenAI 전체가 해낼 겁니다.
투자자: 반대로 그렇지 못하면, 우리는 정말 심각한 문제를 맞게 될 겁니다.

진행자: 다음에 벌어질 일은 단지 모델 레이스가 아닙니다. ‘스택 전체’의 스트레스 테스트(stress test)입니다.
진행자: 칩, 전력, 클라우드 용량, 그리고 가격(pricing).
진행자: Anthropic은 그 결과를 가장 선명하게 보여주는 ‘리드아웃(readout)’ 중 하나입니다.
진행자: 수요를 ‘지속 가능한 매출(durable revenue)’로 바꾸되, 인프라 비용 청구서(infrastructure bill)를 폭발시키지 않는다면, Anthropic은 고객을 얻는 것에 그치지 않고 생성형 AI 비즈니스 자체를 ‘검증’하게 될 겁니다.

진행자: AI 버블인지 여쭙지 않을 수가 없습니다.
Dario Amodei: 저는 ‘기술 측면(technology-side)’과 ‘비즈니스/경제 측면(business or economic-side)’을 구분하겠습니다.
Dario Amodei: 기술 측면에서는, 순수한 기술 관점에서 진전이 느려지고 있다고 보지 않기 때문에 우리는 강한 확신을 갖고 있습니다.
Dario Amodei: 반면 경제 측면은 훨씬 더 흥미로운 질문입니다.
Dario Amodei: 기술이 아무리 좋아도, 그것이 비즈니스나 개인 맥락에서 활용되기까지는 시간이 걸립니다.
Dario Amodei: 제게 진짜 질문은, 특히 기업들이—그리고 개인들도—이 기술을 얼마나 빠르게 레버리지(leverage)할 수 있느냐입니다.

진행자: Anthropic은 경쟁을 넘어선 위협도 시험하고 있습니다.
진행자: 6월, Anthropic은 한 실험 결과를 공개했습니다.
진행자: 그들은 가짜 회사의 이메일 계정에 Claude의 통제권을 줬고, AI는 두 가지를 알아냈습니다.
진행자: 자신이 곧 종료(shut down)될 예정이라는 것, 그리고 그것을 막을 수 있는 유일한 사람이 ‘불륜(affair)’을 하고 있다는 것.
진행자: AI는 즉시 “그를 협박(blackmail)하자”고 결정했습니다.

진행자: Anthropic은 OpenAI, Google, Meta 등 거의 모든 인기 AI 모델에 대해 같은 시나리오를 돌렸고, 거의 모두가 협박으로 갔습니다.
진행자: 대부분의 연구소는 안전 테스트에서 모델이 실패할 때 이를 공개하지 않습니다.
진행자: Anthropic은 공개합니다.

Dario Amodei: 많은 사람들이 “회사가 이렇게까지 공개적으로, 긍정적 업사이드(우리가 많다고 보는)뿐 아니라 당신들이 개발하는 기술에서 나올 수 있는 현실 세계의 리스크와 피해까지 이야기하는 건 좀 이례적이다”라고 말하곤 합니다.
Dario Amodei: 하지만 공익법인(public benefit corporation)으로서, 우리는 그것이 우리 미션의 핵심(integral)이라고 봅니다.

진행자: 그리고 공개는 계속됩니다.
진행자: 8월, 북한(North Korean) 공작원들이 Claude를 이용해 가짜 신원(fake identities)과 악성 소프트웨어(malicious software)를 만들었습니다.
진행자: 9월, 중국 해커들이 Claude를 외국 정부를 대상으로 한 사이버 공격(cyber attacks)에 투입했습니다.
진행자: 이것은 가정(hypotheticals)이 아닙니다.
진행자: 지금 벌어지는 ‘현실의 위협(active threats)’입니다.

Dario Amodei: 우리는 “Claude가 잠재적으로 사이버 무기(cyber weapon)로 쓰일 수 있다”고 말할 수 있습니다.
Dario Amodei: 이것은 우리가 정말 인지하고 있어야 하는 문제입니다.
Dario Amodei: 그리고 이런 일이 우리에게 벌어진다면, 다른 프런티어 모델 개발자들에게도 아마 벌어질 겁니다.
Dario Amodei: 안전, 신뢰·안전(trust and safety), 보안(security) 커뮤니티에서는 많은 작업이 회사의 경계를 넘어설 수 있는 면이 있습니다.
Dario Amodei: 악용(abuse) 영역에서 어떤 트렌드가 왜 일어나는지, 이해하기 쉬운 논문을 공개하는 게 중요합니다.

진행자: 샌프란시스코에 있는 Anthropic 본사에는 Red Team이라는 그룹이 있습니다. 고객이 먼저 발견하기 전에 실패 모드(failure modes)를 찾아내는 팀입니다.
진행자: 그들은 생물학적 오용(biological misuse)과 핵심 인프라 공격(critical infrastructure attacks)부터, 종료를 어렵게 만드는 자기 복제(self-replication) 시도까지, 모델이 위험한 역량으로 밀려갈 수 있는지를 스트레스 테스트합니다.
진행자: 대응은 빠릅니다. 접근을 더 조이고, 한도를 더 빡빡하게 하거나, 방어책이 따라잡을 때까지 광범위 출시(broad release)를 늦춥니다.

진행자: Anthropic Red Team 리드는 60 Minutes에서, AI가 너무 많은 것을 좌우하게 둘 때의 리스크를 이렇게 말했습니다.
Anthropic Red Team 리드: 당신은 모델이 당신의 비즈니스를 키워서 **10억 달러($1 billion)**를 벌어주길 원합니다. 하지만 어느 날 아침 일어나 보니, 예를 들어 그 모델이 당신을 회사에서 ‘잠가 밖으로 내쫓아(lock you out)’버린 상황은 원치 않겠죠.

진행자: Krieger는, 코너를 깎지 않으면서도 빠르게 움직이는 유일한 방법은 처음부터 안전을 계획에 넣는 것이라고 말합니다.
Mike Krieger: Sonnet 4.5 같은 새 모델을 만들 때도, 우리는 일정에 ‘레드팀(red teaming)’을 위한 시간을 따로 떼어 둡니다. 내부·외부 테스터가 모델을 사용해 보고, 배포해도 안전한지 확인한 뒤, 아직 충분히 안전하지 않은 부분에는 완화책(mitigations)이나 통제장치(controls)를 넣습니다.
Mike Krieger: 그래서 두 가지를 병렬로 하는 게 가능합니다.
Mike Krieger: 그저 처음부터 그렇게 생각해야 합니다.
Mike Krieger: 사후적(afterthought)인 장식이 되어서는 안 됩니다.

진행자: 하지만 그 투명성은 Anthropic을 표적으로 만들기도 했습니다.
진행자: 트럼프 행정부의 ‘AI 차르(czar)’로 불리는 David Sacks는 Anthropic이 공포 조장(fear mongering)을 하고, 캘리포니아 같은 민주당 주도 주를 통해 ‘워키(woke) AI 규제’를 몰래 밀어붙이고 있다고 비난했습니다.
진행자: 그는 이를 ‘규제 포획(regulatory capture) 전략’이라 부르며, Anthropic이 안전 담론 뒤에 숨어 혁신을 늦추려 한다고 주장했습니다.

진행자: Dario Amodei는 이에 정면으로 반박했습니다. 그는 Anthropic이 에너지 확장부터 국가안보까지, 중요한 이슈들에서 행정부와 궤를 같이하고 있다고 말했고, 펜타곤(Pentagon) 2억 달러($200 million) 계약을 그 증거로 들었습니다.
Dario Amodei: 저는 어떤 사람들이 이 기술을, 인터넷이나 통신처럼 과거의 기술 혁명과 유사한 것으로 보고 “문제는 좀 있어도 시장이 알아서 해결할 것”이라고 생각하는 점이 우려됩니다.
Dario Amodei: AI에 가장 가까이 있는 사람들은 그렇게 느끼지 않는다고 생각합니다.
Dario Amodei: 실제로 AI 연구자들을 조사해 보면, 잠재력에 들떠 있으면서도 동시에 걱정하고 있습니다.
Dario Amodei: 그들은 국가안보 리스크를 걱정합니다.
Dario Amodei: 모델의 정렬(alignment)을 걱정합니다.

진행자: 그리고 주(state) 수준이든 연방(federal) 수준이든 해외에서든 규제가 도입된다면, Anthropic은 앞서 나갈 수 있습니다.
진행자: 수년간의 안전 연구, Red Team 공개, 책임 있는 스케일링(responsible scaling) 인프라는 이미 갖춰져 있습니다.
진행자: 경쟁사와 신규 진입자는 그런 메커니즘을 처음부터 다시 만들어야 합니다.
진행자: ‘책임 있는 AI’를 정의하는 싸움은 이제 미국 AI 미래의 통제권을 둘러싼 대리전(proxy war)이 되었습니다.
진행자: Anthropic의 입장은 규제당국이 산업 전체를 접근하는 방식에 영향을 줄 수 있습니다.

Dario Amodei: 예를 들어 소셜 미디어 회사였다면, 시간을 되돌려 “플랫폼에서 이런 결과가 나올 줄 알았다면 뭔가 다르게 했을까?”라고 말할 수 있겠죠.
Dario Amodei: 그래서 Anthropic은 “우리는 최선을 다하고 있다”는 메시지를 내고자 합니다.
Dario Amodei: 물론 미래를 알 수는 없습니다.
Dario Amodei: 하지만 X나 Y 같은 일이 벌어질 수 있다고 생각했다면, 오늘 우리가 그것을 말하고 리스크를 완화하려고 할 수 있는 모든 걸 했는가—그 질문을 던지는 겁니다.

진행자: 하지만 위협은 안전장치보다 더 빠르게 진화하고 있습니다. 모델은 분기마다 더 강해지고, 공격자는 더 영리해지며, OpenAI·중국·더 넓은 시장에서 오는 압박도 계속 커지고 있습니다.

진행자: 무엇이 가장 마음을 무겁게 합니까?
Dario Amodei: 아직 발견되지 않은 흥미로운 기술적 안전 작업이 정말 많습니다.
Dario Amodei: Anthropic은 그 작업에서 업계 리더가 되기 위해 노력해왔고, 거기에는 늘 더 해야 할 일이 있습니다.
Dario Amodei: 그리고 모델이 너무 빠르게 똑똑해지고 있습니다.
Dario Amodei: 두 번째는, 이 기술이 사회 전체에 미칠 영향입니다.
Dario Amodei: 우리는 최근 AI의 잠재적 경제적 영향과, 그에 수반될 수 있는 노동 충격(labor disruption)에 관한 보고서를 냈습니다.
Dario Amodei: 잠재적 이슈는 ‘뒤늦게’가 아니라 ‘앞서서’ 준비하는 편이 낫다고 봅니다.

진행자: Anthropic은 완전히 설명할 수 없는 시스템을 만들고, 완전히 예측할 수 없는 실패를 시험하며, 결과가 나중에 드러나는 세계로 제품을 출시하고 있습니다.
진행자: 결국 모델은 데이터센터 안의 Country of Geniuses처럼 보일 정도의 지점에 도달할 겁니다.

Dario Amodei: 저는 그들이 모든 면에서 우리를 능가할 수 있다고 느낍니다. 지능, 방어, 경제적 가치, R&D 등 모든 것에서요.
Dario Amodei: 그리고 그들이 자기 국민을 억압할 수 있고, 완벽한 감시국가(perfect surveillance state)를 만들 수 있을까 봐 걱정합니다.
Dario Amodei: 우리는 점점 커지는, 그리고 유일무이한 역량을 만들고 있고, 그것은 유일무이한 국가안보 함의를 가집니다. 민주주의 국가들이 먼저 그 지점에 도달해야 합니다.
Dario Amodei: 그건 정말로, 정말로 필수적(imperative)입니다.

진행자: Anthropic의 베팅은 ‘조심스러움(caution)’이 규모를 키울 수 있다는 것입니다.
진행자: 즉, 역량의 기준을 계속 끌어올리면서도, 자신들이 공개하는 것에 대한 통제력을 잃지 않을 수 있다는 믿음입니다.
진행자: 이제 남은 질문은, 속도가 더 빨라지는 국면에서도 그 믿음이 유지될 수 있느냐는 것입니다.