제가 수많은 AI 연구자들과의 인터뷰를 통해 계속 답을 찾고 있는, 이른바 백만 달러짜리 질문이 있습니다: 뇌는 어떻게 그걸 해내는가? 우리는 이 LLM들에 훨씬 더 많은 데이터를 쏟아붓고 있는데도, 여전히 인간이 가진 총 역량의 극히 일부만 보여줍니다. 그럼 대체 무슨 일이 벌어지고 있는 걸까요? 어쩌면 이건 천조 달러짜리 질문, 아니 그보다 더 큰 질문일지도 모릅니다. 이게 과학에서 가장 중요한 질문이라고 주장할 수도 있겠죠. 저는 답을 안다고 말할 생각이 없습니다. 그리고 그 답이, 많은 똑똑한 사람들이 지금처럼 열심히 생각한다고 해서 반드시 나올 거라고도 생각하지 않습니다. 제가 한 단계 위에서(메타 레벨에서) 보는 결론은, 이런 질문을 풀 수 있을 만큼 신경과학(neuroscience) 분야 자체를 기술적으로든 무엇이든 더 강력한 분야로 키워야 한다는 겁니다. 현대의 AI, 신경망(neural nets), 딥러닝(deep learning) 관점으로 생각해 보면, 이런 문제에는 몇 가지 핵심 구성요소가 있습니다. 첫째는 **아키텍처(architecture)**입니다. 예를 들면 레이어를 몇 개로 둘지, 그 아키텍처가 어떤 성질을 갖는지 같은 **하이퍼파라미터(hyperparameters)**도 여기에 들어가겠죠. 둘째는 학습 알고리즘(learning algorithm) 자체입니다. 어떻게 학습시키는가? 역전파(backprop)인가, 경사하강(gradient descent)인가, 아니면 다른 무언가인가? 초기화는 어떻게 되는가? 학습 파트를 떼어 놓고 보더라도, 가중치(weights)의 어떤 초기값 설정이 있을 수 있습니다. 그리고 또 하나는 비용 함수(cost function)입니다. 무엇을 하도록 훈련되는가? 보상 신호(reward signal)는 무엇인가? 손실 함수(loss functions)와 지도/감독 신호(supervision signals)는 무엇인가? 이 틀 안에서 제 개인적 직감은, 이 분야가 '아주 구체적인' 손실 함수, '아주 구체적인' 비용 함수의 역할을 너무 무시해 왔다는 겁니다. 머신러닝은 대체로 수학적으로 단순한 손실 함수를 좋아합니다. 다음 토큰(next token) 예측, 크로스 엔트로피(cross-entropy) 같은, 컴퓨터과학자들이 좋아하는 단순한 손실 함수들 말이죠. 하지만 저는 진화(evolution)가 실제로는 손실 함수에 엄청난 복잡성을 심어 놨을 수 있다고 생각합니다. 영역마다 다른 손실 함수가 있고, 발달 단계에 따라 켜지고 꺼지는 여러 손실 함수들이요. 말하자면 Python 코드가 잔뜩 있어서, 뇌의 서로 다른 부분들이 무엇을 배워야 하는지를 위한 아주 구체적인 커리큘럼(curriculum)을 생성해 주는 셈입니다. 진화는 무엇이 성공했고 무엇이 실패했는지를 수없이 많이 '봤기' 때문에, 그 학습 커리큘럼에 대한 지식을 부호화(encode)할 수 있었을 겁니다. 머신러닝 프레임으로 돌아와서, 뇌의 손실 함수는 어디에서 오는가를 다시 이야기해 볼 수 있겠죠. 서로 다른 손실 함수가 학습 효율의 차이로 이어질 수 있을까요? 사람들은 대뇌피질(cortex)에 인간의 '만능 학습 알고리즘', 인간의 비밀 소스(special sauce)가 들어 있다고 말하곤 합니다. 그게 대체 뭘까요? 이건 엄청난 질문이고, 우리는 모릅니다. 저는 대뇌피질이… 대뇌피질은 보통 6층(6-layered) 구조를 가진다고 설명하는 모델들을 본 적이 있는데, 여기서 '층'은 신경망의 레이어와는 조금 다른 의미의 층입니다. 대뇌피질의 어떤 한 위치를 보면, 시트(sheet)를 따라 들어가면서 조직(tissue)이 물리적으로 6개의 층으로 나뉩니다. 그리고 그런 영역들이 서로 연결되면서, 그 연결 관계는 오히려 네트워크의 레이어들처럼 보이기도 합니다. 제가 본 어떤 버전에서는, 결국 설명하려는 게 '어떻게 역전파(backprop)를 근사(approximate)하는가?'와 '그때의 비용 함수(cost function)는 무엇인가?'였습니다. 만약 '역전파 비슷한 무언가'를 한다고 말하려면, 그 네트워크는 대체 무엇을 하도록 요구받는 걸까요? 다음 토큰 예측에 대해 역전파를 하는 건가요, 이미지 분류에 대해 역전파를 하는 건가요, 아니면 뭘 하는 건가요? 그리고 아무도 모릅니다. 다만 한 가지 생각, 한 가지 가능성은, 그것이 그냥 믿을 수 없을 만큼 일반적인 예측 엔진(prediction engine)일 수도 있다는 겁니다. 즉 대뇌피질의 어떤 한 영역이든, 기본적으로는… 자신이 보는 모든 변수들 중 어떤 부분집합이든 다른 부분집합으로부터 예측하도록 배우려는 것 아닐까요? 전방위 추론(omnidirectional inference), 혹은 **전방위 예측(omnidirectional prediction)**입니다. 반면 LLM은 컨텍스트 윈도우(context window) 안의 모든 것을 보고, 아주 특정한 조건부확률을 계산합니다. 즉 '지난 수천 개의 것들이 주어졌을 때, 다음 토큰의 확률은 무엇인가'라는 형태죠. 그런데 만약 순방향으로만 한다면, 큰 언어 모델이 'the quick brown fox blank blank the lazy dog'처럼 가운데를 채우는 대신 다음 토큰만 계속 예측하는 모델인 건 좀 이상합니다. 컨텍스트 윈도우와 다양한 현상(emergence) 덕분에 그런 작업도 배울 수는 있지만, 본질적으로는 그냥 다음 토큰을 예측하도록 되어 있습니다. 그렇다면 대뇌피질은 애초에, 어떤 피질 영역이든 입력의 어떤 부분집합에서든, 다른 '빠진' 부분집합이 주어졌을 때 임의의 패턴을 예측할 수 있도록 만들어져 있는 걸까요? 그건 '확률적 AI(probabilistic AI)'에 더 가까운 그림입니다. 참고로 제가 지금 말하는 많은 것들은, 사실 Yann LeCun이 말하는 것과 굉장히 비슷합니다. 그는 **에너지 기반 모델(energy-based models)**에 아주 관심이 많고, 그쪽 관점에서는 모든 변수들의 결합분포(joint distribution) 같은 걸 다루죠. 즉 어떤 변수 조합이든, 그 조합이 얼마나 그럴듯한지(likelihood) 혹은 얼마나 그럴듯하지 않은지(unlikelihood)를 보는 겁니다. 제가 그중 일부를 '고정(clamp)'해서 이 변수들은 확실히 이런 상태라고 선언하면, 예컨대 확률적 샘플링(probabilistic sampling)으로—이 상태로 조건화해서(conditional on) 말이죠, 그리고 이건 모델 안의 변수들 중 임의의 부분집합일 수 있습니다—이 부분집합을 고정한 채로 다른 임의의 부분집합이 무엇을 할지 예측할 수 있을까요? 그리고 그 다른 부분집합에서 샘플을 뽑아낼 수 있을까요? 또 전혀 다른 부분집합을 골라 그쪽에서 샘플링할 수도 있습니다. 그러니 이건 전방위 추론이 됩니다. 그래서 대뇌피질의 어떤 부분들—예를 들면 연합 피질(association areas)—은 청각(audition)으로부터 시각(vision)을 예측할 수도 있을 겁니다. 더 타고난(innate) 뇌의 일부가 곧 하려는 일을 예측하는 영역도 있을 수 있습니다. 왜냐하면, 이 모든 것은 말하자면 '도마뱀 뇌(lizard brain)'와 도마뱀 몸 위에 얹혀서 돌아가고 있기 때문이죠. 그리고 그 도마뱀 파트가 하는 일 자체도 예측할 가치가 있는 대상입니다. 단지 '이걸 보나 저걸 보나'만 예측하는 게 아닙니다. 이 근육이 곧 긴장할까? 곧 웃어버리는 반사(reflex)가 나올까? 심박수가 곧 올라갈까? 곧 어떤 본능적 행동(instinctive behavior)을 실행할까? 더 높은 수준의 이해를 바탕으로 말이죠… 예컨대 누군가가 '너 등 뒤에 거미가 있어'라고 말해 준 걸, 실제로 눈앞에 거미를 봤을 때 활성화되는 그 도마뱀 파트와 매칭할 수 있습니다. 그리고 두 가지를 연합해서, 누군가가 '너 등 뒤에 거미가 있어'라고 말하는 걸 듣기만 해도… 자, 이건 잠깐 다시 돌아오죠. 이건 제가 최근에 집착하고 있는 Steve Byrnes의 이론과도 부분적으로 관련이 있습니다. 그리고 당신이 Ilya와 했던 팟캐스트에서, 그는 '진화가 어떻게 고수준의 욕구(desires)나 의도(intentions)를 부호화하는지에 대한 좋은 이론을 나는 모른다'고 말했습니다. 저는 이것이 뇌가 사용할 손실 함수와 비용 함수에 대한 모든 질문과 아주 깊게 연결되어 있다고 생각합니다. 정말로 심오한 질문이죠. 예를 들어, 제가 당신 팟캐스트에서 틀린 말을 해서 부끄러워졌다고 해봅시다. Yann LeCun이 듣고 있다고 상상하면서, 그가 '그건 내 이론이 아니야. 너는 에너지 기반 모델을 정말 엉망으로 설명했어'라고 말한다고요. 그러면 제 안에서 선천적인(innate) 당혹감과 수치심(shame)이 활성화될 것이고, 저는 숨고 싶어질 겁니다. 그건 이런 선천적 반사들을 켜버리는 일이죠. 그게 중요한 이유는, 그렇지 않으면 Yann LeCun이 이끄는 약탈 부대 같은… 다른 프랑스 AI 연구자들의 군대가 저를 죽이러 올 수도 있으니까요. Adam, 프랑스 AI 연구자들이 너를 쫓아온다. 그래서 그런 본능적 반응이 제게 있어야 하는 게 중요합니다. 하지만 물론 진화는 Yann LeCun을 본 적도 없고, 에너지 기반 모델을 안 적도 없고, '중요한 과학자'나 '팟캐스트'가 뭔지도 알 리가 없습니다. 그런데도 뇌는, 미리 모든 것을 알지 못한 채로, 부족에서 정말 중요한 사람을 괜히 화나게 만들지 않으려는 욕구 같은 것을 굉장히 견고하게 부호화해야 합니다. 뇌의 학습 서브시스템(Learning Subsystem)—학습하는 대뇌피질과 다른 부분들—이 이런저런 것들을 학습해 나가는데 말이죠… 대뇌피질은 세계모형(world model)을 학습할 겁니다. 거기에는 Yann LeCun이나 팟캐스트 같은 것도 포함될 겁니다. 그리고 진화는, 어떤 뉴런들이든 'Yann LeCun이 나한테 화났을 때'를 나타내는 뉴런들이, 수치심 반응이나 보상 함수(reward function)의 해당 부분과 제대로 연결되도록 만들어야 합니다. 이게 중요하죠, 그렇지 않나요? 왜냐하면 우리가 부족 내 지위(status)를 추구하거나, 당신이 말한 것처럼 유능한 사람들로부터 배우거나, 친구와는 지식과 기술을 교환하되 적과는 그러지 않는 것 같은 일들을 하려면… 이런 모든 걸 배워야 하기 때문입니다. 즉 세계모형의 학습된 특징들, 세계모형 안에서 학습된 부분들이, 선천적 보상 함수들과 견고하게 연결되고, 그걸 실제로 활용해서 더 많이 학습할 수 있어야 합니다. 왜냐하면 다음번에는 Yann LeCun이 '네가 틀렸다'고 이메일을 보내면, 저는 그를 괜히 화나게 만들려고 하지 않을 테니까요. 그걸 바탕으로 추가 학습을 하게 될 겁니다. 보상 함수를 구성할 때는 학습된 정보를 써야 하는데, 그런데 Yann LeCun을 알지 못했던 진화가 그걸 어떻게 할 수 있을까요? Steve Byrnes가 제안하는 기본 아이디어는, 대뇌피질의 일부—혹은 편도체(amygdala)처럼 학습하는 다른 영역들—가 **조향 서브시스템(Steering Subsystem)**을 모델링하고 있다는 겁니다. 조향 서브시스템은 더 선천적으로 프로그램된 반응들과, 일련의 보상 함수·비용 함수·부트스트래핑 함수(bootstrapping functions) 같은 선천적 프로그램을 담고 있는 부분입니다. 예를 들어 편도체의 일부는, 그 부분들이 무엇을 하는지 모니터링하고, 또 그들이 무엇을 할지 예측할 수 있습니다. 그렇다면 사회적 지위(social status)에 중요한 뉴런은 어떻게 찾을까요? 예컨대 조향 서브시스템이 사용할 수 있는 선천적 사회적 지위 휴리스틱(heuristics)이 있을 수 있고, 또는 선천적 친밀감/우호성(friendliness) 휴리스틱이 있을 수 있습니다. 그리고 더 미친 건, 조향 서브시스템이 실제로 자체적인 감각 시스템(sensory system)을 갖고 있다는 점입니다. 우리는 시각(vision)을 대뇌피질이 하는 것이라고 생각하곤 하죠. 하지만 조향 서브시스템에는, 예컨대 얼굴이나 위협을 선천적으로 감지하는 능력을 가진 상구(superior colliculus)라는 피질하(subcortical) 시각 시스템도 있습니다. 즉 선천적 휴리스틱을 가진 시각 시스템이 따로 있고, 조향 서브시스템은 그에 따른 자체 반응을 갖습니다. 그리고 편도체의 일부나 대뇌피질의 일부가, 그런 반응을 예측하는 법을 학습하고 있을 겁니다. 그렇다면 대뇌피질에서 사회적 지위나 우정을 위해 중요한 뉴런들은 무엇일까요? 바로 그 선천적 우호성 휴리스틱을 예측하는 뉴런들입니다. 대뇌피질에서 예측기(predictor)를 하나 훈련시키고 '어떤 뉴런들이 그 예측기의 일부인가?'를 묻습니다. 그러면 그 뉴런들이 바로, 이제 당신이 실제로 그것을 '배선(wire)으로 연결'해 낸 지점이 되는 거죠. 정말 흥미롭습니다.