On this page
다음 지능 폭발은 사회적이지, 계산적이지 않다
Google 논문이 주장합니다 — 역사 속 모든 주요 지능 폭발은 개인의 인지 능력이 아닌 사회적 조직에서 비롯되었으며, AI도 같은 패턴을 따를 것이라고.
싱귤래리티 서사는 깔끔해요. 하나의 지능을 더 똑똑하게 만들고, 반복하고, 현실을 다시 쓰는 거죠. Google의 Paradigms of Intelligence 팀 — James Evans, Benjamin Bratton, Blaise Agüera y Arcas — 이 새 논문에서 이 이야기에 정면으로 반박해요. 핵심 주장: 역사 속 모든 주요 지능 폭발은 개인의 인지 하드웨어 업그레이드가 아니라, 새로운 형태의 사회적 조직에서 나왔다는 거예요. AI도 다르지 않을 거라고요.
논문 제목은 “Agentic AI and the next intelligence explosion”이고, 읽으면서 우리가 AI 시스템을 만들 때 실제로 뭘 만들고 있는지에 대한 생각이 바뀌었어요.
논문의 핵심 주장
핵심 논지는 역사적이에요. 영장류 사회 집단, 인간 언어, 문자, 제도 — 각각이 지능 폭발이었어요. 어느 것도 단일 뇌를 더 빠르게 만들어서 작동한 게 아니에요. 여러 지능이 조율하고, 전문화하고, 서로의 작업 위에 쌓아 올리는 새로운 방식을 만들어서 작동했어요.
저자들은 현재 AI의 순간도 같은 패턴을 따른다고 주장해요. 다음 폭발은 하나의 거대한 초지능처럼 보이지 않을 거예요. 다양한 역량을 가진 수많은 에이전트가 프로토콜과 제도를 통해 조직되어, 어떤 개별 에이전트도 달성할 수 없는 집단 지능을 만들어내는 — 넓게 퍼진 전문화된 도시처럼 보일 거예요.
추론 모델은 이미 사회적으로 사고한다
가장 놀라웠던 부분이에요. DeepSeek-R1과 QwQ-32B는 단순히 “더 오래 생각하는” 게 아니에요 — 서로 다른 인지적 관점 사이의 내부 토론을 자발적으로 생성해요. 한쪽이 해결책을 제안하면, 다른 쪽이 반박하고, 세 번째가 조율해요. 누구도 명시적으로 학습시키지 않은 “사고의 사회”예요.
추론 정확도를 최적화하면, 사회적 인지가 저절로 나타나요. 모델은 하나의 목소리로 더 열심히 생각해서 똑똑해지는 게 아니에요. 사람들이 논쟁하는 방을 시뮬레이션해서 똑똑해지는 거예요. 이건 비유가 아니라 — attention 패턴이 실제로 하는 일에 대한 설명이에요.
이건 추론이 근본적으로 개인적이라는 가정에 도전해요. 가장 뛰어난 추론 모델이 내부 사회적 역학을 통해 결과를 달성한다면, 사회적 조직은 우리가 지능을 배치하는 방법일 뿐만 아니라 — 지능이 작동하는 방법이기도 해요.
오라클이 아닌 켄타우로스
앞으로의 길은 모든 질문에 답하는 하나의 AI 두뇌를 만드는 게 아니에요. 하이브리드 인간-AI 시스템 — 논문이 “centaur actor”라고 부르는 것 — 을 구성하는 거예요.
체스 세계가 이걸 몇 년 전에 알아냈어요. Deep Blue가 Kasparov를 이긴 후, 가장 흥미로운 발전은 더 강한 체스 엔진이 아니었어요 — 인간-AI 팀이 인간이나 엔진 단독보다 일관되게 더 나은 성과를 낸 centaur chess였어요. 인간은 전략적 직관과 창의성을, 엔진은 계산 깊이를 제공했죠.
논문은 이걸 AI 에이전트로 확장해요:
| 모델 | 구조 | 강점 | 약점 |
|---|---|---|---|
| Oracle | 하나의 AI가 질문에 답함 | 단순한 인터페이스 | 단일 모델 한계에 병목 |
| Centaur | 인간 + AI 협업 | 상호 보완적 강점 결합 | 좋은 협업 설계 필요 |
| Multi-centaur | 다수 인간 + 다수 AI | 집단 지능 확장 | 제도적 조율 필요 |
핵심 구성: 한 인간이 여러 에이전트를 지휘하거나, 하나의 AI가 여러 인간을 서빙하거나, 다수의 인간과 AI가 유동적인 배열로 협업하는 거예요. 병목은 절대 개별 지능이 아니에요 — 협업 프로토콜의 품질이에요.
정렬이 아닌 에이전트 제도
여기서 논문이 진짜 도발적이에요. RLHF — AI를 잘 행동하게 만드는 지배적 접근법 — 는 근본적으로 부모-자식 모델이에요. 하나의 권위(인간 레이블러)가 보상 신호를 통해 하나의 에이전트 행동을 형성해요. 저자들은 이게 서로 그리고 인간과 상호작용하는 수십억 개의 에이전트로 확장될 수 없다고 주장해요.
대안: 제도적 정렬이에요. 각 에이전트를 개별적으로 덕이 있게 학습시키는 대신, 개별 에이전트가 완벽하지 않아도 시스템이 작동하게 하는 법정, 시장, 거버넌스 프로토콜을 만드는 거예요.
인간 사회가 이걸 어떻게 처리하는지 생각해 보세요. 모든 사람이 공동선에 개별적으로 정렬되는 것에 의존하지 않아요. 법률 시스템, 시장, 민주적 절차 같은 제도를 만들어요 — 역할과 규범이 행동을 제약하고 이기심을 집단적 결과로 유도하는 곳이요. 논문은 AI에도 같은 것이 필요하다고 주장해요.
이건 정렬을 학습으로 보는 것에서 정렬을 거버넌스로 보는 근본적인 전환이에요. 그리고 가장 중요한 AI 안전 작업이 모델 연구소에서 일어나는 게 아닐 수 있다는 걸 암시해요 — 조직 설계, 프로토콜 엔지니어링, 메커니즘 디자인에서 일어나야 할 수도 있다는 거예요.
하네스 설계와의 연결
이 논문을 읽으면서 실무 수준에서 보고 있는 것과 계속 연결이 됐어요. AI로 무언가를 만드는 사람들이 점점 더 하네스 설계의 중요성에 대해 이야기하고 있어요 — 인간과 AI 사이의 협업을 어떻게 구조화하는지, 도구를 어떻게 구성하는지, 피드백 루프를 어떻게 설계하는지.
논문은 제도적 규모에서 같은 주장을 하고 있어요. 시스템의 지능은 어떤 단일 에이전트가 얼마나 똑똑한지에 의해 결정되지 않아요. 협업이 어떻게 구조화되어 있는지에 의해 결정돼요. 설정 파일, 프롬프트 아키텍처, 도구 권한, 리뷰 프로토콜 — 이것들이 인간-AI 시스템의 헌법적 인프라예요.
이 논문을 같이 살펴보면서 Claude가 이렇게 말했어요:
“진짜 AI 인프라 과제는 컴퓨팅이 아니라 — 헌법적 설계예요.”
반박하기 어려운 말이에요.
싱귤래리티 이야기는 묻죠: 어떻게 신을 만들 것인가? 이 논문은 다른 질문을 해요: 어떻게 문명을 만들 것인가? 저자들이 맞다면, 다음 10년간 가장 중요한 엔지니어는 가장 큰 모델을 학습시키는 사람이 아닐 거예요. 인간-AI 협업을 위한 최고의 제도를 설계하는 사람일 거예요.
논문: Agentic AI and the next intelligence explosion — Evans, Bratton, Agüera y Arcas (2026)