26년 6월 3주차 그래프 오마카세

AI Must Embrace Specialization via Superhuman Adaptable Intelligence

AI Must Embrace Specialization via Superhuman Adaptable Intelligence

Everyone from AI executives and researchers to doomsayers, politicians, and activists is talking about Artificial General Intelligence (AGI). Yet, they often don’t seem to agree on its exact definition. One common definition of AGI is an AI that can do everything a human can do, but are humans truly general? In this paper, we address what’s wrong with our conception of AGI, and why, even in its most coherent formulation, it is a flawed concept to describe the future of AI. We explore whether the most widely accepted definitions are plausible, useful, and truly general. We argue that AI must embrace specialization, rather than strive for generality, and in its specialization strive for superhuman performance, and introduce Superhuman Adaptable Intelligence (SAI). SAI is defined as intelligence that can learn to exceed humans at anything important that we can do, and that can fill in the skill gaps where humans are incapable. We then lay out how SAI can help hone a discussion around AI that was blurred by an overloaded definition of AGI, and extrapolate the implications of using it as a guide for the future.

arXiv.orgJudah Goldfeder

• 이번 주 오마카세에서는 그래프 관련 내용이 아닌, 최근 얀 르쿤과 공동저자들이 발표한 포지션 페이퍼에 대해 나누어보고자 합니다. 이 포지션 페이퍼는 현재 AI 연구와 산업계가 추구하는 AGI(Artificial General Intelligence)라는 목표 자체를 정면으로 재검토하며, 그 과정에서 여러 철학적 인사이트를 제시합니다.
• AGI는 오랫동안 AI 분야의 궁극적인 목표로 여겨져 왔으며, 이를 향한 연구도 매우 활발하게 진행되고 있습니다. 관련 논문 역시 끊임없이 쏟아져 나오고 있습니다. 이제는 어디에서나 AGI라는 단어를 접할 수 있지만, 저자들은 정작 그 의미에 대한 합의는 존재하지 않은 채, 그 개념적 기반인 인간 지능의 일반성이라는 환상을 무비판적으로 받아들이고 있다고 지적합니다.

• 역사상 가장 위대한 체스 플레이어로 평가받는 마그누스 칼슨조차 현대 엔진 시스템 앞에서는 근본적으로 열세에 놓입니다. 많은 사람들이 그를 절대적인 지능의 상징처럼 바라보지만, 이는 인간 중심적 관점에서 비롯된 착각일 수 있다는 것입니다.
• 우리는 인간 내부의 상대적 비교를 객관적이고 절대적인 기준으로 오해하고 있는 것은 아닐까? AGI라는 개념 전체에 대한 저자들의 문제 제기는 이 질문에서부터 시작됩니다.

Human Intelligence is Specialized

• 저자들은 인간 지능에 대해 흔히 혼동되는 두 가지 의미를 먼저 구분합니다. 하나는 교육받은 인간이 광범위한 작업을 수행할 수 있다는 것이고, 다른 하나는 인간 지능 전체는 어떤 작업에도 전문화될 수 있다는 점에서 일반적이라는 것입니다.
• 저자들은 모라벡의 역설(Moravec's Paradox)이라는 핵심 근거로부터 두 의미를 '일반성을 인간의 언어로 정의한 뒤 인간을 그 기준의 표준으로 삼는 순환 논리'라는 같은 오류로 바라봅니다.
  • 인간이 쉽다고 느끼는 것들 (e.g. 보행, 물건 집기, 시각 인식) 은 컴퓨터에게 어렵습니다. 반대로 인간이 어렵다고 느끼는 것 (e.g. 체스, 수치 계산) 은 컴퓨터에게 쉽습니다.
  • 인간이 쉽다고 느끼는 것들은 수백만 년의 진화를 통해 생존에 필수적이었기 때문에 고도로 최적화된 것입니다. 즉, 인간의 지능은 일반적인 것이 아니라, 생존에 필요한 특정 영역에 고도로 전문화된 것입니다.
• 진화는 우리를 물리적 세계에서 살아남기 위한 특정 과제들에 탁월하도록 만들었을 뿐이고, 우리가 인지하지 못하는 수백만 가지 인지 과제들에 대해 완전히 무감각합니다. 저자들은 바로 이 지점에서 질문을 던집니다. '그렇다면 우리는 무엇을 근거로 스스로를 일반적인 지능의 기준이라 여기는가?'
• 더불어 저자들은 데미스 하사비스와 일론 머스크가 제기하고 있는 인간의 뇌는 튜링 완전성(Turing-complete)이라는 점에서 일반적이라는 반론을 직접 다룹니다.
• 이론적 튜링 완전성은 무한한 시간, 메모리, 주의력 등의 이상적인 조건 아래에서 성립하는 개념입니다. 현실적 제약에서 인간은 제한된 시간과 기억, 주의력 속에서 작동하며, 실제로 다룰 수 있는 문제의 범위 역시 극히 제한적입니다. 결국 우리가 스스로를 일반적이라고 느끼는 이유는 우리가 보지 못하는 한계가 너무 많기 때문입니다.

Why Existing Definitions are Insufficient?

• 저자들은 AGI 및 기타 인공지능의 핵심 측정 기준에 대한 주요 정의가 갖춰야 할 기준을 세 가지: Adaptive Generalists, Cognitive Mirrors, Economic Engines를 제시합니다. 그리고 주요 AGI 정의들을 실현됨(Feasible), 일관됨(Consistent), 측정 가능성(Assessable)의 기준으로 하나씩 검토합니다.

• 많은 AGI 정의는 인간 지능을 일반성의 기준으로 삼으면서도, 정작 인간 지능이 일반적이라는 사실 자체는 별다른 검토 없이 전제로 받아들입니다. 저자들은 이러한 공통된 패턴을 지적하며, 이것이 단순한 용어 선택의 문제가 아니라 AGI 담론 전반에 깔린 잘못된 전제라고 강조합니다.

Why Specialization Wins?

• 저자들은 전문화의 우위를 수학적 (No Free Lunch), 경험적 (AlphaFold), 전략적 관점에서 동시에 논증합니다.
• 가장 먼저 제시되는 것은 No Free Lunch 정리입니다. 어떤 단일 알고리즘도 모든 문제에서 최적일 수 없습니다. 유한한 자원 아래에서는 넓게 분산하는 것보다 특정 문제에 집중하는 전략이 더 높은 성능을 냅니다. 일반성과 성능은 구조적으로 교환 관계에 있습니다.
• 실제 사례 역시 이러한 주장을 뒷받침합니다. AlphaFold는 단백질 구조 예측이라는 단일 문제에 집중해 전례 없는 성능을 달성했습니다. 반대로 멀티태스크 학습에서 관찰되는 부정적 전이는 지나친 일반화가 개별 태스크 성능을 저하시킬 수 있음을 보여줍니다.
  • 흥미로운 점은 겉보기에 범용 모델로 분류되는 최신 Mixture-of-Experts 계열 모델들 역시 내부적으로는 전문화를 활용한다는 사실입니다.
  • 이들 모델은 모든 문제를 하나의 통합된 메커니즘으로 해결하는 대신, 입력에 따라 전문화된 서브모듈로 계산을 라우팅함으로써 높은 성능을 달성합니다. 다시 말해 현대 AI의 성공 사례들조차 일반성보다는 전문화를 적극적으로 활용하고 있습니다.
• 인간의 인지는 진화적 환경 속에서 형성된 다양한 휴리스틱 의존성은 물리적 세계에서 생존하는 데는 효과적이었지만, 고차원 통계 추론이나 대규모 최적화, 복잡한 인과 모델링과 같은 영역에서는 체계적인 오류를 만들어내기도 합니다. 전문화된 AI는 바로 이러한 인간의 맹점을 보완하는 방향으로 설계될 수 있으며, 경우에 따라서는 인간의 능력을 크게 넘어설 수도 있습니다.
• 저자들은 전문화가 단순히 AI의 약점을 감추기 위한 전략이 아니며, 오히려 전문화는 AI가 인간보다 구조적으로 더 뛰어날 수 있는 영역을 정확히 공략하는 전략에 가깝다고 주장합니다.
• 스케일과 계산량이 증가할수록 범용적인 학습 방법이 인간이 설계한 도메인 지식 기반 접근법을 반복적으로 압도해 왔다는 관찰 자체에는 저자들이 동의합니다. 그러나 도메인 지식의 중요성이 감소하는 것과 도메인 전문화의 중요성이 감소하는 것은 전혀 다른 문제라고 지적합니다. 스케일은 도메인 지식을 대체할 수 있지만, 전문화 자체를 대체하지는 못합니다.

Towards Superhuman Adaptable Intelligence

• SAI는 Cholle et al (2019) 의 정의와 유사하지만, SAI를 일반 지능으로 부르는 것을 거부하며, 인간 지능을 궁극적 기준으로 삼는 것을 거부합니다. 즉, 인간 수준의 성능은 초기 이정표가 될 수는 있지만 최종 목표가 될 수 없으며, AI는 자기 행동(self-play), 진화 탐색 (evolutionary search), 시뮬레이션 (large-scale exploration in simulation) 등을 통해 인간 모방없이도 능가할 수 있으며 이것이 더 바람직한 발전 경로라고 주장합니다.

• 저자들은 가능한 기술의 공간이 사실상 무한하다고 보고 있습니다. 따라서 중요한 것은 무엇을 할 수 있는지가 아니라, 새로운 것을 얼마나 빠르게 배울 수 있는가입니다.
• 이러한 관점에서 SAI의 핵심 지표는 기술 습득 속도(speed of skill acquisition) 입니다. 이는 무한한 기술 공간 상에서 측정 가능하고 실현 가능하며 유지될 수 있는 몇 안 되는 확장 가능한 평가 기준 기준이라고 주장합니다.
• 저자들은 현재 AI 연구가 탐색 공간을 좁히는 것 외에도 구조적 한계를 내포하고 있는 자기회귀 LLM으로 지나치게 동질화되고 있다는 점도 경고합니다. 그로부터 특정 아키텍처를 SAI의 필수 조건으로 강제하지 않는 선에서 SAI의 실현 경로로 두 가지 방향 (자기지도학습, 월드모델)을 제안합니다.
  • 자기지도학습 (SSL) : 빠른 적응의 전제는 레이블 없이도 일반적 지식을 학습할 수 있는 능력입니다. 저자들은 특히 토큰이 아닌 임베딩 공간에서의 예측 학습이 더 강력한 방향이 될 수 있다고 전망합니다.
  • 월드모델 (World model) : 월드 모델은 픽셀 자체가 아니라 세계의 동역학을 압축된 잠재 표현으로 학습하는 접근입니다. 저자들은 빠른 적응 능력의 핵심 기반으로 월드 모델을 강조하며, JEPA, Dreamer, Genie 2 등을 대표 사례로 제시합니다.
• SAI가 지향하는 빠른 적응 능력을 달성하기 위해서는 더 다양한 아키텍처 탐색이 필요하다는 것, 그리고 인간의 뇌가 단일 시스템이 아닌 시스템들의 시스템인 것처럼 AI도 계층적이고 다양한 모듈의 조합으로 구현될 가능성이 높다는 것이 저자들의 입장입니다.

• 이 논문은 AI 연구 전체가 향하고 있는 방향 자체에 날카롭고 무거운 질문을 던집니다. ​그리고 AGI 관련한 연구목표 설정의 오류로부터 AI 생태계 전반의 잘못된 방향으로 나아가는 것을 방지하기 위해 그 담론의 개념적 혼란을 체계적으로 구조화합니다.
• 능력(학습과 수행)과 범위(범용성과 인간 중심성)라는 두 축을 통해 기존 정의들이 무엇을 가정하고 무엇을 놓치고 있는지를 드러내고, 그 이면에 숨어 있는 인간 중심적 철학을 정면으로 문제 삼습니다. 그리고 그 대안으로, 인간 수준이 아닌 적응 능력 자체를 목표로 하는 SAI를 정의합니다.
• 전문화의 필요성은 설득력이 강하지만, 그 조각들을 어떻게 연결할 것인지에 대해서 부족함도 존재합니다. SAI의 핵심 개념인 유틸리티의 경계는 아직 명확하지 않으며, 저자들 역시 이를 향후 과제로 남겨둡니다. 또한 전문화된 AI들을 어떻게 하나의 유용한 시스템으로 통합할 것인지 역시 충분히 다뤄지지 않습니다.

• 해당 논문은 AI로부터 우리가 무엇을 만들려고 하는가라는 가장 근본적인 부분을 건드리고 있습니다. AGI라는 개념과 단어를 당연한 목표로 받아들여 왔다면, 그 방향에 대한 그 답을 제시하는 것보다 그 이면에 놓인 가정과 질문을 되살려보려고 합니다.
• 개인적으로 좋은 포지션 페이퍼의 가치는 새로운 답을 내놓는 데보다, 당연하게 여겨지던 질문을 되살리는 데 있습니다. 이러한 입장에서 한번 더 천천히 읽어보고 스스로 생각해보고 고민해보는 것의 가치가 충분하다고 생각합니다.

[Contact Info]

Gmail: jhbae1184@akane.waseda.jp

Twitter (X): @jhbae1184

LinkedIn