▲단순한 규모 확장을 넘어 ‘확장 가능한 사전 지식(Scalable Prior)’으로(출처: ChatGPT)

 
‘더 크게, 더 많이’가 만든 AI 혁명

오늘날 인공지능의 눈부신 발전은 하나의 거대한 법칙으로 요약된다. 바로 △모델의 크기 △데이터 △컴퓨터 연산 자원을 늘릴수록 인공지능의 성능이 비약적으로 성장한다는 ‘스케일링 법칙(Scaling Law)’이다. 과거에는 인공지능에게 언어를 가르치기 위해 인간 설계자가 수많은 문법 규칙을 일일이 코딩해 컴퓨터에 입력해 줘야 했다. 반면 최신 거대 언어 모델(LLM)은 인간이 평생 읽을 수 없는 엄청난 양의 글을 컴퓨터에 통째로 학습시키는 방식을 택했다. 인터넷에서 수집한 수조 개의 문장 속에서 다음에 올 단어를 맞히는 과정을 수없이 반복하며, 문장의 통계적 패턴을 스스로 깨치게 만든 것이다. 이처럼 단순한 원리도 그 규모를 키우자, 인공지능이 스스로 맥락을 파악하고 창의적인 결과물까지 내놓기 시작했다. 이는 인간이 규칙을 직접 설계하던 시대를 넘어, 데이터와 컴퓨터 성능이라는 ‘규모의 경제’가 거둔 승리였다. 지금 우리가 마주한 AI의 성공은 이처럼 양적인 팽창이 질적인 도약으로 이어진 결과다.

 

스케일링 법칙이 마주한 한계

그러나 최근 인공지능 학계에서는 이런 방식이 명백한 한계에 직면했음을 지적한다. OpenAI의 공동 창업자인 일리야 수츠케버(Ilya Sutskever)는 현재의 학습 속도를 고려할 때, 거대 언어 모델이 인터넷에 있는 언어 데이터를 모두 소진하여 머지않아 쓸 수 있는 데이터가 고갈될 것으로 전망한다. 즉, 학습할 재료가 사라지므로 단순히 규모만 키우는 방식은 물리적 한계에 부딪힐 것이며, 인공지능이 한 단계 더 진화하기 위해서는 단순한 규모 확장이 아닌 새로운 알고리즘적 혁신이 필요하다는 지적이다.

얀 르쿤(Yann LeCun)과 리처드 서튼(Richard Sutton) 같은 학자들 역시 현재의 거대 언어 모델 방식으로는 진정한 일반지능(AGI)으로 나아갈 수 없다고 비판한다. 글자들의 통계적 배열만 맞추는 지금의 모델은 실제 세계의 물리적 법칙이나 인과 관계를 전혀 이해하지 못하기 때문이다. 방대한 텍스트로부터 ‘사과가 땅으로 떨어진다’라는 문장을 학습해 출력할 수는 있어도, 사과가 왜 아래로 떨어지는지 이해할 구조적 틀이 없는 셈이다. 막대한 비용 부담과 데이터 고갈이라는 현실적인 한계, 그리고 모델이 어떤 근거로 판단하는지 알 수 없다는 불확실성은 이제 학계로 하여금 단순한 ‘양’을 넘어 ‘구조’라는 새로운 돌파구를 모색하도록 이끌고 있다.

                                                                                        ▲ICCV 2025 학회에서 사전 구조의 중요성을 강조하는 모상우 교수
 

사전 지식을 통한 구조의 결합

이런 한계를 극복하기 위한 열쇠가 바로 인간이 미리 반영해 두는 규칙인 ‘사전 지식(Prior)’의 결합이다. 예를 들어 최신 인공지능들은 복잡한 문제를 풀 때, 질문을 받자마자 정답을 바로 출력하지 않는다. 그 대신 인간이 문제를 풀 때처럼 중간 풀이 과정을 스스로 적어 내려가는 ‘단계적 추론 과정(Chain-of-Thought)’을 거친다. ‘A는 B보다 크고, B는 C보다 크므로, 가장 큰 것은 A다’와 같이 생각의 사슬을 이어가는 식이다. 이처럼 모델 내부에 논리적 구조를 부여함으로써, 거대 언어 모델은 기존의 통계적 확률 맞추기를 넘어 단순한 문장 암기로는 해결할 수 없는 어려운 수학 및 코딩 문제까지 성공적으로 해결하기 시작했다.

현재 학계에서는 사전 지식을 지나치게 정교하게 설계할 경우, 인공지능이 새로운 패턴을 배우는 유연성이 저하되어, 대규모 학습에서 오히려 성능의 발목을 잡는다는 시각이 많다. 그러나 사전 지식이 스케일링 법칙과 언제나 대립하는 것은 아니며, 둘은 거대한 데이터 안에서 얼마든지 긴밀하게 상호보완할 수 있다. 앞서 거대 언어 모델의 사례가 보여주듯, 인공지능에게 글쓰기를 가르치기 위해 문법 규칙을 일일이 규정해 주는 방식은 데이터 규모가 커질 때 아무런 도움이 되지 않는 ‘확장 불가능한 방법’이다. 반면, 문제를 풀 때 생각의 단계를 밟아가게 만드는 구조는 데이터와 연산 자원이 늘어날수록 그 효과가 함께 커지는 ‘확장 가능한 방법’이다. 결국 방대해지는 데이터의 힘을 저해하지 않으면서도 지능의 효율적인 틀을 제공하는 ‘확장 가능한 사전 지식(Scalable Prior)’의 정교한 설계가 중요하다.

 

물리 에이전트의 부상과 새로운 도전

이런 구조적 지식은 최근 로봇이나 자율주행처럼 현실에서 직접 움직이는 ‘물리 에이전트(Physical Agent)’가 등장하면서 그 가치가 더욱 선명해지고 있다. 화면 속 텍스트만 다루는 언어 모델과 달리, 물리 에이전트들은 3차원 공간에 대한 시각적·공간적 인지는 물론 주변 환경과 상호작용하기 위한 물리적 법칙까지 깊이 이해해야 하기 때문이다. 특히 이들이 실제 세상에서 스스로 부딪히며 활동하려면 안전성과 효율성이라는 장벽을 넘어야 한다. 가상 세계와 달리, 현실에서의 사소한 시행착오는 치명적인 사고나 막대한 비용 손실로 직결된다. 결국 인공지능의 무대를 물리 세계로 확장하기 위해, 과연 어떠한 시각적·공간적·물리적 ‘확장 가능한 사전 지식’이 필요한가에 대해 여전히 많은 연구적 도전이 남아 있다.

 

                                                                                                                              모상우 / 산경 조교수

학계의 AI 연구가 나아갈 방향

최근 빅테크 기업들이 압도적인 자본으로 스케일링 연구를 주도하자, 학계 연구실에서는 독자적 연구의 입지가 좁아졌다는 회의적인 목소리가 나오기도 한다. 그러나 시스템의 ‘구조’가 다시금 주목받는 지금, 학계의 역할은 그 어느 때보다 중요하다. 예를 들어 현재 이미지 생성 모델의 핵심인 확산 모델(Diffusion Model) 역시 대학 연구실의 소수 연구자가 처음 제안한 아이디어였다. 이 기반 위에 기업의 자본과 인력이 더해지면서 지금의 폭발적인 성능 도약으로 이어졌다. 이처럼 학계가 거대 기업과 자본력으로 경쟁할 필요는 없다. 대신 학계가 방대한 데이터 속에서 효율적으로 작동할 새로운 구조적 아이디어를 제안하고, 기업이 이를 대규모로 확장하는 상호보완적 생태계를 구축해야 한다. 자본의 규모를 넘어 지능의 본질을 탐구하는 학계 고유의 시각이 살아있을 때, 비로소 다음 세대 인공지능의 진정한 돌파구가 열릴 것이다.

출처: [포항공대신문] https://times.postech.ac.kr/news/articleView.html?idxno=24211