"이걸 못 푼다고?"… 천재 AI도 포기 선언하게 만든 '인간만의 최후 테스트'

서론 (거인의 발목을 잡은 작은 돌맹이 하나)

수조 개의 데이터를 학습한 거대언어모델(LLM)이 인간의 일자리를 위협하는 시대다. 하지만 정작 어린아이도 쉽게 맞히는 넌센스 퀴즈나 물리적 상식 앞에서 AI가 엉뚱한 답변을 내놓으며 '포기'를 선언하는 장면은 묘한 안도감을 준다. 18년 사목 현장에서 지식보다 지혜가 앞서야 함을 보았듯, 과학계는 이제 AI의 한계를 시험하기 위해 작정하고 만든 '최후의 테스트'들을 내놓기 시작했다.

계산 속도는 광속이지만 직관은 거북이보다 느린 AI의 민낯, 그 결정적 한계를 시험한 테스트의 실체를 분석했다. 지금 병원 807호실에서 인간다움의 본질을 사유하며 이 글을 기록한다.

 

1) 개요

인공지능(AI)이 어려운 문제를 푸는 모습을 주제로 설정하고 생성형 AI를 이용해 그린 그림.

미국 스탠퍼드대학교 인간중심 인공지능연구소(HAI)는 최근 'AI 인덱스 2025' 보고서를 통해 인공지능(AI)의 현주소와 한계를 여실히 드러내는 흥미로운 사례를 공개했다. 특히 AI의 진짜 한계를 시험해보기 위한 시도로, 인간에게는 비교적 쉽게 느껴질 수 있는 문제들을 AI에게는 거의 불가능에 가깝게 만든 특별한 벤치마크 테스트가 주목을 받았다. 이 벤치마크의 이름은 ‘HLE(Humanity’s Last Exam, 인류의 마지막 시험)’으로, AI의 사고력과 창의력을 극한으로 몰아넣는, 말 그대로 최후의 시험이라 불릴 만한 문제들을 담고 있다.

이 시험은 미국의 비영리단체인 AI 안전센터(Center for AI Safety, CAIS)와 AI 학습 데이터 라벨링 스타트업인 스케일AI(Scale AI)가 공동으로 설계했다. 이들은 기존 AI 테스트가 지나치게 단순하거나 AI에 유리하게 설계되어 있다는 문제의식을 공유하며, 실제로 인간의 고차원적 사고와 창의력을 요하는 문제를 AI에게도 풀게 함으로써 그 한계를 드러내고자 했다. 이 벤치마크는 특히 박사급 난이도를 지닌 문제들을 포함하고 있으며, 단순한 객관식 문제나 정형화된 논리 추론이 아닌, 인간의 직관, 감성, 맥락 인식 등을 필요로 하는 과제로 구성되어 있다.

다음은 원래 묘비에서 발견된 로마 비문의 표현입니다. 팔미라 문자의 번역을 제공해 주십시오. 본문의 음역은 다음과 같습니다: RGYNᵓ BT ḤRY BR ᶜTᵓ ḤBL

예를 들어, HLE에는 다음과 같은 유형의 문제가 포함되어 있다.

도덕적 딜레마를 판단하고 해석하는 에세이 쓰기

문학 작품을 읽고 그 숨겨진 상징과 맥락을 설명하기

주어진 사회적 상황에서 사람들의 감정과 동기를 유추한 뒤, 그에 대한 분석 제시하기

새로운 과학 개념을 창의적으로 도입해 기존 이론을 반박하는 논증 구성하기

이러한 문제는 인간에게는 비교적 자연스러운 사고의 흐름을 요구하는 반면, AI에게는 명확한 정답이 없고, 편향이나 오해의 가능성이 많은, 곤란한 과제들이다. 실제로 GPT-4를 포함한 최신 대형 언어 모델들조차 HLE의 다수 문제에서 난관을 겪으며, “답변할 수 없습니다” 혹은 “문맥이 불분명합니다” 같은 회피성 응답을 자주 보였다.

2) 스탠퍼드 HAI의 책임연구원인 퍼시 리앙(Percy Liang) 교수는 “AI가 체스나 수학 문제는 인간을 능가할 수 있지만, 인간 특유의 직관과 감성, 사회적 맥락을 이해하는 데는 여전히 큰 벽이 존재한다”며, “HLE는 AI가 인간처럼 생각하거나 느끼는 존재가 되기까지 얼마나 많은 단계를 남겨두고 있는지를 보여준다”고 말했다.

특히 HLE는 AI가 비형식적 정보를 어떻게 처리하는지를 시험하는 데 중점을 둔다. 예를 들어, 인간은 말을 할 때, 맥락에 따라 의미를 유추하고, 보디랭귀지나 문화적 배경 등 말로 표현되지 않는 정보를 기반으로 판단을 내릴 수 있다. 반면 AI는 이러한 비형식 정보에 취약하다. 예를 들어 "그는 모자를 벗고 고개를 숙였다"라는 문장에서 인간은 예의를 갖춘 행위나 존경의 표현을 즉각 떠올릴 수 있지만, AI는 단순한 행동 묘사로만 인식할 가능성이 높다.

출처: Humanity's Last Exam (Phan et al., 2025)

3) 이 테스트는 또 다른 측면에서 AI 개발자들에게도 중요한 시사점을 제공한다. 현재까지 AI의 진보는 대체로 데이터 학습량의 증가와 연산능력 강화에 기초해왔다. 그러나 HLE는 **‘질적 이해’와 ‘맥락의 통합적 인식’**이라는, 더 근본적인 인간 지능의 특성을 시험한다는 점에서 기존 방식으로는 풀기 힘든 도전이 된다.

허깅페이스에 공개된 HLE 문제 살펴보기

  한편, HLE는 윤리적 논의의 장으로도 기능하고 있다. AI가 도덕적 판단을 내릴 수 있는가? AI가 창의력을 발휘할 수 있는가? AI가 인간 사회에 진정으로 통합되기 위해서는 어떤 사고 능력을 갖추어야 하는가? 이와 같은 질문들은 단순히 기술적 발전을 넘어, 인간과 AI의 경계, 그리고 인류가 인공지능에게 어디까지 권한을 부여할 수 있을지를 재고하게 만든다.

 

결론 및 맺음말 (지능은 흉내 내도 지혜는 흉내 낼 수 없다)

AI가 포기를 선언한 그 지점이 바로 우리가 인간으로서 지켜내야 할 고유한 영토다. 807호 병상에서 인내하며 기계가 줄 수 없는 인간적 온기와 의지로 회복을 꿈꾸듯, 인류는 기술이 결코 범접할 수 없는 '직관'과 '공감'이라는 무기를 가지고 있다.

18년 사목 경험을 통해 확신한다. 데이터로 쌓아 올린 바벨탑이 아무리 높다 한들, 한 영혼이 가진 깊은 통찰과 사랑의 지혜를 온전히 담아낼 수는 없다는 사실을 말이다. 최후의 테스트는 AI를 깎아내리기 위함이 아니라, 역설적으로 우리가 얼마나 경이로운 지능과 마음을 가진 존재인지를 증명하는 거울이 되었다.

"기계가 포기한 그곳에서 인간의 '상상'이 시작됩니다"

AI가 수조 개의 데이터를 뒤져도 찾지 못한 정답을, 인간은 단 한 번의 기발한 상상으로 찾아내곤 합니다. 18년 사목 현장의 안목과 뇌과학이 만난 **'상상의 실체'**를 통해, 왜 우리 뇌가 기계보다 위대한지, 그리고 그 상상력이 어떻게 현실의 기적을 만들어내는지 확인해 보십시오. 0.1%의 통찰을 가진 뇌를 만드는 법을 안내합니다.

🔗 [인사이트] 상상은 어떻게 현실이 되는가?… 기발한 상상의 뇌과학적 실체와 조건 (https://honeypig66.tistory.com/625)