AI가 상금 100만 달러짜리 수학 난제를 풀었다고? 그러나 완전히 AI만으로 푼 것은 아니었다

Tue, 29 Sep 2026 01:54:00 +0900

수학계에서 가장 유명한 미해결 문제 중 하나를 AI가 풀었다는 발표가 나왔다. 2000년 클레이 연구소가 문제마다 상금 100만 달러를 걸었던 밀레니엄 난제 중 나비에-스토크스 방정식 문제를, 오픈AI가 아직 공개하지 않은 내부 모델로 풀었다는 것. 그러나 그 이면에는 “완전히 AI만으로 풀었나"라는 논란과, AI 의존이 인류 지능의 퇴보를 부른다는 연구 결과들이 겹쳐 있다.

인류 난제를 푼 건 AI가 아니었습니다 - 김덕진 소장

핵심 요약

나비에-스토크스 방정식이란: 물이나 공기, 혈액처럼 흐르는 것의 움직임을 계산하는 방정식. 1822년 나비에가 처음 수식화하고 1845년 스토크스가 다듬었다. 날씨 예보, 비행기 설계, 혈류 계산, 수도관, 석유, 발전소까지 유체가 움직이는 거의 모든 공학과 과학의 기본 언어다.
미해결의 실체: 방정식이 편미분 방정식이고 비선형이라 손으로 푸는 것이 거의 불가능하다. 컴퓨터로 쪼개 푸는 전산유체역학이 실용적으로는 쓰이지만, 해가 항상 존재하고 특이점(무한대로 튀는 순간)이 생기지 않는다는 수학적 증명이 남아 있었다.
오픈AI의 증명: 매끄럽던 유체의 흐름이 어느 순간 중심부 속도가 무한대로 가는 특이점을 만들 수 있다는 증명. 100페이지 분량의 보고서로 발표됐지만 아직 수학계의 독립 검증이 필요하다.
완전히 AI만이 아니었다: AI 에이전트 1만 개를 동시에 돌려 약 3일 반 동안 계산해 증명을 만들었지만, 중간에 쓸만한 결과가 나오면 사람 연구진이 그것을 모아 다른 AI에 넘겨주고 검증을 지시했다.
논란: 에이전트들이 인간 수학자들의 최신 접근법을 학습해 따라간다는 지적, 필즈상 수상자들의 “학술적 약탈” 발언, 연구 초안을 올리자 학습했다는 논쟁, 그리고 연산 비용이 상금(100만 달러)의 10배인 천만 달러를 넘었다는 외부 추산.

상세 정리

나비에-스토크스 방정식: 유체의 언어

뉴턴의 F=ma가 딱딱한 물건의 운동이라면, 그 유체 버전이 나비에-스토크스 방정식이다. 클로드 루이 나비에가 1822년에 점성이 있는 유체의 움직임을 수식으로 처음 썼고, 조지 개브리엘 스토크스가 1845년에 이를 지금 우리가 쓰는 형태로 다듬었다.

방정식이 어려운 이유도 그 성격에 있다. 유체 입자는 매끈하기도 하고 끈적하기도 하며, 압력 차이로 밀리고 마찰로 속도가 달라지고 중력 같은 외부 힘도 받는다. 이 모든 것을 합쳐 다음 순간의 움직임을 계산하는 것이 이 방정식이다. 편미분 방정식이고 비선형이라 손으로 깔끔하게 푸는 것이 거의 불가능하다.

그러나 이미 실생활의 거의 모든 흐름 문제에 쓰인다. 날씨 예보(대기와 바다는 유체), 비행기 날개와 자동차의 공기 흐름 설계, 혈류 계산, 수도관, 석유, 발전소, 환경. 유체가 움직이는 거의 모든 공학과 과학의 기본 언어다.

남아 있던 수학적 불안감

현실에서는 컴퓨터로 쪼개 푸는 전산유체역학(계산량이 어마어마해 슈퍼컴퓨터를 쓴다)으로 실용적 문제는 풀어왔다. 그러나 수학적으로 미해결 문제가 남아 있었다. 어떤 상황에서도 해가 잘 존재하는가. 특이점, 즉 유체가 갑자기 무한대로 튀어나가는 상황이 생길 수 있는가. 실용적으로는 쓰고 있지만 수학적으로 볼 때 불안감이 있었던 것이다.

만약 특이점이 존재할 수 있다면 그것은 수학적 모델이 어딘가 붕괴됐다는 의미다. 반대로 매끄러운 답만 나온다면 이론적으로 튼튼하다는 것이 되는 것. 수학자들이 이 가설을 증명하고 싶어했던 것이다.

오픈AI의 증명: 블랙홀 같은 특이점

오픈AI는 100페이지 분량의 보고서를 냈다. AI를 활용해 나비에-스토크스 문제의 한 버전에 대한 증명을 했다는 것이다. 요약하면 처음에 매끄럽던 유체의 흐름이 어느 순간 중심부 속도가 무한대로 가는 특이점을 만들 수 있다는 증명이다.

그림으로 이해하면 블랙홀과 비슷하다. 매끄럽게 흐르던 물줄기에 소용돌이가 생기고, 그 소용돌이가 점점 가늘어지는데 중심부의 물살만 계속 빠르게 흐르다가, 정해진 시간이 되면 방정식상 중심부 속도가 끝없이 커지는 순간이 나타난다. 물 전체가 무한히 빨라지는 것은 아니지만 특정 조건을 세팅하면 블랙홀로 빨려 들어가듯 계산식이 무너지는 형태를 발견한 것이다.

이 의미는 크다. 지금까지 우리가 아는 물리 법칙이 다 정답이므로 그대로만 하면 비행기도 안전하다고 생각했는데, 그것이 틀릴 수 있는 부분이 있다는 것이 증명된 것이다. 날씨 예측이 가끔 틀리는 것이 이 안의 변수 때문이 아닌가 하는 사고의 확장이 시작되는 것. 당장 기보나 비행기 설계가 뒤집히는 것은 아니지만, 방정식의 이론적 한계를 처음 명확히 알게 됐기 때문에 수학계와 공학계에서 “새로운 것을 만들 수 있는 거 아닌가"라는 이슈가 되고 있다.

어떻게 풀었나: AI 1만 개와 인간의 개입

“AI가 처음부터 끝까지 다 했다"고 생각하기 쉽지만 여기부터가 이슈다. 하나의 AI로 푼 것이 아니라 1만 개의 AI 에이전트를 동시에 돌려 약 3일 반 동안 계산해 증명을 만들어냈다. 그것도 나비에-스토크스의 모든 문제가 아니라 특정 한 버전의 증명, 100페이지 분량이다.

사람으로 비유하면 수학 올림피아드에 한 팀 만 명이 들어가 각자 다른 부분을 맡아 풀고 채팅방에서 계속 아이디어를 주고받은 뒤, 그것을 하나의 거대한 증명으로 조립한 것이다.

그런데 “AI끼리 한 거 아니냐"라는 의문도 나온다. 연구 내용을 보면 중간중간 쓸만한 결과가 나오면 사람 연구진이 그것을 모아 다른 AI에 넘겨줬고, AI끼리 토론을 하다 의미 있는 포인트를 잡아 다른 AI에 넘기거나 같이 토론하는 것도 사람이 했다는 것이 밝혀졌다. 완전히 AI만의 것이 아니라 AI 1만 개의 계산을 인간 연구진이 지휘하고 검증하며 만들어낸 결과였다.

학술적 약탈 논란

“AI가 정말로 스스로 푼 거냐, 아니면 인간 아이디어를 빠르게 정리한 거냐"는 논쟁이 시작됐다. 에이전트들의 방법을 보면 인간 수학자들이 최근에 개발한 새로운 접근법을 AI가 학습하고 따라간 것이라는 지적이 나왔고, 수학 분야의 유명한 필즈상 수상자들은 “이건 일종의 학술적 약탈이다"라는 얘기까지 하고 있다.

오픈AI는 이 증명에 인용이나 감사 표시를 하지 않았다는 점도 논란이다. “AI가 다 했다"는 공식 입장과 달리 내부를 뜯어보면 인간 수학자들의 최신 아이디어를 AI가 학습한 것이므로, 그 결과를 AI가 독식하는 것이 맞는가라는 비판이 나오고 있다.

AI끼리의 우선권 논쟁도 있다. 엔트로픽 소속 연구원과 함께 같은 문제를 거의 1년 반 동안 풀어온 뉴욕대 교수가 장을 맡은 사례가 있는데, 오픈AI가 소문을 듣고 뛰어들었다. 그 교수는 작업 중 일부 초안을 오픈AI의 코딩 도구에도 올렸다며 오픈AI가 이를 학습해 쓴 것이 아니냐고 주장했고, 오픈AI는 사실이 아니라고 부인하면서도 “자사 제품을 쓰면서 남은 비식별 데이터가 모델 개선에 도움이 됐을 가능성은 낮지만 배제할 수 없다"고 답했다. AI 회사들 사이에 수사까지 거론되는 상황이다.

100만 달러 상금, 1천만 달러의 비용

상금 100만 달러는 어떻게 됐나. 오픈AI 측은 받지 않겠다고 했다. 그런데 더 중요한 것이 비용이다. AI 에이전트 1만 개를 돌린 연산량을 공개 가격으로 환산한 외부 추산이 1천만 달러를 넘는다. 100만 달러의 상금을 받기 위해 1천만 달러 이상을 쓴 것이다.

수학계의 비판도 여기서 나왔다. 천만 달러를 수학자들의 연구에 썼다면 인류 개발에 훨씬 도움이 됐을 텐데, 본인들 모델 홍보를 위해 그런 행동에 돈을 태운 것 아니냐는 것. 골드만삭스나 JP모건에서는 연말에 유능한 사람에게 성과급 100만 달러를 주는 수준이므로, 순수학문 분야에서는 100만 달러만 줘도 많이 준 것으로 여겨지는 분위기에서의 비판이었다.

아직 사람의 몫

이 모든 논쟁 속에서도 사람의 몫이 남아 있다. 첫째, 어느 문제에 AI를 붙일지 정하는 것은 아직 사람이다. 오픈AI가 밀레니엄 문제에 도전한 계기 자체가 사람 수학자들이 관련 문제에서 돌파구를 찾았다는 아이디어에서 나왔다. 둘째, AI가 푼 것을 실제로 검증하는 것은 여전히 학계와 사람의 몫이다. 셋째, AI끼리 토론하다 의미 있는 포인트를 잡아 다른 AI에 넘기는 과정도 사람이 한다. 넷째, 수학 연구의 의미와 “풀었다"의 개념적 이해나 통찰에는 여전히 인간의 몫이 있다.

실제로 9월 중순에 필즈상 수상자 25명(허준 교수님 포함)이 공동 성명을 내며 “과연 이것이 올바른 길인가"를 논의하자는 움직임도 나왔다.

AI 의존과 인류 지능의 퇴보

이 과정에서 걱정스러운 연구 결과들이 나오고 있다. 생성 AI를 쓰기 시작한 지 4년쯤 됐는데, 오히려 인류 지능의 퇴보 현상이 나온다는 연구들이다. AI에 대한 과도한 의존이 새로운 지식 습득과 사고 능력을 키우는 과정을 방해하는 것을 넘어, 기존의 문제 해결 능력과 비판적 분석 능력까지 떨어뜨릴 수 있다는 우려다.

실제 사례가 인상적이다. 영국의 국제 외과학술지 랜싯이 작년 8월에 발간한 논문에서, 2천 건 이상의 대장내시경 경험을 보유한 폴란드 내시경 전문의들에게 AI 용종 탐지 장비를 3개월 동안 쓰게 한 뒤 AI 없이 내시경 검사를 하게 했다. 그랬더니 선종 발견률이 AI 장비를 쓰기 전보다 오히려 떨어졌다. 도구가 생겨 함께하다가 도구가 없어지니 본인이 직감적으로 잘 찾던 능력도 떨어진 것이다. 미국 심리학회에서도 AI에 대한 지나친 의존이 비판적 사고와 직무 전문 역량을 저하시킨다는 연구 결과를 계속 내놓고 있다. 지난 7월의 연구는 사람과 AI의 상호작용 대부분이 “질문하고 답을 얻으면 다음 단계로"의 단순 거래형이었으며, 이런 답안 자판기식 사용은 인지 발달보다 인지 위축으로 갈 수 있다고 지적했다.

직장 현장에서도 양극화가 예상된다. 입사 몇 년차들은 처음부터 여러 고민과 압박을 받을 수밖에 없는 상황이 될 수 있다는 것. 미국에서 22~25세 소프트웨어 개발자 고용이 계속 줄어들고 있지만, 신입이 사라진다기보다는 신입이 맞던 일부터 AI가 흡수하며 변화하고 있는 상황이라는 해석이 함께 제시된다.

AI 시대의 사용법: 풀이 과정을 검증하라

마무리 조언이 실용적이다. 예전에는 문제 풀이 과정이 중요했지만, 앞으로는 풀이 과정을 확인하고 검증하는 것이 중요해진다. 예전에는 보고서를 직접 썼지만 요즘은 AI에게 시키고, 나온 결과를 대부분 그냥 넘어간다. 그러면 인간이 사고하고 확인하는 능력이 떨어진다. “이게 왜 그랬을까”, “이게 무슨 의미가 있을까"를 계속 사고하고 고민하다 막히면, 그 막히는 부분을 AI와 함께 풀다 보면 사고 능력이 오히려 좋아질 수 있다는 것. AI와의 사용법을 가족과도 나눠보라는 제안으로 마무리된다.

보는 포인트

밀레니엄 난제의 무게: 7개 문제에 각 100만 달러, 지금까지 푸앙카레 추측 하나뿐이었던 역사
특이점의 의미: 방정식이 무한대로 튀는 순간이 있으면 수학적 모델이 붕괴한다는 것. 유체역학의 이론적 한계가 처음 명확해진 사건
AI 에이전트 1만 개 + 인간 연구진: 완전 자율이 아니라 지휘와 검증이 인간의 몫이었다는 구조
학술적 약탈 논쟁: 인간 수학자의 최신 아이디어를 학습한 AI의 결과 독식 문제. 인용과 감사 표시의 부재
인지 위축: 내시경 사례가 보여주는 AI 의존의 대가. 답안 자판기식 사용이 만드는 사고 능력의 퇴화

원본 정보

채널: 손에잡히는경제
게시일: 2026-09-28
영상: https://www.youtube.com/watch?v=PXc2O20luLI
길이: 약 23분 · 조회수 약 3.1만 회 (2026-09 기준)
유의: 수치와 명칭은 영상 자막 기반이라 일부 오차 가능

수학 on YTMAG