The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement

AI가 개선 실행부터 전략·경험 수집·배포 적응·개선 절차 자체까지 맡는 과정을 다섯 수준으로 정리한 서베이다. 자율성의 확대와 실제 성능 향상을 구분하며, 세대를 거친 개선 능력의 누적은 아직 입증 과제로 남는다.

Jiphyeonjeon Team2026-09-1546 min read

recursive-self-improvementself-improving-agentsautonomy-levelssurveyagent-infrastructurebenchmark-saturationpaper-review

Paper: Yi Duan; Ying Liu; Zirui Tang; Haodong Chen; Jun Zhou; 외 28인 (2026). "The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement". https://arxiv.org/abs/2609.11873v1 · arXiv:2609.11873v1. 이 글은 2026년 9월 10일 공개된 75쪽의 v1을 기준으로 한다. 분류는 cs.LG이고, 저자 33명에 동등 기여 5명·교신저자 1명(Xuanhe Zhou)이 표기된다. 소속은 상하이교통대학교·Theseus Labs·칭화대학교·ByteDance·ModelBest·샤오훙수·Humanlaya·Agent-Native Research Lab·상하이 AI Lab 아홉 곳이다. PDF · 프로젝트 페이지.

Abstract: 재귀적 자기개선(RSI)은 AI 시스템이 경험과 피드백을 지속적인 자기 변경으로 바꾸어, 능력뿐 아니라 이후 개선을 만들어 내는 과정 자체를 바꾸는 것을 가리킨다. 이 서베이는 먼저 **남은 개선 여지의 해소율(HCI)**로 현재 LLM의 능력 진보가 영역마다 고르지 않다는 점을 보인 뒤, RSI를 개선 실행 자율성 → 개선 전략 자율성 → 경험 획득 자율성 → 환경 적응 자율성 → 재귀적 메타 개선의 다섯 수준으로 나눈다. 핵심 논점은 자율성을 모델 능력이나 자동화된 구성요소의 수가 아니라 외부 설계자에게서 AI로 넘어간 개선 결정으로 정의한 데 있다. 이어서 과학·체화 지능·소프트웨어 공학·의료 네 영역이 서로 다른 검증 비용과 피드백 구조를 갖는다는 점, 여섯 개 산업 사례가 어느 수준에 해당하는지, 그리고 진짜 RSI에 이르기 위한 여덟 가지 과제를 정리한다. 이 글은 이 틀이 무엇을 세었고 무엇을 세지 않았는지, 그리고 논문의 가장 강한 주장과 가장 약한 근거가 각각 어디에 놓였는지 검토한다. 논문 초록

Executive Summary

항목	설명
연구 질문	AI가 AI 개발에 기여하는지가 아니라, 개선 루프가 시스템 자신을 둘러싸고 닫혔는지, 그리고 그 루프에 대한 권한이 얼마나 내생화됐는지를 묻는다.
분석 단위	특정 알고리즘이 아니라 개선 루프. 아홉 구성요소(AI 시스템·시스템 상태·경험·대상·개선자·전략·검증자·개선·후계자)로 분해한다.
자율성 기준	모델 능력이나 자동화 비율이 아니라 외부 설계자에게서 AI로 넘어간 개선 결정.
다섯 수준	L1 실행, L2 전략, L3 경험 획득, L4 배포 적응, L5 재귀적 계승. 비-RSI 기준점으로 B0(과제 내 반복)을 따로 둔다.
핵심 구분	구조적 재귀(수정된 개선 기구가 실제로 이후 회차를 지배한다)와 실효적 재귀(그 기구가 비슷한 예산·독립 평가 아래 더 나은 후계자를 만든다)를 나눈다.
경험적 동기	2023~2026년 모델 393건의 관측을 HCI로 정규화. 2026년 수학 86.4·대학원 과학 85.8인 반면 소프트웨어 공학 52.6·검색/터미널 56.8·도구 사용 39.9(저자 보고).
조사 규모	부록 도판이 491편을 수준별로 분포시킨다. L1 215(43.8%), L2 155(31.6%), L3 64(13.0%), L4 28(5.7%), L5 29(5.9%).
실증 자료	서베이 자체는 모델 학습이나 벤치마크 재현을 하지 않는다. 자체 계산은 §2.1의 HCI 재분석(관측 393건)이고, 자체 실험은 Theseus 작업공간 연구 두 건(표 9)이며, 나머지는 논문이 인용·서술한 산업 사례의 보고값이며, 이 리뷰가 각 원자료를 독립 검증한 수치는 아니다.
가장 단단한 결론	"자율성 수준이 높다고 개선 과정이 더 좋은 것은 아니다"를 명시하고, L5 최전선 사례가 통계적으로 유의한 효율 이득을 보이지 못했다는 것을 스스로 적는다.
핵심 한계	491편 조사 코퍼스의 선정 기준·기간·검색 방법이 어디에도 없고 참고문헌은 217편이다. Figure 3 후반부의 RSI 확장선은 논문이 예시·가설로 명시하지만, 네 영역 종점을 전부 정하는 계수 0.22에는 출처도 민감도 논의도 없다. 산업 사례 여섯 중 넷이 저자 소속 조직과 연결되어 있어 증거 출처의 집중을 고려해야 한다.

개발 부담에서 RSI로
개선 루프를 분석 단위로 놓는다
능력 진보는 고르지 않다
다섯 수준: 책임이 어디로 옮겨가는가
L5와 구조적 재귀·실효적 재귀
응용 영역마다 병목이 다르다
산업 사례와 그 증거의 성격
무엇을 세었고 무엇을 세지 않았는가
한계, 재현 조건과 결론

1. 개발 부담에서 RSI로

서베이의 출발점은 개념이 아니라 비용이다. 논문은 세 가지 병목을 든다. 파운데이션 모델 개발이 상당한 자원과 조율을 요구한다는 것, 확장 가능한 학습이 쓸모 있는 경험과 신뢰할 만한 검증에 달려 있다는 것, 배포된 시스템이 갱신을 진단·검증·배포하는 데 계속 노력을 요구한다는 것이다. 이 세 가지가 부분적으로만 해소된 상태라는 것이 §6의 출발점이기도 하다. 논문 §6

RSI를 다루는 방식에서 이 논문이 선행 연구와 갈라지는 지점은 네 곳이다. 논문 스스로 적는 바로는 다음과 같다. 첫째, 개선 루프를 분석 단위로 삼는다. 선행 서베이가 자기진화의 단계·갱신 대상·시점·기법으로 연구를 묶는 반면, 이 논문은 무엇이 개선을 촉발하고 누가 변경을 제안·검증하며 무엇이 남고 이후 어떤 결정이 그 남은 변경을 쓰는지를 하나의 완결된 루프로 추적한다. 둘째, 책임을 자율성의 기준으로 삼는다. 능력 수준이나 자동화된 구성요소의 수가 아니라, 외부 설계자에게서 AI로 넘어간 개선 결정으로 자율성을 조작적으로 정의한다. 셋째, 재귀와 성능의 증거를 분리한다. 과제 성능이 높아졌다는 것만으로는 개선 기구가 수정·보존·재사용됐다는 증거가 되지 않는다. 넷째, 기구를 작동 조건을 가로질러 비교한다. 교정·합성 데이터·평생 학습·메모리·프롬프트 최적화·워크플로 설계가 각각 어떻게 동작하는지가 아니라, 그것들이 완전한 루프 안에서 과학·체화 지능·소프트웨어 공학·의료·산업 현장을 가로질러 어떻게 기능하는지를 본다. 논문 §1.7

이 네 선택이 합쳐지면 서베이의 위치가 정해진다. 논문은 자기 자리를 "개선 기구의 카탈로그와 AI 능력의 일반적 위계 사이"라고 적는다. 목표는 현재 시스템이 개선 루프의 어느 부분을 떠맡을 수 있는지, 보존된 변경이 이후 회차에 어떤 영향을 주는지, 그리고 재귀적 진보라는 주장을 무엇이 뒷받침하는지를 판정하는 것이다.

아홉 개 응용 영역의 시스템·기업을 B0부터 L5까지 여섯 열에 배치한 지형도

Figure 1. 논문 1쪽. 가로축은 왼쪽 B0(Output)에서 오른쪽 L5(Meta)까지 여섯 열이고, 각 열에 해당 수준으로 분류된 시스템과 기업이 들어간다. 위쪽 범례의 아홉 색은 응용 영역(AI Research·Scientific Research·AI Infrastructure·Software Engineering·Robotics·Systems Research·Math Research·Enterprise AI·Personal AI)을 구분하고, 오른쪽 아래 범례의 다섯 색은 기법 계열(Search & Optimization·Data, Task & Experience·Training & Persistent Update·Verification & Selection·Online & Meta-Level Adaptation)을 구분한다. 열마다 아래쪽에 그 수준의 별칭이 붙는다. B0은 In-Task Iteration, L1은 Execution Automation, L2는 Strategy Search와 Experiment-Based Refinement, L3은 Data Pipeline Automation, L4는 Deployment Automation, L5는 Meta Improvement다. B0 열에는 LangSmith·AlphaEvolve·FutureHouse·Replit 등이, L5 열에는 Weco AI·sakana.ai·HyperAgents가 놓인다. 점선 대각선이 왼쪽 아래 B0에서 오른쪽 위 L5로 올라간다. 출처: 논문 Figure 1.

2. 개선 루프를 분석 단위로 놓는다

논문은 특정 알고리즘이 아니라 개선 루프를 기본 분석 단위로 잡는다. 이 선택 덕분에 서로 매우 다른 기구로 구현된 시스템도 같은 질문으로 비교할 수 있다. 무엇이 경험을 만드는가, 무엇이 바뀌는가, 무엇이 이후 상호작용으로 남는가, 누가 갱신 과정을 통제하는가, 그리고 한 회차의 개선 결과가 다음 개선을 결정하는 데 참여하는가. 논문 §2.2.1

루프는 아홉 구성요소로 분해된다. AI 시스템(능력 상태가 추적되는 전체 계산 실체), 시스템 상태(한 회차 끝에 남아 다음 회차로 상속되는 부분), 경험(이후 수정을 이끄는 데 쓰인 앞선 상호작용 정보), 대상(현재 회차에서 직접 수정되는 객체), 개선자(상태와 경험을 후보 수정으로 바꾸는 기구), 전략(개선자가 어디를 탐색하고 어떻게 후보를 생성할지 정하는 방법), 검증자(후보를 평가하고 수용 규칙을 적용하는 기구), 개선(수용 규칙을 통과해 보존되고 다음 시스템 상태로 들어간 수정), 후계자(수용된 개선을 상속해 갱신된 상태로 다음 회차에 들어가는 시스템). 논문 §2.2.1

여기서 세 가지 교차 질문이 나온다. 루프는 어디서 닫히는가는 겉보기 개선이 실제로 시스템으로 되돌아오는지를 가른다. 무엇이 갱신되고 상속되는가는 개선의 지속적 운반체를 정한다. 어떤 결정이 외부에 남는가는 개선 과정에 대한 권한이 인간이나 고정 인프라에서 AI로 얼마나 넘어갔는지를 정한다. 이후 모든 수준 분석이 이 세 질문으로 진행된다.

RSI의 정의는 이 해부 위에 놓인다. 지능 시스템이 과제·환경·다른 에이전트와의 지속적 상호작용을 통해 획득한 경험과 피드백을 자율적으로 회차를 가로지르는 지속적 자기 변경(모델 파라미터, 에이전트 하네스, 개선 정책 등)으로 바꾸되, 그 변경이 이후 자기개선을 생성·평가·선택·통합하는 데 쓰이는 기구 자체에 영향을 줄 수 있어야 한다는 것이다. 논문 §2.2.2

이웃 패러다임과의 경계는 표 하나로 정리된다. 지속 학습·AutoML·에이전틱 AI는 모두 개선 루프의 일부를 자동화하지만, 통상적인 개선 대상, 회차를 가로질러 보존되는 상태, 고정 절차나 외부 행위자에게 남는 결정에서 갈린다. 논문은 각 패러다임이 RSI에 근접하는 조건도 적는다. 지속 학습은 경험이 이후 적응의 제안·평가·통합 방식까지 수정하고 그 수정된 과정이 재사용될 때, AutoML은 개선을 탐색하거나 평가하는 절차가 이후 회차가 개선할 수 있는 지속 상태가 될 때, 에이전틱 ML은 에이전트 시스템에 대한 검증된 변경이 과제를 가로질러 지속하고 이후 개선의 생성·선택에 영향을 줄 때다. 논문 §2.2.3 · Table 1

3. 능력 진보는 고르지 않다

RSI가 왜 지금 문제인지를 논문은 벤치마크 궤적으로 답한다. 이 절이 서베이가 직접 계산한 수치를 내놓는 유일한 분석 파트다.

3.1 남은 개선 여지의 해소율

방법은 세 단계다. 먼저 보고된 점수를 **프로토콜 연결 족(protocol-link family)**으로 묶는다. 벤치마크 판본과 평가 하네스가 안정적이거나, 겹치는 모델들의 평가가 프로토콜 사이에 방어 가능한 다리를 놓을 때만 같은 족에 속한다. 호환되지 않는 판본이나 하네스로 얻은 결과는 감사 기록에는 남되 궤적에서는 빠진다. 이 규칙은 최신 모델 감사에서 고려된 33건 중 17건을 받아들였고, 나머지 16건은 Terminal-Bench·DeepSWE·CyberGym·ExploitBench·AutomationBench·BrowseComp에서 나온 것으로 참조용으로만 남았다. 논문 §2.1

같은 모델·족·판본·평가 모드를 여러 출처가 보고하면 가중 합의점수를 계산한다. 가중치는 출처 유형별로 벤치마크 소유자 표 3, 독립 공통 하네스 평가 2.5, 벤치마크·모델 보고서 결합 2, 모델 저자 표 1이고, 모델·시스템 제공자의 자기 보고값(first-party values)에는 0.75를 추가로 곱한다. 자기 보고 결과의 영향을 제한하려는 실용적 민감도 조정이라고 적는다.

정규화가 핵심이다. 벤치마크마다 재는 양이 다르므로 원값을 직접 모을 수 없다. 그래서 **남은 개선 여지의 해소율(HCI)**를 쓴다.

H = 100 × (s̄ − F₀) / (100 − F₀)

여기서 F₀는 그 벤치마크가 데이터셋에 처음 들어온 해의 90백분위 모델 점수다. 따라서 H = 0은 진입 연도의 프런티어, H = 100은 만점을 뜻한다. 영역 궤적은 벤치마크 족별 90백분위 HCI 프런티어를 √n 가중 평균해서 얻는다. n은 그 벤치마크-연도 프런티어에 기여한 서로 다른 모델 수이고, 제곱근 가중은 잘 커버된 족이 더 기여하되 가장 큰 표가 영역 값을 지배하지 않게 한다. 논문 §2.1, 식 (1) · 식 (2)~(3)

이 지표를 정확도로 읽으면 안 된다. 설명용 가상 예시로, 진입 연도 기준 점수가 60이고 이후 점수가 80이면 HCI는 50이다. 남아 있던 40점 중 20점을 채웠다는 뜻이다. 이후 점수가 똑같이 80이어도 기준점이 20이면 HCI는 75다. 같은 HCI도 같은 원점수도 영역 간 동일한 능력을 뜻하지 않으며, 각 기준점에서 만점까지의 거리를 얼마나 줄였는지 나타낸다. 가상 값은 논문 실험값이 아니라 Equation 2의 계산법을 보여 주기 위한 것이다.

이런 정규화는 서로 다른 평가의 진보 양상을 비교하는 데 유용하다. 그러나 벤치마크의 만점을 실제 환경의 완전한 숙련과 같게 만들거나, 서로 다른 과제의 난이도를 통계적으로 동등하게 보정하는 절차는 아니다. Figure 3이 RSI를 연구할 동기를 주는 것과 RSI가 그 격차를 실제로 줄인다는 것을 입증하는 일도 구분해야 한다. 논문 §2.1, Eq. 2–4

열 개 능력 영역의 HCI 궤적과 2026년 이후 예시 확장

Figure 3. 논문 8쪽. 위쪽 범례가 네 묶음 열 개 영역을 정의한다. 지식·과학 평가(일반 지식 MMLU-Pro·LiveBench, 대학원 과학 GPQA Diamond, 학문적 폭 Humanity's Last Exam, 수학 FrontierMath v2 Tiers 1–3), 특화 추론(멀티모달 MMMU-Pro, 법률 Vals LegalBench), 소프트웨어 환경(사이버보안 Cybench unguided/pass@1, 소프트웨어 공학 LiveCodeBench·SWE-bench), 도구 매개 워크플로(도구 사용 BFCL v3·τ/τ²-bench, 검색/터미널 BrowseComp·Terminal-Bench)다. 묶음마다 L1–L2, L1–L2, L2–L3, L3–L4라는 자율성 대역이 붙어 있다. 가로축은 측정된 모델 출시일(2023~2026)이고 세로축은 HCI로, 0이 진입 연도 프런티어이고 100이 만점이다. 오른쪽 점선 세로줄부터가 빗금 친 구간이고, 도판 안에서는 "RSI-enabled adaptation", 가로축 아래에서는 "Post-2026 RSI stage"라는 두 이름이 붙는다. 그 안의 선은 측정값이 아니라 예시 확장이다. 파선은 이 구간 밖에서도 쓰이는데, 사이버보안 궤적의 파선은 Cybench 과제 부분집합이나 pass@1 집계가 바뀐 구간을 뜻한다. 본문 곡선은 2026년 중반 이후 대체로 평평해지고, 빗금 구간에서 다시 가파르게 올라 화살촉으로 끝난다. 왼쪽 위 상자는 모델 계열을 표식으로 구분하는 범례이고, 곡선 위의 라벨들(GPT-4o, o1, Opus 4.5, Gemini 2.5 Pro, Kimi K2, GLM-4.5, Claude 3.5 Sonnet, GPT-5.6 Sol, Sonnet 5, Opus 5, Fable 5, Fable 5.1, Kimi K3, GLM-5.3, GPT-5.6 Terra, GPT-6 Astra)은 개별 모델 지점을 가리킨다. 출처: 논문 Figure 3.

3.2 세 가지 관측

논문은 도판에서 세 가지를 읽는다.

첫째, 프런티어 이득은 크기와 시점이 다르다. 2026년 기준 수학 86.4, 대학원 과학 85.8, 일반 지식 77.2이고, 법률 추론 64.5, 멀티모달 추론 62.2, 학문적 폭 60.4다. 연간 증분을 보면 패턴이 갈린다. 일반 지식은 세 번의 연간 전환에서 32.8·26.9·17.6점 올라 꾸준하지만 둔화한다. 법률도 2024년 48.2점에서 2025년 11.4, 2026년 4.9로 느려진다. 수학은 반대로 2025년 32.8점에서 2026년 53.6점으로 증분이 커진다. 멀티모달은 2025년 59.7점 올랐다가 2026년에는 2.5점에 그친다. 하나의 통합 벤치마크였다면 이런 수준 차이도 궤적 모양 차이도 감춰졌을 것이라는 게 논문의 논지다. 논문 §2.1 관측 1

이 증분들을 2023년 0에서 누적하면 보고된 수준과 맞는다. 법률 48.2+11.4+4.9 = 64.5, 수학 32.8+53.6 = 86.4, 멀티모달 59.7+2.5 = 62.2가 각각 정확히 떨어진다. 일반 지식만 32.8+26.9+17.6 = 77.3으로 보고값 77.2와 0.1 차이가 나는데, 반올림된 값을 더한 것과 반올림 전 값에서 계산한 것의 차이로 설명되는 폭이다.

둘째, 상호작용 능력은 더 큰 격차를 남긴다. 2026년 소프트웨어 공학은 52.6, 검색/터미널 에이전트는 56.8, 도구 에이전트는 39.9다. 대학원 과학의 85.8과 견주면 각각 33.2·29.1·45.9점 낮다. 도구 에이전트는 2026년에 8.2에서 39.9로 급등했지만 여전히 가장 낮은 궤적이다. 소프트웨어 공학은 2025년 40.8점, 2026년 11.9점 오른다. 사이버보안 에이전트 궤적은 91.9에 이르러 도구 에이전트와 52.0점 차이를 만든다. 이 문단에도 마지막 자릿수가 어긋나는 곳이 둘 있다. 검색/터미널의 격차는 85.8 − 56.8 = 29.0인데 29.1로 적히고, 소프트웨어 공학의 두 증분 합 52.7은 보고된 수준 52.6과 0.1 다르다. 둘 다 반올림으로 생길 수 있는 크기다. 다만 반올림 전 관측값을 확보하지 못했으므로 차이의 실제 원인을 확정하지는 않는다. 논문 §2.1 관측 2

논문은 이 비교에 스스로 단서를 단다. 후반부 Cybench 관측이 바뀐 과제 부분집합이나 pass@1 집계를 쓰므로 주의가 필요하다는 것이고, 도판에서도 해당 구간을 파선으로 표시한다. 그 한정을 달고도 남는 결론은 경계가 분명하거나 검증이 쉬운 환경에서의 이득이 길고 상태를 갖는 워크플로로 균일하게 이전되지 않았다는 것이다.

셋째, 남은 헤드룸이 RSI의 잠재 가치를 집중시킨다. 빗금 친 2026년 이후 구간이 이 관계를 표현한다. 영역 d의 예시 종점은 다음과 같다.

R_d = 100 − 0.22 × (100 − T_d,2026)

같은 말로 예시 이득은 0.78 × (100 − T)이므로, 닫히지 않은 헤드룸이 클수록 확장 폭이 커진다. 사이버보안은 91.9에서 98.2로, 소프트웨어 공학은 52.6에서 89.6으로, 검색/터미널은 56.8에서 90.5로, 도구 에이전트는 39.9에서 86.8로 간다. 네 값 모두 식을 그대로 적용한 결과와 소수점 첫째 자리까지 일치한다. 논문 §2.1 관측 3

여기서 짚어야 할 것이 있다. 계수 0.22의 출처가 논문 어디에도 없다. 어떤 데이터에서 적합했다거나, 어떤 가정에서 유도했다거나, 어떤 범위의 민감도를 갖는다는 설명이 붙지 않는다. 논문은 이 구간을 일관되게 "예시(illustrative)"와 "가설(hypothesis)"로 부르고 캡션에도 그렇게 적으므로 예측으로 내세우지는 않는다. 다만 표지에 가까운 위치에 놓인 이 도판에서 빗금 구간이 차지하는 시각적 비중은 작지 않고, 그 구간의 기울기를 정하는 것은 유일하게 이 상수다.

4. 다섯 수준: 책임이 어디로 옮겨가는가

4.1 B0이라는 기준점

위계는 B0에서 시작하는데, B0은 RSI가 아니다. 이 수준에서 AI는 후보 출력을 반복해 수정·검증·선택할 수 있지만, 그 결과 어떤 변경도 이후 독립 과제를 위한 지속적 시스템 상태로 남지 않는다. 논문은 B0의 정의 기준을 "지속적 시스템 변경 없는 출력 변경"으로 압축한다. B0을 비-RSI 기준 수준으로 둔 것은 출력을 개선하는 것과 이후 출력을 만드는 시스템을 개선하는 것 사이의 경계를 표시하기 위해서다. 논문 §3.1

4.2 루프 모양이 바뀐다

다섯 수준의 루프 패턴에서 인간 프레임과 에이전트 프레임의 경계 이동

Figure 2. 논문 5쪽. 다섯 칸이 왼쪽 L1부터 오른쪽 L5까지 놓이고, 칸마다 회색 점선 프레임 "Human Efforts"와 초록 점선 프레임 "Agentic Loop"가 위아래로 나뉜다. 상자가 왼쪽에서 오른쪽으로 갈수록 인간 프레임에서 에이전트 프레임으로 내려간다. L1에서는 Design tasks·Design playground·Design Update Policy 세 상자가 인간 쪽에 있고 에이전트 쪽에는 Excecute Tasks와 Update만 있다(철자는 도판 그대로다). L2에서는 Design Update Policy가 에이전트 쪽으로 내려가 굵게 강조되고 "Update strategy taken over"라는 주황 주석이 붙는다. L3에서는 Plan Experience Acquisition이, L5에서는 Improve Improvement System이 같은 방식으로 강조된다. L4에서는 인간 쪽에 Set Boundary 하나만 남는다. 맨 아래 문장은 "The scope of improvement responsibility internalized by AI improves"다. 출처: 논문 Figure 2.

L4 칸에는 짚어 둘 것이 하나 있다. 주황 강조가 에이전트 루프의 "Interact with environment"뿐 아니라 인간 프레임 안의 "Set Boundary"에도 걸리고, 동일한 주석 "environment adaption taken over"가 그 칸에서 두 번 나타난다. L2·L3·L5에서는 새로 내생화된 책임 하나에만 강조가 걸리므로 L4만 패턴에서 벗어난다. 인간 프레임 안에 있는 상자가 동시에 "넘어갔다"고 표시되는 셈이라, 도판을 인용할 때는 본문의 L4 서술(인간이 목표·보호된 수용 기준·접근 경계·최종 배포 권한을 유지한다)을 근거로 삼는 편이 안전하다. 같은 도판은 "Execute"를 세 칸에서 "Excecute"로, "adaptation"을 주석에서 "adaption"으로 적고, L3·L4의 "Plan Experience Acquisition"을 L5에서만 "Design Experience Acquisition"으로 바꿔 적는다. 논문의 Figure 2 캡션은 주황 윤곽이 "각 수준에서 새로 내생화된 구성요소"를 단수로 가리킨다고 적으므로, 두 상자에 걸린 L4만 그 규칙에서 벗어난다.

4.3 수준별 요약

논문은 수준마다 굵은 상자로 결론을 적는다. 다섯 개를 요약하면 다음과 같다.

수준	논문이 적은 결론
L1 실행	인간이 확립된 공학 경험을 명시적 개선 단계와 검증 규칙으로 부호화하고, AI가 그 정해진 절차를 구체 과제에 실행한다. 산출물이 보존되어 이후 개발 워크플로에 편입되므로 같은 절차를 독립 과제와 개발 단계를 가로질러 반복 적용할 수 있다.
L2 전략	인간의 노력이 개별 개선을 제안하는 데서 개선 탐색을 제약하는 데로 옮겨간다. 인간은 여전히 목표와 수용 기준을 정하지만 후보 개입을 하나하나 고를 필요는 없다. 병목이 알려진 개선을 실행하는 것에서 가능한 개선을 탐색하는 것으로 바뀐다.
L3 경험	미래 학습 의제에 대한 자율성이 더해진다. 시스템이 자기 능력·실패·학습 이력을 써서 다음에 어떤 경험을 선택·생성·추구할지 조종한다. 다만 경험 자율성은 그 자체로 유용하거나 신뢰할 만한 개선을 보장하지 않는다.
L4 배포	자율성이 경험을 선택하는 데서 경험의 어떤 결과가 배포에서 지속할지 결정하는 데로 옮겨간다. 인간은 목표·보호된 수용 기준·접근 경계·중대한 배포에 대한 최종 권한을 유지한다.
L5 메타	개선 절차 자체가 상속 가능해진다. 루프는 수정된 개선자·평가자·연구 정책의 재사용을 통해 닫힌다. 후계자가 그 절차와 뒷받침 증거를 상속하고, 인간은 전체 목표·보호된 수용 기준·자원 권한을 유지한다.

논문 L1 · L2 · L3 · L4 · L5

같은 코딩 에이전트도 무엇을 남기고 다음 회차에서 무엇을 바꾸는지에 따라 다른 루프가 된다. 다음은 논문 정의를 적용한 설명용 예시이며, 특정 제품의 등급 판정은 아니다.

관측한 동작	분류를 가르는 질문
현재 버그를 고칠 때까지 테스트를 반복한다	현재 산출물만 바뀌고 다음 독립 과제의 시스템 상태는 그대로라면 B0에 해당한다.
검증된 수정 규칙을 다음 과제에 남긴다	사람이 정한 갱신 절차의 실행을 맡았다면 L1의 지속성이 생긴다.
실패를 보고 다음에 시도할 개선 전략을 고른다	개별 후보뿐 아니라 전략 선택이 AI로 넘어가는지가 L2의 질문이다.
부족한 능력을 연습할 과제를 스스로 모은다	미래 학습 경험을 정하는 권한이 L3의 추가 조건이다.
운영 피드백으로 갱신을 검증하고 계속 반영한다	환경 상호작용이 지속적 적응 루프에 들어가는지를 L4에서 본다.
후보를 만들거나 평가하는 절차를 바꾸어 다음 개선 회차에 사용한다	개선 기구 자체의 상속을 기록해야 구조적 L5를 논할 수 있다.

이 예시의 요점은 자동화 기능을 하나씩 붙이면 등급이 자동으로 올라간다는 것이 아니다. 갱신 전후 상태, 변경된 결정권, 다음 회차의 실제 사용 기록을 함께 봐야 한다. 성능 향상은 그 위에 독립 평가로 확인해야 할 별도의 결과다. 논문 §§2.2, 3.7

4.4 인접 수준의 경계

교차 종합 절이 경계를 압축해 적는다. B0→L1은 지속성이다. 수용된 변경이 현재 과제를 넘어 살아남아야 한다. L1→L2는 전략 선택의 이전이다. AI가 정해진 개입을 실행하는 대신 어떤 개입을 시도할지 정한다. L2→L3은 미래 학습 의제에 대한 통제를 더한다. L3→L4는 이 피드백 과정을 지속적 배포와 환경 상호작용으로 확장한다. L4→L5는 재귀적 계승을 도입해, 이후 개선을 담당하는 기구 자체가 상속되는 개선 대상이 된다. 논문 §3.7

그리고 곧바로 중요한 단서가 붙는다. 자율성 수준이 높다고 개선 과정이 더 좋은 것은 아니다. 위임된 권한이 커지는 것은 비효율적 탐색, 신뢰할 수 없는 피드백, 퇴행, 평가자 악용, 빈약한 전이와 얼마든지 공존할 수 있다. 그래서 논문은 AI가 내생화한 개선 책임의 범위와 그 결과로 나온 개선의 품질·효율을 분리한다. 서베이 전체에서 가장 값어치 있는 문장이 여기다. 위계를 제시한 뒤 그 위계의 높이가 개선 품질을 뜻하지 않는다고 같은 절에서 분리해 적는다.

5. L5와 구조적 재귀·실효적 재귀

L5는 AI가 미래 개선을 담당하는 기구를 지속적으로 수정하고 그 수정된 기구를 이후 회차에 사용할 때 시작된다. 편집 가능한 기구는 개선자, 후계자 평가자, 탐색 정책, 연구를 지휘하는 절차일 수 있다. L2가 후보 개입을 탐색하고 L3이 어떤 경험을 얻을지 정하며 L4가 배포 피드백을 지속적 적응으로 편입한다면, L5는 이후 개선을 지배하는 절차를 개선 대상으로 삼는다. 논문 §3.6

L4의 적응과 L5의 재귀적 메타 개선을 대비한 도해

Figure 8. 논문 32쪽. 왼쪽 (a)는 L4, 오른쪽 (b)는 L5이고 둘 다 산을 오르는 비유로 그려진다. (a)에서는 에이전트가 "Environmental feedback"을 받아 "Predefined target"이라는 정해진 봉우리로 오르고, 부제는 "에이전트는 적응하지만 개선 과정은 고정된 채로 있다"이다. (b)에서는 에이전트가 "Current frontier"에서 "Evidence from previous attempts"를 모아 개선 병목을 진단하고, 오른쪽 위 상자가 그 진단의 결과로 과정이 어떻게 바뀌는지를 보여 준다. 현재 과정은 Generate candidates → Score → Select이고, 수정된 과정의 예시는 Diagnose failures → Target revisions → Validate independently다. 이어 "Validate and inherit" 지점을 지나 수정된 과정이 다음 세대를 이끌고, 더 높은 봉우리에 "Successor produced by the revised mechanism"이 선다. 아래쪽 상자는 메타 수준에서 무엇이 진화할 수 있는지를 셋으로 나눈다. 후계자 생성(에이전트 구성·학습 전략), 후보 평가(내부 시험·채점 방법), 연구 통제(실험 선택·자원 배분 정책)다. 맨 아래 띠는 외부에 남는 제약을 적는다. 인간의 임무·안전 경계·보호된 평가·최종 수용이다. 출처: 논문 Figure 8.

핵심 구분이 여기서 나온다. 구조적 L5는 AI가 주도한 변경이 지속하며 이후 개선 회차를 통제한다는 것을 보인다. 실효적 L5는 그 수정된 기구가 비슷한 예산과 독립 평가 아래 더 나은 후계자를 만들거나 선택한다는 것을 보인다. 논문은 둘의 비대칭도 명시한다. 과제 코드를 스스로 고치는 것은 이후 수정을 담당하는 과정이 그대로라면 증거로 부족하고, 거꾸로 진화한 후계자 평가자는 과제 에이전트 코드가 그대로여도 구조적 L5를 성립시킬 수 있다. 분류는 시스템 전체가 아니라 검토 대상이 된 특정 기구에 적용된다.

산업 쪽 L5 사례에서 논문이 내리는 판정이 이 서베이에서 가장 날카로운 대목이다. Weco의 AIDE2는 연구 에이전트를 써서 연구 에이전트 하네스를 개선한다. 후보 하네스가 비공개 채점과 고정 비용 예산 아래 하위 과제를 돌고, 수용된 판본이 이후 연구에 보존되며, 별도 실험에서 진화한 하네스를 바깥 개선자로 설치한다. Weco는 100회의 무인 단계에서 일곱 건의 수용된 개선과 외부 과제로의 전이를 보고한다. 그런데 진화한 에이전트가 바깥 탐색을 더 빠르게 개선하는지를 묻는 더 강한 시험에서는 통계적으로 유의한 효율 이득이 없었다. 논문 §3.6.4

이 판정의 무게는 출처를 보면 분명해진다. 서베이가 인용한 그 자료의 제목은 "AIDE2: The first evidence of recursive self-improvement"다. 헤드라인이 "재귀적 자기개선의 첫 증거"라고 말하는 블로그를 인용하면서, 서베이는 그 안의 강한 시험이 유의한 이득을 내지 못했다고 적는다. §6은 이 사례를 다시 불러 "실질적인 경험적 공백"의 예로 쓴다. 인용된 자료의 서지 항목에도 기술 보고서와 산출물 공개가 작성 시점에 예정이라는 단서를 논문이 직접 달아 두었다.

논문의 총평도 같은 방향이다. 현재 결과는 경계 지어진 메타 개선을 뒷받침한다. 개선자·평가자·연구 정책에 대한 수용된 변경이 이후 회차를 지배할 수 있고 일부는 과제를 가로질러 전이된다. 그러나 비슷한 자원 아래 세대를 가로지르는 통계적으로 신뢰할 만한 누적은 미해결이다. 논문 §3.6.5

6. 응용 영역마다 병목이 다르다

네 응용 영역을 B0–L5 계단 위에 배치한 도해

Figure 9. 논문 36쪽. 맨 위 띠가 공통 병목을 적는다. "지속적 계승을 위한 안전한 증거"다. 그 아래 네 패널은 논문의 절 순서(과학·체화 지능·소프트웨어 공학·의료)대로 놓이고 각 영역에서 무엇이 진화하는지를 적는다. 과학은 가설과 실험, 체화 지능은 커리큘럼·기술과 하네스·정책, 소프트웨어 공학은 하네스·기술과 개선 과정, 의료는 임상 메모리·추론·워크플로다. 아래쪽은 B0부터 L5까지 올라가는 계단이고 각 칸에 그 수준의 한 줄 정의가 붙는다. B0 출력 다듬기, L1 지속적 개선 실행, L2 개선 방법 발견, L3 무엇에서 배울지 생성, L4 실시간 피드백에서 적응, L5 개선 기구 자체를 개선이다. 네 영역의 판정 라벨이 연결선으로 계단의 특정 칸에 닿는다. 과학은 "Strong L2, early L3"으로 L3에, 체화 지능은 "L2-L3 main frontiers; simulated L4"로 L4에, 의료는 "Mature L2; limited L3-like; simulated L4"로 L4에, 소프트웨어 공학은 "Mature L2, emerging L3, bounded structural L5"로 L5에 닿는다. 위쪽 패널은 절 순서대로, 아래쪽 라벨은 도달 수준 순서대로 배열돼 둘의 좌우 순서가 서로 다르다. 출처: 논문 Figure 9.

네 영역의 차이는 결국 개선을 검증하고 상속시키는 데 필요한 피드백의 종류로 수렴한다. 논문이 §6에서 정리하는 바로는 이렇다. 과학에서는 실패한 실험이 가설·프로토콜·장비 중 무엇을 반영하는지 불분명하고 증거가 자기 가정과 불확실성을 보존해야 한다. 체화 지능에서는 현재 정책이 어떤 상태를 관측할지 결정하고 물리 시행이 자원을 소모하며 되돌릴 수 없는 결과를 낳을 수 있다. 소프트웨어는 실행 가능한 피드백을 주지만 시험 통과는 명세와 시험 커버리지에 조건부다. 의료에서는 결과가 지연되고 교란되며, 한 집단이나 기관에서 검증된 갱신이 다른 곳으로 이전되지 않을 수 있다. 논문 §6 · §6 계속

소프트웨어 공학만 "경계 지어진 구조적 L5"까지 도달한 것으로 판정되는 이유가 여기 있다. 실행 가능한 피드백이 싸고 빠르므로 개선 기구를 바꾼 뒤 그 효과를 곧바로 시험할 수 있다. 반대로 의료와 체화 지능의 L4는 "시뮬레이션된" 것으로만 판정된다. 이 판정들은 도판 라벨에 그대로 적혀 있어 인용하기 쉽지만, 라벨만 옮기면 본문의 한정이 떨어진다. §4.3은 소프트웨어 공학에 대해서도 "개발 개선자의 완전한 L5 개선은 아직 실증되지 않았다"고 적는다. 도판의 "경계 지어진 구조적 L5"는 도달한 상한이 아니라 구조적 증거가 있는 범위를 가리킨다. 논문 §4.3

7. 산업 사례와 그 증거의 성격

§5는 여섯 조직의 실천을 다룬다. Theseus(환경–데이터–모델 공진화), Lark(기업용 RSI를 위한 데이터 기반), Humanlaya(데이터 품질 보증), ModelBest(무인 산업 AI 공학), 텐센트 Hunyuan(경험 주도 자기개선), Agent-Native Research Lab(검증 가능한 연구 인프라)이다.

이 절에는 이 서베이에서 유일하게 직접 수행된 실험이 들어 있다. Theseus의 작업공간 실험 두 건이다. 논문은 이 실험을 1인칭이 아니라 Theseus와 "팀"에 귀속하므로, 이를 서베이 자체의 실험으로 읽는 것은 저자 소속 2번이 Theseus Labs라는 데서 나온 이 검토의 판단이다. 두 실험의 30개 과제는 Workspace-Bench에서 가져왔는데, 그 벤치마크의 제1저자 Zirui Tang은 이 논문의 세 번째 저자이자 동등 기여자다.

정결 대 잡음 파일럿. 여덟 개 프런티어 모델–하네스 구성을 30개 작업공간 과제, 1,280개 루브릭으로 평가해 정결한 작업공간과 잡음 섞인 작업공간의 통과율을 비교한다. 여덟 구성 전부에서 잡음이 성능을 떨어뜨리고 낙폭은 21.7점(Grok-4.6)에서 51.6점(DeepSeek-V4-Pro)까지 벌어진다. 여덟 행의 차이 값은 인쇄된 정결·잡음 값의 차와 한 행(89.1 − 54.1 = 35.0인데 +35.1로 인쇄)을 빼고 정확히 맞는데, 그 한 행도 반올림 전 값에서 계산한 결과로 설명되는 폭이다.

생산성 작업공간 연구. 고정된 다섯 하네스–모델 쌍을 30개 과제, 547개 루브릭으로 평가해 맨 작업공간과 재구성된 환경(Collection Map과 Event Log로 이루어진 공유 패키지)을 비교한다. 다섯 쌍 모두 개선되고 폭은 +18.65에서 +39.67까지다. 마지막 행은 89.95 − 50.27 = 39.68인데 +39.67로 인쇄돼, 앞서 본 것과 같은 반올림 폭의 차이가 여기에도 하나 있다. 다만 논문은 일부 과제에서 에이전트가 요구된 범위를 넘어 변경한 범위 초과 퇴행이 있었다고 같은 문단에 적는다. 과제 수준 승/무/패는 다섯 쌍 모두 합이 30으로 맞고, 루브릭 뒤집힘은 실패→통과와 통과→실패를 나눠 보고한다. 예컨대 첫 행은 190건이 통과로 바뀌고 15건이 실패로 바뀌었다. 논문 §5.1, Table 9

이 실험이 무엇을 보이고 무엇을 보이지 않는지는 논문 자신이 §6에서 정리한다. Theseus의 작업공간 연구는 환경 개선과 과제 모델 변경을 분리하는 일의 중요성을 보여 주되, 보고된 구성요소 수준의 이득은 완전한 학습 주기를 확립하지는 않는다는 것이다. 정확한 자기 한정이다. 논문 §6

나머지 네 사례의 수치도 전부 기업 보고인데, 설계의 통제 정도는 서로 다르다.

Humanlaya가 그중 대조가 가장 분명하다. 같은 기반 모델·도구·처리 예산에서 품질 시스템 V0과 V4를 비교하되, 갱신 과정에 쓰이지 않은 600개 과제 패키지로 평가한다. 자동 보수 후 핵심 결함을 포함한 패키지 비율이 9.0%에서 3.7%로, 과제당 평균 인간 처리 시간이 48분에서 27분으로 줄었다고 보고한다. 같은 절은 일부 과제가 아직 완전 자율로 끝나지 않으며 인간이 중요 단계에서 부분 정답·검토·최종 승인을 유지한다고, 곧 "제약 없는 자기개선 루프를 허용하는 것이 아니다"라고 적는다. ModelBest는 ForgeTrain이 빈 디렉터리에서 참조 스크립트와 모델 명세를 함께 받아 H100의 Megatron-LM v0.15를 약 8시간에 따라잡고 1.5~2.5일에 넘어섰다고 보고한다(수작업으로는 엔지니어 3~5명이 6~12개월 걸린다는 추정과 대비). 모델 FLOPs 활용률은 MiniCPM4-0.5B에서 40.1%→44.1%, 8B에서 47.0%→50.9%이고, ForgeStencil은 공개 최신 구현 대비 1.15~1.9배, 종단 중앙값 1.41배 가속을 보고한다. Lark는 그래프 기반 파이프라인이 RAG 기준선 대비 인간 평가 과제 사용성을 52%→65%, 자동 평가 사용성을 47%→56%로 올렸다고 적고, 초기 자동 평가자가 인간 판정과 약 84% 일치했으며 불일치 대부분은 자동 평가자가 더 엄격한 쪽이었다고 덧붙인다. 같은 절은 Lark의 현재 실천이 "의도적으로 인간 게이트를 유지한다"고 적는다. 논문 §5.2 · §5.3 · §5.4

텐센트 Hunyuan의 hyra-1.0은 세 벤치마크에서 비교 대상 대비 nanochat AutoResearch 검증 BPB 0.9109 → 0.9015, nanoGPT Speedrun 3.28 손실 도달 시간 77.5초 → 76.4초, SOL-ExecBench 평균 SOL 0.754 → 0.771을 보고한다. 세 이득의 상대폭은 각각 1.03%, 1.42%, 2.25%로 1~2%대다. 표의 기준선 열 이름은 "Recursive"인데 본문은 같은 값을 "인용된 이전 최고치"라고 부르므로, 인용할 때는 어느 쪽 표현을 쓰는지 밝히는 편이 낫다. 세 번째 행의 0.771에는 단검표가 붙어 있으나 그 쪽 어디에도 각주가 없다. Agent-Native Research Lab은 ARA 기반 선행 연구 질의응답 정확도 93.7%(관행적 논문 72.4%)와 RE-Bench 재현 성공률 57.4% → 64.4%를, 실리콘 설계에서는 Chip-Bench Level-3 CPU 최적화 점수 5.8416과, 같은 기반 모델 위에서 표준 에이전트 기준선 대비 2.7% 빠르고 면적이 21.5% 작으면서 97개 지정 시험과 350개 무작위 차분 프로그램을 모두 통과한 설계를 보고한다. 논문 §5.5, Table 10 · 논문 §5.6

여기서 독자가 알아야 할 구조적 사실이 하나 있다. 여섯 사례 중 넷이 저자 소속 조직이다. 소속 목록에 Theseus Labs(2), ModelBest(5), Humanlaya(7), Agent-Native Research Lab(8)이 그대로 들어 있다. 확보한 PDF에서는 이 관계를 따로 설명하는 이해관계 진술을 찾지 못했다. 이 사실만으로 미공개 이해충돌이나 결과의 편향이 입증되는 것은 아니다. 논문이 §2.3에서 산업 자료를 증거로 쓰는 이유를 밝히고 그것을 "현대 RSI의 1차 증거원"이라고 부르며 "실증된 기구와 추론된 기구를 분명히 구분한다"고 적기는 하지만, 제시된 사례 중 다수가 저자 자신의 조직이라는 점은 따로 언급되지 않는다. 서술 자체는 절제되어 있고 §3.6.4처럼 "기업 보고 결과"라고 표시하는 대목도 있으므로, 이것은 과장에 대한 지적이 아니라 독자가 증거의 출처를 가늠할 수 있어야 한다는 지적이다.

8. 무엇을 세었고 무엇을 세지 않았는가

491편을 자율성 수준과 개선 대상으로 분포시킨 삼중 도넛

Figure 16. 논문 67쪽. 삼중 동심원 그래프이고 가운데에 "n = 491 Papers"가 적힌다. 안쪽 고리는 자율성 수준 L1–L5, 가운데 고리는 1차 개선 대상, 바깥 고리는 하위 대상이다. 오른쪽 위 표가 수준별 편수와 비율을 적는다. L1 215편 43.8%, L2 155편 31.6%, L3 64편 13.0%, L4 28편 5.7%, L5 29편 5.9%다. 오른쪽 아래 범례는 1차 개선 대상 열 가지에 번호를 매긴다. 1 프롬프트와 문맥, 2 메모리와 지식, 3 하네스/워크플로와 통제, 4 도구와 기술, 5 모델, 6 트레이너/최적화 시스템, 7 평가자와 피드백 시스템, 8 데이터와 환경, 9 외부 산출물, 10 전체 시스템/공진화, 그리고 Other다. L1의 가운데 고리는 5(모델)가 압도적으로 크고 바깥 고리에서 "Model Weights"와 "Objective Adapter"로 세분된다. L2의 가운데 고리는 9(외부 산출물)가 가장 크고 바깥에서 "Program Code"와 "Algorithm"으로 나뉜다. 캡션은 수준 비율이 편수 기준이고, 여러 개선 대상에 걸친 논문은 대상 범주에 분수 가중으로 기여한다고 적는다. 출처: 논문 Figure 16.

수치 자체는 내부적으로 일관된다. 다섯 수준의 편수 합은 215+155+64+28+29 = 491로 n과 맞고, 다섯 비율도 각각 편수를 491로 나눈 값과 소수점 첫째 자리까지 일치하며 합이 100.0%가 된다. 분포의 모양도 서베이의 논지와 맞물린다. 조사된 문헌의 75.4%가 L1과 L2에 몰려 있고 L4와 L5를 합쳐도 11.6%뿐이라는 것은, 본문이 반복해서 말하는 "높은 수준의 증거는 경계 지어진 프로토타입에 집중되어 있다"와 같은 이야기다.

문제는 이 491편이 무엇인지 논문 안에서 확인할 수 없다는 데 있다. 가리키는 손가락은 본문에 있다. §1.6 끝은 "Figure 16이 조사된 문헌을 자율성 수준과 개선 대상으로 보고하고 Table 12가 그에 대응하는 산업 시스템 지형을 제공한다"고 적고, Figure 1 캡션도 부록 B를 가리킨다. 없는 것은 방법이다. "491"이라는 수는 논문 전체에서 이 도판과 그 캡션에만 나오고, 본문 어디에도 조사 코퍼스의 선정 기준, 검색 방법, 대상 기간, 포함·배제 규칙이 없으며, 491편의 목록도 없다. 부록의 Figure 16과 Table 11은 참고문헌 번호를 하나도 달지 않는다. 참고문헌은 217편이고 1번부터 217번까지 빠짐없이 본문에서 인용된다. 곧 도판이 분포시킨 모집단의 절반 이상은 이 논문 안에서 식별할 수 없다.

같은 부록의 산업 표와 견주면 대비가 분명해진다. Table 12는 머리글에 범위를 적어 둔다. 제품이나 대표 연구마다 한 행, 서로 다른 기업·팀 72곳, 공개 자료 기준 2026년 9월 스냅숏이고, 조직 원리는 지리가 아니라 기업 유형이며, 붙은 RSI 태그는 B0–L5 체계로의 간결한 대응일 뿐 그 기업이 스스로 그 라벨을 쓴다는 주장이 아니라는 것이다. 산업 표에는 건수·기준 시점·조직 원리·라벨의 지위가 모두 적혀 있는데, 학술 쪽 491편에는 그 가운데 어느 것도 없다.

같은 성격의 공백이 §2.1에도 있다. "393건의 적격 모델–벤치마크 관측"이라는 수는 §2.1 첫 문장에만 나오고 그 목록은 없다. 제외된 결과가 "감사 기록(audit records)에 남는다"고 적히지만 그 감사 기록이 어디 있는지는 밝혀지지 않는다. 논문은 프로젝트 페이지를 1쪽에 걸어 두었으므로 이 자료들이 그쪽에 있을 수 있으나, 논문은 그렇게 연결해 주지 않는다.

한 가지 더. Figure 1과 부록 Table 12는 AlphaEvolve를 B0으로 분류한다. Table 12는 그 근거를 "과제별 프로그램 탐색"과 "생성·변이·평가·선택"으로 적는데, 이 분류 자체는 논문의 정의와 일관된다. 탐색이 만들어 내는 것은 외부 산출물이고 탐색을 수행하는 시스템 자체는 회차를 가로질러 바뀌지 않으므로 "지속적 시스템 변경 없는 출력 변경"에 해당한다. 다만 AlphaEvolve는 "AI가 알고리즘을 개선한다"는 주장의 대표 사례로 널리 인용되는 시스템이고, 그것을 가장 낮은 칸에 놓는 것은 이 위계의 성격을 가장 선명하게 드러내는 판정이다. 그런데 이 판정을 다루는 본문 서술은 어디에도 없다. 위계가 통념과 가장 크게 어긋나는 지점이 표지 도판의 한 칸과 부록 표의 한 행으로만 남았고, AlphaEvolve에는 참고문헌 항목조차 붙지 않는다.

9. 한계, 재현 조건과 결론

9.1 논문이 밝힌 한계

자율성 수준이 높다고 개선 과정이 더 나은 것은 아니며, 위임 권한의 확대는 비효율적 탐색·불신뢰 피드백·퇴행·평가자 악용·빈약한 전이와 공존할 수 있다고 §3.7에서 명시한다. 논문 §3.7
비슷한 자원 아래 세대를 가로지르는 통계적으로 신뢰할 만한 누적은 미해결이라고 적는다. 논문 §3.6.5
AIDE2의 더 강한 시험이 통계적으로 유의한 효율 이득을 확립하지 못했다는 것을 §3.6.4와 §6에서 두 번 적는다. 논문 §6
Theseus 작업공간 연구의 구성요소 수준 이득이 완전한 학습 주기를 확립하지는 않는다고 스스로 단서를 단다. 논문 §6
Figure 3의 2026년 이후 구간은 예시이자 가설이며 측정이 아니라고 본문과 캡션 양쪽에 적는다. 논문 §2.1 · Figure 3 캡션
사이버보안 궤적의 후반 관측은 Cybench 과제 부분집합이나 pass@1 집계가 바뀌었으므로 비교에 주의가 필요하다고 적고 도판에도 파선으로 표시한다. 논문 §2.1
가중 합의에서 자기 보고값(first-party values)에 0.75를 곱하는 것은 자기 보고 결과의 영향을 제한하려는 "실용적 민감도 조정"이라고 밝힌다. 논문 §2.1
L5 평가에 필요한 측정 항목들은 기존 RSI 벤치마크가 확립한 능력이 아니라 제안된 요구 조건이라고 §3.6.5에서 구분한다. Table 8의 각주도 메타 재귀 행이 저자들이 추가한 시험임을 밝힌다. 논문 §3.6.5, Table 8
Meta의 AIRA2와 Anthropic의 자동 정렬 연구자는 연구 산출물에 관한 결과를 보고할 뿐 연구를 수행하는 절차 자체에 대한 상속된 변경을 확립하지 않는다고 판정한다. 논문 §3.6.4
산업 자료를 증거로 포함하는 이유를 §2.3에서 밝히고, 실증된 기구와 추론된 기구를 구분해 유지한다고 적는다. 논문 §2.3
대표 시스템 표마다 "무엇이 외부에 고정돼 있는가"를 전용 열로 기록한다. L1·L2는 Level Limitation, L3은 Externally specified constraints, L4는 Update validation, L5는 External controls다. Table 4는 자기 목록이 전수가 아니라 대표 사례임을, Table 5는 그 제약이 시스템의 최대 자율성 수준을 정하는 것이 아니라 논의된 루프의 범위를 적은 것임을 캡션에 밝힌다. 논문 Table 3 · Table 4 캡션 · Table 5 캡션 · Table 7
네 응용 영역마다 "진짜 RSI까지 얼마나 남았는가" 상자를 두고 남은 거리를 적는다. 과학과 의료에 대해서는 종단 L4 적응과 개선자 자체의 L5 진화가 대체로 미탐색이라고 적고, 가장 앞서 있다고 판정한 소프트웨어 공학에 대해서도 "개발 개선자의 완전한 L5 개선은 아직 실증되지 않았다"고 명시한다. 체화 지능만 방향이 달라, L4 에이전트–환경 공진화가 주로 시뮬레이션에서 나타났고 한 시스템이 경계 지어진 L5에 근접한다고 적는다. 논문 §4.1 · §4.2 · §4.3 · §4.4
Theseus 생산성 연구에서 일부 과제에 범위 초과 퇴행이 있었다고 함께 적는다. Lark는 자기 실천이 의도적으로 인간 게이트를 유지한다고, Humanlaya는 일부 과제가 아직 완전 자율로 끝나지 않는다고 각각 적는다. 논문 §5.1 · §5.2 · §5.3
STOP 논의에서 더 약한 모델의 실행은 평균적으로 퇴행했고 생성된 프로그램 일부가 소프트 예산을 회피하거나 평가 버그를 악용했다고 적는다. 논문 §3.6.1

9.2 해설자 관점

조사 코퍼스가 논문 안에서 식별되지 않는다. 491편이라는 수는 부록 도판과 그 캡션에만 나오고, 선정 기준·검색 방법·기간·목록이 어디에도 없다. 참고문헌은 217편이다. 수준별 분포는 서베이의 핵심 주장(높은 수준의 증거가 희소하다)을 수치로 뒷받침하는 자리인데, 그 수치의 모집단을 독자가 확인할 방법이 없다. 같은 문제가 §2.1의 "393건"에도 걸리고, 제외 결과가 남는다는 "감사 기록"은 위치가 밝혀지지 않는다.
Figure 3의 확장 구간을 정하는 것은 근거 없는 상수 하나다. R = 100 − 0.22(100 − T)의 0.22가 어디서 왔는지 논문은 말하지 않는다. 논문이 이 구간을 일관되게 "예시"로 부르고 캡션에도 그렇게 적으므로 예측으로 내세운다고 보기는 어렵고, 그 점은 공정하게 인정해야 한다. 남는 지적은 좁다. 한 상수가 네 영역의 종점을 전부 결정하는데 그 상수에 대한 민감도 논의가 한 줄도 없다는 것이다.
HCI의 기준점이 벤치마크마다 다르다. F₀는 "그 벤치마크가 데이터셋에 처음 들어온 해의 90백분위 점수"이므로, 벤치마크별로 기준 연도와 모델 집합이 달라질 수 있다. 같은 0점이 동일한 능력이나 난이도를 뜻하지 않으며, 영역 사이의 HCI 수준을 직접 빼는 관측 2의 비교(85.8 − 52.6 = 33.2 등)는 그 차이를 흡수한다. 논문은 진입 연도 정규화의 이 성질을 논의하지 않는다.
도판의 L4 칸이 본문과 어긋난다. Figure 2에서 "Set Boundary"는 인간 프레임 안에 있으면서 동시에 "environment adaption taken over"로 표시되고, 같은 주석이 그 칸에서 두 번 나온다. 본문 L4 서술은 인간이 접근 경계와 최종 권한을 유지한다고 적으므로 도판 쪽이 패턴에서 벗어난다.
위계의 가장 논쟁적인 판정에 본문 서술이 없다. AlphaEvolve의 B0 분류는 논문의 정의와 일관되고 1쪽 표지 도판에 실려 있으므로 묻어 둔 것은 아니다. 다만 통념과 가장 크게 부딪히는 이 판정을 논증하는 문단이 본문에 없고 참고문헌 항목도 없다. 한 문단만 할애했다면 정의의 힘을 보여 주는 가장 좋은 예가 됐을 것이다.
산업 사례의 증거 출처가 일부 조직에 집중된다. 여섯 중 넷(Theseus Labs·ModelBest·Humanlaya·Agent-Native Research Lab)이 저자 소속 목록에 이름이 있고, 확보한 PDF에서 이 관계를 별도로 설명하는 진술은 찾지 못했다. 서술이 절제되어 있고 기업 보고임을 표시하는 대목도 있으므로 과장의 문제는 아니다. 다만 §1.6이 산업 자료를 연구 문헌을 보완하는 증거원으로 소개하고 §2.3이 그것을 "현대 RSI의 1차 증거원"이라고까지 적는 만큼, 제시된 사례 다수가 저자 자신의 조직이라는 사실은 독립 검증의 정도를 판단할 때 함께 읽을 필요가 있다.
자체 실험의 범위가 좁고 그 좁음이 요약에 반영되지 않는다. 서베이가 직접 수행한 측정은 Theseus의 작업공간 실험 두 건, 30개 과제 규모이고, 그 과제는 저자 한 사람이 제1저자인 벤치마크에서 가져왔다. 논문 스스로 §6에서 이 이득이 완전한 학습 주기를 확립하지 않는다고 적고 범위 초과 퇴행도 함께 적으므로 본문은 정확하다. 그러나 초록과 §1은 "산업 실무와 예비적 경험 증거"를 로드맵의 근거로 나란히 세우고, 그 예비 증거가 어느 규모인지는 §5에 가야 알 수 있다.
재도출은 거의 전부 맞는다. Equation 4의 네 종점, Figure 16의 다섯 편수와 다섯 비율, Table 9의 두 부표 열세 행 가운데 열한 행, 승/무/패 다섯 조의 합이 전부 정확히 재현된다. 마지막 자릿수가 어긋나는 다섯 곳은 각각 해당 본문 자리에 적어 두었고, 다섯 모두 인쇄된 피연산자를 반올림한 뒤 빼면 생기는 폭이므로 반올림으로 설명 가능한 차이로 남겨 두는 것이 적절하다. 원자료 없이 오기 여부까지 확정하지는 않는다.
"마지막 AI"라는 제목이 본문에서 회수되지 않는다. 제목은 인간이 만드는 마지막 AI를, TL;DR은 "인간의 진화처럼 AI의 진화도 방대한 역사를 통해 펼쳐질 것이며 지금까지 이룬 것은 바다의 물 한 방울"이라는 진화 서사를 내세운다. 본문은 시종 절제되어 있고, 결론은 장기 지평 평가가 필요하다고 적은 뒤 RSI의 약속을 한 문장으로 되짚으며 닫는다. 본문의 신중함이 제목보다 훨씬 앞서 있으므로, 이 논문을 인용할 때 제목만 옮기면 내용을 잘못 전하게 된다.

9.3 공개된 것과 확인하지 못한 것

논문은 1쪽에 프로젝트 페이지 주소를 적는다. 이번 검토에서 해당 주소에 접근했지만 본문을 추출하지 못해, 491편 목록·393건 관측·감사 기록의 공개 여부는 확인하지 못했다. 따라서 자료가 웹에 없다고 판단하지 않으며, 아래의 재현성 평가는 확보한 PDF의 설명 범위에 한정한다.

이 검토에서 확인하지 못한 것은 다음과 같다. 491편 조사 코퍼스의 구성과 선정 절차, 393건 관측의 목록과 벤치마크별 F₀ 값, 프로토콜 연결 족의 구체적 구성, 영역별 √n 가중에 들어간 모델 수 n, 계수 0.22의 근거, Table 9 두 실험의 과제 구성·루브릭 설계·잡음 주입 방식, 기업 보고 수치들의 재현 조건이다. 서베이 자체는 모델을 학습시키거나 벤치마크를 재현하지 않으며, 인용된 시스템들의 보고 수치도 원 출처 대조는 이 검토의 범위 밖이다.

9.4 적용을 검토할 때 확인할 것

수준 라벨을 성능 주장으로 쓰지 말 것. 논문 자신이 §3.7에서 분리를 요구한다. "우리 시스템은 L4다"는 책임 범위에 대한 진술이지 개선 품질에 대한 진술이 아니다.
구조적 재귀와 실효적 재귀를 나눠 물을 것. 수정된 기구가 이후 회차를 실제로 지배했는가(구조적)와, 비슷한 예산·독립 평가 아래 더 나은 후계자를 냈는가(실효적)는 다른 질문이고, 현재 증거는 앞쪽에 몰려 있다.
분류는 시스템이 아니라 기구 단위로 할 것. 논문의 규칙대로, 과제 코드를 스스로 고치는 것만으로는 L5가 되지 않고 진화한 평가자는 과제 코드가 그대로여도 구조적 L5가 될 수 있다.
HCI 값을 영역 사이에서 직접 빼기 전에 기준 연도를 확인할 것. 진입 연도가 다르면 0점의 의미가 다르다.
Figure 3의 빗금 구간은 예시임을 밝혀 인용할 것. 측정된 성장률이나 RSI의 성능 예측으로 사용해서는 안 된다.
§6의 여덟 방향은 그대로 점검 목록으로 쓸 만하다. 교차 구성요소 진단, 학습자 조건부 경험 획득, 지속 상태 관리, 영역별 검증 아래의 통제된 적응, 개선 기구의 신뢰할 만한 진화, 상속된 개선 능력의 장기 평가, 자원을 고려한 개선과 인간 협업, 회차 간 계승을 위한 재현 가능한 인프라다.

9.5 결론

이 서베이의 값어치는 정의를 옮긴 것에 있다. RSI를 "AI가 AI 개발에 기여하는가"로 물으면 거의 모든 현대 시스템이 해당되고 아무것도 구분되지 않는다. 개선 루프를 분석 단위로 놓고 "외부 설계자에게서 AI로 넘어간 개선 결정"으로 자율성을 정의하면, 같은 시스템들이 여섯 칸으로 갈라지고 각 칸의 경계가 검사 가능한 질문이 된다. 루프가 어디서 닫히는가, 무엇이 상속되는가, 어떤 결정이 외부에 남는가. 이 세 질문은 이 논문이 다루지 않은 시스템에도 그대로 쓸 수 있다.

두 번째 값어치는 위계를 성능 주장으로 쓰지 않겠다고 먼저 못 박은 것이다. 자율성 수준이 높다고 개선 과정이 더 좋은 것은 아니라는 §3.7의 문장, 구조적 재귀와 실효적 재귀의 구분, 그리고 자기 분야 최전선 사례가 유의한 효율 이득을 보이지 못했다고 두 번 적은 §3.6.4와 §6이 같은 태도에서 나온다. 로드맵의 높이를 근거로 쓰지 않겠다는 선언이 §3.7·§3.6.4·§6에서 일관되게 유지된다.

남는 아쉬움은 셈의 근거가 논문 안에서 확인되지 않는다는 것이다. 491편의 분포는 이 서베이가 던지는 가장 강한 경험적 메시지, 곧 높은 자율성의 증거가 아직 희소하다는 것을 수치로 말한다. 그런데 그 491편이 무엇인지는 논문 안에서 확인되지 않고, 393건의 관측과 감사 기록도 마찬가지다. 방법을 이렇게 정성껏 적은 논문에서 모집단만 비어 있는 것은 눈에 띈다. 그리고 제목이다. 본문이 시종 절제하는 동안 표지는 "인간이 만드는 마지막 AI"라고 적혀 있고, 그 표현은 제목 밖에서 한 번도 다시 나오지 않는다. 이 논문은 제목보다 훨씬 조심스러운 문서이고, 그 조심스러움이 이 논문의 가장 좋은 점이다.

References

Duan, Y., Liu, Y., Tang, Z., Chen, H., Zhou, J., Liu, Y., Xu, B., Wu, Y., Chen, S., Zhou, Y., Wang, H., Yu, X., Han, S., Zhu, X., Zhou, L., Lu, B., Zhou, W., Liu, J., Fang, N., … Wu, F. (2026). The last AI built by humans: Toward genuine recursive self-improvement (arXiv:2609.11873v1). arXiv. https://arxiv.org/abs/2609.11873v1

Chen, Y.-H., Wen, J., & Kirchner, J. H. (2026). Automated researchers can mitigate well-characterized alignment failures. Anthropic Alignment Science Blog, August 2026. https://alignment.anthropic.com/2026/automated-alignment-researchers/
Hambardzumyan, K., Baldwin, N., Toledo, E., Hazra, R., Kuchnik, M., Omari, B. A., Foster, T. S., Protopopov, A., Gagnon-Audet, J.-C., Mediratta, I., et al. (2026). AIRA2: Overcoming bottlenecks in AI research agents. arXiv:2603.26499.
Huang, C., Yu, W., Wang, X., Zhang, H., Li, Z., Li, R., Huang, J., Mi, H., & Yu, D. (2026). R-Zero: Self-evolving reasoning LLM from zero data. In The Fourteenth International Conference on Learning Representations.
Iacob, A., Jovanović, A., Shen, W. F., Burkhardt, D., Kurmanji, M., Tastan, N., Sani, L., Venanzi, N. A. E., Odonnat, A., Cao, Z., Marino, B., Qiu, X., & Lane, N. D. (2026). The red queen gödel machine: Co-evolving agents and their evaluators. arXiv:2606.26294.
Jiang, S., Ma, L., Hong, Z., Wang, K., Lu, Z., Wang, T., Chen, S., Zhang, J., Pan, T., Li, W., et al. (2026). SEA-Eval: A benchmark for evaluating self-evolving agents beyond episodic assessment. arXiv:2604.08988.
Karpathy, A. (2026). autoresearch: Autonomous AI research on small language models. GitHub repository. https://github.com/karpathy/autoresearch
Liu, S., Lin, Z., Zhang, Y., Ren, Y., Wu, Y., Li, Y., Wang, Z., Fu, Z., & Ye, J. (2026). The path to recursive self-improving agents: Foundation, framework, and future directions. Preprints, August 2026.
Shang, F., & Yang, Y. (2026). Hypothesis-driven skill optimization for LLM agents. arXiv:2606.22330.
Shi, Z., He, B., Sang, Y., Lu, H., & Dumoulin, B. (2026). A-Evolve-Training: Autonomous post-training of a 30B model. arXiv:2606.20657.
Weco Team (2026). AIDE2: The first evidence of recursive self-improvement. Weco AI Blog, July 2026. https://www.weco.ai/blog/first-evidence-of-recursive-self-improvement
Yin, X., Wang, X., Pan, L., Lin, L., Wan, X., & Wang, W. Y. (2025). Gödel agent: A self-referential agent framework for recursive self-improvement. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics.
Zelikman, E., Lorch, E., Mackey, L., & Kalai, A. T. (2024). Self-taught optimizer (STOP): Recursively self-improving code generation. In Conference on Language Modeling. arXiv:2310.02304.
Zhang, J., Hu, S., Lu, C., Lange, R., & Clune, J. (2026). Darwin Gödel machine: Open-ended evolution of self-improving agents (arXiv:2505.22954v3). arXiv. https://arxiv.org/abs/2505.22954v3
Zhang, J., Zhao, B., Yang, W., Foerster, J., Clune, J., Jiang, M., Devlin, S., & Shavrina, T. (2026). HyperAgents. arXiv:2603.19461.
Zhang, X., Cui, Y., Wang, G., Li, Z., Qiu, W., Zhu, B., & He, P. (2026). Library drift: Diagnosing and fixing a silent failure mode in self-evolving LLM skill libraries. arXiv:2605.19576.
Zhao, A., Wu, Y., Wu, T., Xu, Q., Yue, Y., Lin, M., Wang, S., Wu, Q., Zheng, Z., & Huang, G. (2025). Absolute zero: Reinforced self-play reasoning with zero data. In NeurIPS.
Zheng, C., Xue, C., Liang, B., Yang, J., & Zhang, C. (2026). SEAGym: An evaluation environment for self-evolving LLM agents. arXiv:2606.17546.