TL;DR
자기 개선을 계속하려면 다양한 풀이를 보존하고, 검증기의 판단까지 검토하며, 모델이 배울 과제를 스스로 만들어야 한다.
Multiagent Finetuning·DeepSeekMath-V2·Absolute Zero는 각각 다양성·검증·학습 데이터라는 병목을 다루지만, 검증 가능한 환경과 기존 모델의 능력에 여전히 의존한다.
앞으로는 성공 경험을 지속적으로 학습에 연결하는 방법과 함께, 정확도·지연·전력 효율을 고려해 로컬 모델과 클라우드를 조합하는 시스템 연구가 중요하다.
Stanford CS329A: Self-Improving AI Agents의 공개 영상 9편은 시리즈를 마무리하며 다음 연구 질문을 정리한다. 중심축은 두 가지다. 어떻게 자기 개선의 한계를 더 밀어낼 것인가, 그 지능을 어떤 비용으로 제공할 것인가? 앞부분은 학습 루프의 병목을, 뒷부분은 효율적인 추론과 지속 학습을 다룬다.
강사: Aakanksha Chowdhery, Azalia Mirhoseini · 강의: Future Research Areas · 원본 영상
회차는 공식 YouTube 재생목록의 Part 9 기준이다. 연구 결과와 하드웨어 비교는 강의 당시의 조건을 설명한다.
1. 자기 개선의 다음 병목은 더 많은 샘플만으로 풀리지 않는다
시리즈의 기본 순환은 후보 생성 → 검증·피드백 → 좋은 경험의 선택 → 학습 → 더 나은 다음 시도였다. 추론 시 계산을 늘리면 한 번에 드러나지 않았던 해결 능력을 끌어낼 수 있고, 그 성공 경로를 다시 학습하면 다음 실행의 출발점도 좋아진다.
그러나 같은 방식으로 반복한다고 끝없이 발전하지는 않는다. 풀이가 서로 닮아 탐색이 멈출 수 있고, 잘못된 검증 신호를 최적화할 수 있으며, 사람이 만든 학습 과제의 범위 안에 갇힐 수 있다. 강의는 다양성, 신뢰할 수 있는 검증, 적절한 학습 과제를 다음 단계의 핵심으로 제시한다.
이때 에이전트는 모델 하나보다 넓은 시스템이다. 목표를 향해 도구·환경·기억·검색과 상호작용하고, 결과에 따라 계획을 바꾼다. 따라서 연구 대상도 모델 가중치뿐 아니라, 이 상호작용에서 생긴 경험을 어떻게 평가하고 남길지까지 포함한다. [02:30–06:41]
2. Multiagent Finetuning: 정답뿐 아니라 풀이의 다양성도 보존한다
모델 하나가 만든 답 중 좋은 것만 골라 반복 학습하면, 그 모델이 원래 선호하던 풀이에 데이터가 몰리기 쉽다. 샘플링 온도를 높이는 것만으로 다양한 추론 구조가 충분히 유지되는 것도 아니다. 이렇게 탐색의 폭이 줄면 자기 개선의 이득도 약해진다.
Multiagent Finetuning은 같은 기반 모델에서 출발한 여러 모델을 서로 다르게 전문화한다. 생성 에이전트들이 초기 답을 만들고, 다른 에이전트의 응답을 요약해 받아 수정하며, 비평 에이전트가 피드백을 제공한다. 이 상호작용으로 얻은 데이터를 각 모델의 학습에 사용해 다음 라운드의 응답도 달라지게 한다.

그림 1. 여러 생성 에이전트의 응답과 비평을 교환하는 데이터 생성 과정. 출처: Stanford CS329A 공개 영상 9편, 09:18. 원 연구: Subramaniam et al., 2025.
핵심은 한 번의 답변에 에이전트를 여러 개 호출하는 것에서 끝나지 않는다는 점이다. 상호작용으로 만든 서로 다른 데이터를 이용해 모델들을 계속 미세 조정한다. 논문은 단일 에이전트 방식보다 여러 학습 라운드 동안 다양성과 성능을 유지하는 결과를 보였다.
다만 에이전트 수가 많다고 독립적인 관점이 자동으로 생기지는 않는다. 같은 오류에 동의하는 다수결도 가능하다. 실제로 풀이가 얼마나 달라졌는지, 최종 정확도가 좋아졌는지, 늘어난 생성·학습 비용이 얼마인지 함께 봐야 한다. [06:51–14:44]
3. DeepSeekMath-V2: 검증기가 지적한 오류도 검증한다
수학에서 최종 숫자가 맞는 것과 증명이 올바른 것은 다르다. 특히 정리 증명은 중간 논리가 빠짐없이 연결되어야 하므로, 최종 답만 비교하는 보상으로는 충분하지 않다. 일반 LLM에게 채점만 맡기면 틀린 증명을 맞다고 하거나, 반대로 존재하지 않는 오류를 꾸며낼 수 있다.
DeepSeekMath-V2는 증명의 문제점을 분석하는 검증기를 학습하고, 그 검증 결과로 생성기를 개선한다. 여기에 메타 검증(meta-verification)을 추가해 “지적한 오류가 실제로 존재하는가, 그 오류가 주어진 평가 점수를 정당화하는가?”를 다시 살핀다. 검증기가 점수만 우연히 맞히고 설명을 지어내는 문제를 줄이는 장치다.
증명 생성 → 오류 분석과 점수화 → 검증 분석의 타당성 점검 → 검증기·생성기 개선 → 더 어려운 증명으로 반복
생성기 역시 증명을 제출한 뒤 자신의 풀이를 분석하도록 학습한다. 단순히 “다시 확인해 봐”라고 지시하는 것과 달리, 충실한 자기 평가와 좋은 증명에 보상을 주는 학습 설계가 들어간다. 생성기가 강해지면 검증에도 더 많은 계산을 써 새롭고 어려운 증명의 학습 신호를 확보한다.
이 연구는 자연어 증명을 평가하는 LLM 기반 접근이며, 형식 증명기의 기계적 보증과 동일하지 않다. 초기 검증기와 메타 검증기에는 전문가 평가 데이터가 사용된다. 검증 자동화가 진전했다는 결과를 “인간 감독이 처음부터 전혀 필요 없다”로 이해해서는 안 된다. [14:47–22:39]
4. Absolute Zero: 답만 생성하지 말고 배울 문제도 생성한다
기존의 검증 가능한 보상을 이용한 강화 학습도 대개 사람이 정한 질문 집합에 의존한다. Absolute Zero Reasoner(AZR)는 한 모델이 문제 제안자(proposer)와 해결자(solver)를 함께 맡게 한다. 실행 환경이 문제의 유효성과 정답을 확인해 주므로, 외부에서 모은 질문·정답 데이터 없이도 해당 후학습 루프를 진행한다.
프로그램·입력·출력의 관계를 이용해 세 유형의 추론 과제를 만든다.
- 연역(deduction): 프로그램과 입력을 보고 출력을 예측한다.
- 가설 추론(abduction): 프로그램과 출력을 보고 그 출력을 만드는 입력을 찾는다.
- 귀납(induction): 입출력 예시와 설명을 보고 프로그램을 구성하고, 숨겨 둔 예시로 검증한다.

그림 2. 너무 쉽거나 전혀 풀 수 없는 문제를 피하고, 현재 모델이 배울 여지가 있는 과제를 유도하는 보상. 출처: Stanford CS329A 공개 영상 9편, 27:22. 원 연구: Zhao et al., 2025.
해결자는 정답을 맞히는 보상을, 제안자는 모델이 아직 완벽하게 풀지는 못하지만 배울 수 있는 문제를 만드는 보상을 받는다. 슬라이드의 단순화된 식에서는 성공률이 0이면 보상이 없고, 0보다 크면 1−성공률을 사용한다. 문제는 실행 오류·안전성·결과의 결정성 등을 검사한 뒤 학습에 넣고, 이전 과제 버퍼를 참고해 새로운 문제를 제안한다.
중요한 구분은 후학습용 외부 데이터가 없다는 것과, 사전 지식이나 환경이 없다는 것은 다르다는 점이다. 이미 사전 학습된 모델, 사람이 설계한 과제 유형, 코드 실행기가 필요하다. 강의에서 소개한 수학으로의 전이도 고무적인 실험 결과이며, 모든 비검증 영역으로의 일반화를 입증한 것은 아니다. [23:14–33:03]
5. Intelligence per Watt: 더 똑똑한 답을 어떤 전력으로 제공하는가?
추론과 검증을 여러 번 반복할수록 계산 수요가 커진다. 모든 요청을 가장 큰 클라우드 모델로 처리하는 구조가 계속 최선일지는 별도의 질문이다. 작은 모델의 능력과 로컬 하드웨어가 좋아지면, 일상적인 단일 질의의 일부는 노트북 등에서 처리하고 더 어려운 요청만 클라우드로 보낼 수 있다.
Intelligence per Watt(IPW)는 이 가능성을 모델과 하드웨어의 조합으로 평가한다. 강의에서의 정의는 평균 과제 정확도 ÷ 평균 소비 전력이다. 동일한 정확도라도 전력이 다를 수 있고, 동일한 장치에서도 모델 선택에 따라 결과가 달라진다. 그래서 모델의 정답률만 비교해 효율을 판단하지 않는다.

그림 3. 로컬·클라우드 가속기와 여러 모델을 정확도·지연·에너지·전력 등으로 비교한 연구 구성. 출처: Stanford CS329A 공개 영상 9편, 47:43. 원 연구: Saad-Falcon et al., 2025.
연구는 20개 이상의 로컬 모델과 여러 가속기, 약 100만 개의 실제 단일 턴 채팅·추론 질의를 비교한다. 강의는 작은 모델이 처리할 수 있는 질의의 범위가 넓어졌으며, 모델과 하드웨어 양쪽의 개선이 효율 향상에 기여한다고 설명한다. 동시에 같은 모델을 실행해도 로컬 가속기의 전력 효율이 서버용 가속기보다 뒤처지는 경우가 있어 최적화 여지도 크다.
로컬 추론이 무조건 더 친환경적이거나 모든 요청에 충분하다는 결론은 아니다. 또한 전력(W)과 작업 한 건의 에너지(J)는 다르므로 지연 시간과 에너지 측정도 함께 봐야 한다. 단일 턴 질의에서의 결과를 긴 도구 사용 업무의 성공률로 그대로 옮길 수도 없다. 유망한 방향은 난도와 자원에 따라 로컬·클라우드 모델을 적절히 연결하는 하이브리드 추론이다. [40:00–51:45] [57:00–58:38]
6. 지속 학습과 시스템 연구: 경험이 다음 실행에 남게 하려면
현재 자기 개선은 경험을 모으는 단계와 나중에 모델을 다시 학습하는 단계가 떨어져 있는 경우가 많다. 강의의 다음 질문은 성공과 실패를 겪는 동안 모델이 더 자연스럽게 배우게 할 수 있는가다. 어떤 경험을 남기고, 어떻게 증류하며, 언제 가중치를 갱신할지가 열린 문제다.
장기 기억이나 더 큰 문맥 창도 하나의 경로다. 하지만 새 정보를 저장하는 것과 새로운 기술을 습득하는 것은 다르다. 최신 사실을 다시 찾게 하는 데는 외부 메모리 갱신이 유용할 수 있다. 반면 새로운 영역에서 추론하는 방식이나 로봇의 행동 기술을 바꾸는 문제는 단순한 정보 저장만으로 충분하지 않을 수 있다. 강의는 문맥·캐시·가중치 갱신을 각각 가능한 접근으로 논의한다.
환경의 한계도 남는다. 수학·코딩처럼 빠르게 검증할 수 있는 과제와 달리, 실험이나 시뮬레이션에 며칠이 걸리면 수천 번 반복하는 학습이 어려워진다. 결과를 예측하는 보상 모델로 비용을 줄일 수 있지만, 부정확한 대리 보상을 악용할 위험이 생긴다. 주관적 창작 과제에서는 좋은 보상 자체를 정의하기 어렵다.
시스템 측면에서는 반복 샘플링, 검증과 수정, 도구 호출을 낮은 지연으로 처리하는 인프라가 필요하다. 로컬 모델에 맞는 커널과 구조, 요청 라우팅, 에너지 측정 역시 모델 성능 못지않게 중요한 연구 대상이다. [33:09–39:49] [51:58–58:38] [59:03–1:04:00]
이 강의에서 가져갈 관점
자기 개선 에이전트를 설계할 때는 “모델을 몇 번 더 호출할까?” 다음의 질문이 필요하다. 서로 다른 해결 경로를 탐색하는지, 검증이 실제 오류를 잡는지, 다음에 배울 과제가 적절한지, 그 경험이 기억이나 학습에 남는지, 얻은 성능을 감당할 비용으로 제공할 수 있는지를 함께 봐야 한다. 이 다섯 질문이 시리즈 전체를 다음 연구로 연결한다.
출처 및 슬라이드 인용
· Stanford Online — CS329A Part 9: Future Research Areas
· Subramaniam et al. — Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains
· Shao et al. — DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning
· Zhao et al. — Absolute Zero: Reinforced Self-play Reasoning with Zero Data
· Saad-Falcon et al. — Intelligence per Watt: Measuring Intelligence Efficiency of Local AI (초기 판본)
슬라이드 이미지는 원본 강의 영상의 해당 화면을 발췌하고 각 그림 아래에 출처와 시점을 표기했다. 본문은 강의와 원 연구를 바탕으로 작성한 요약·해설이다.