TL;DR
ReAct는 생각·행동·관찰을 번갈아 이어 모델의 답을 외부 정보와 환경에 연결한다.
RLEF는 코드의 실행 결과를 수정과 강화 학습에 활용하고, Constitutional AI는 사람이 정한 원칙으로 AI가 피드백을 만들게 한다.
자기 개선의 핵심은 반복 횟수보다 피드백의 신뢰성이며, 한 번의 실행에서 답을 고치는 과정과 모델 자체를 학습시키는 과정을 구분해야 한다.
Stanford CS329A: Self-Improving AI Agents의 4강은 “LLM이 도구를 사용하고, 그 결과로 더 나아지게 하려면 무엇이 필요할까?”를 다룬다. ReAct → RLEF → Constitutional AI를 통해 외부 환경·프로그램 실행·원칙 기반 비평이라는 세 가지 피드백을 비교한다.
공식 강의 일정: 2025년 10월 3일 · 원본 영상
강의·영상 속 슬라이드·원 논문을 바탕으로 정리한 학습 노트다. 모델 비교와 실험 결과는 강의 당시의 연구 조건을 뜻한다.
1. ReAct: 생각한 뒤 행동하고, 관찰한 결과로 다시 생각한다
모델이 단계별 풀이를 길게 설명하더라도, 그 설명이 실제 세계의 사실과 맞는다는 보장은 없다. 반대로 도구만 연속 호출하면 무엇을 알아냈고 다음에 무엇을 확인해야 하는지 놓칠 수 있다. ReAct(Reasoning + Acting)는 이 두 과정을 하나의 순환으로 묶는다.
목표와 현재 맥락 → 생각(Thought) → 도구 호출·행동(Action) → 외부 결과(Observation) → 다음 생각과 행동
예를 들어 어떤 제품의 기능을 조사한다면, 먼저 확인할 대상을 정하고 검색한다. 검색 결과가 불충분하면 검색어를 바꾸고, 새로 얻은 사실을 반영해 다음 행동을 정한다. 처음에 계획을 전부 작성한 뒤 그대로 실행하는 방식이 아니라, 관찰이 다음 추론을 바꾸는 교차 실행이다.

그림 1. 관찰과 행동의 맥락에 언어적 추론을 추가하는 ReAct의 설정. 생각은 환경을 직접 바꾸지 않고 다음 행동을 정하는 맥락이 된다. 출처: Stanford CS329A 4강, 07:16. 원 연구: Yao et al., ReAct.
원래 ReAct의 중요한 출발점은 모델 가중치를 바꾸지 않고도 소수의 생각·행동·관찰 예시를 프롬프트에 넣어 이 행동을 유도했다는 점이다. 검색, 문서 내 문자열 찾기, 답변 종료처럼 허용된 행동을 명시하면 모델이 무엇을 실행할 수 있는지도 분명해진다. [01:48–12:20]
2. 도구가 있다고 항상 더 정확한 것은 아니다
강의는 ReAct를 만능 해법으로 설명하지 않는다. Wikipedia를 활용하는 HotpotQA와 FEVER 실험에서 행동만 하는 방식보다 유리했지만, 추론만 하는 Chain-of-Thought보다 언제나 좋지는 않았다. ReAct와 여러 풀이의 답을 모으는 self-consistency를 상황에 맞게 결합했을 때 더 나은 결과가 나왔다. 내부 지식과 외부 정보를 어떻게 조합하는지가 중요하다.
쇼핑 시뮬레이션인 WebShop에서는 사용자 조건을 읽고 검색·상품 확인·선택을 이어 가는 능력이 개선됐지만, 인간 전문가와의 차이는 남았다. 여러 단계 중 하나의 오류가 이후 선택으로 번질 수 있기 때문이다.
실제 적용에서는 세 가지를 점검할 수 있다. 도구 결과가 틀리거나 모순될 때 재확인할 수 있는가, 같은 행동을 반복하는 루프에서 빠져나올 수 있는가, 늘어난 호출 비용에 비해 성공률이 충분히 좋아지는가다. 모델의 자신감만으로 검색 필요성을 판단하기도 어렵다. 외부 정보는 환각을 줄이는 근거가 되지만 그 자체가 정답 보증서는 아니다. [12:28–15:43] [17:28–26:46]
3. RLEF: 실행 결과를 활용하는 능력도 학습해야 한다
코드 생성에서는 실제로 실행해 볼 수 있다는 장점이 있다. 문장이 그럴듯한지 평가하는 대신 테스트 실패, 잘못된 출력, 시간 초과 같은 피드백을 받을 수 있다. 그러나 기본 모델에 오류를 붙여 주기만 한다고 수정이 항상 잘되는 것은 아니다. 새 답을 독립적으로 여러 번 뽑는 쪽이 더 나을 수도 있다.
RLEF(Reinforcement Learning with Execution Feedback)는 모델이 실행 피드백을 보고 다음 코드를 더 잘 만들도록, 여러 번의 시도를 포함한 상호작용을 강화 학습으로 훈련한다. 핵심은 테스트 도구를 제공하는 것에 더해 그 결과를 활용하는 정책을 배우게 하는 것이다.

그림 2. 공개 테스트를 통한 실행 중 수정과 비공개 테스트 보상을 통한 모델 학습을 연결하는 RLEF. 출처: Stanford CS329A 4강, 29:40. 원 연구: Gehring et al., RLEF.
- 자연어 문제를 입력받아 코드 후보를 생성한다.
- 공개 테스트를 실행하고 실패 피드백을 맥락에 추가한다.
- 통과하거나 시도 횟수 제한에 도달할 때까지 코드를 수정한다.
- 생성 과정에서 숨겨 둔 비공개 테스트로 보상을 정하고, PPO로 정책을 갱신한다.
가령 시간 초과가 발생했다면 모델은 같은 코드를 다시 내는 대신 더 효율적인 알고리즘으로 바꿔야 한다. RLEF는 이런 수정을 반복해 경쟁 프로그래밍 문제의 해결률을 높이고 필요한 샘플 예산을 줄였다. 첫 시도의 개선, 후보의 다양성, 오류에 맞춘 수정이 함께 기여하므로, 성과 전부를 마지막 수정 한 번의 효과로 해석하면 안 된다. [27:48–37:44]
4. 공개 테스트와 비공개 보상은 역할이 다르다
RLEF의 두 단계 테스트 전략에서 공개 테스트는 빠르게 다음 시도를 안내하고, 비공개 테스트는 생성 중 직접 보이지 않는 조건까지 평가해 학습 보상을 준다. 여기서 ‘비공개’는 생성 과정에 숨겨 둔 테스트라는 뜻이다. 이 보상으로 모델을 훈련하므로, 최종 성능을 별도로 측정하는 미사용 평가 데이터와 같은 의미는 아니다.
최적화 단위도 나눈다. 코드는 토큰 단위로 생성하지만, 가치 함수는 한 번의 응답인 턴 단위를 평가한다. 즉, 세밀한 생성과 응답 수준의 보상을 결합한다. 이 구조를 이해하면 ‘오류를 보고 다시 작성하는 추론 단계’와 ‘여러 상호작용의 보상으로 가중치를 갱신하는 학습 단계’를 구별할 수 있다.
한계는 피드백이 다루는 범위다. 테스트가 빠뜨린 요구사항까지 자동으로 검증되지는 않는다. 강의의 짧은 경쟁 프로그래밍 문제와 대규모 저장소 수정도 다르다. 큰 코드베이스에서는 먼저 관련 코드를 검색하고 필요한 맥락을 모은 뒤, 패치와 테스트의 순환으로 이어 가야 한다. [31:33–34:57] [37:50–46:23]
5. Constitutional AI: 사람이 정한 원칙으로 AI 피드백을 만든다
모든 문제에 실행 가능한 정답 테스트가 있는 것은 아니다. 답변의 유해성이나 편향을 줄이는 일에는 행동 기준이 필요하다. Constitutional AI는 사람이 자연어 원칙을 정하고, AI가 그 원칙에 따라 답을 비평·수정·비교하게 한다. 대량의 개별 평가를 사람이 모두 수행해야 하는 부담을 줄이는 접근이다.

그림 3. 원칙 기반 비평·수정을 이용한 지도 학습과 AI 선호를 이용한 강화 학습의 두 단계. 출처: Stanford CS329A 4강, 49:00, 슬라이드 45. 원 연구: Bai et al., Constitutional AI.
- 지도 학습: 초기 답변을 원칙에 비춰 비평하고 수정한다. 수정된 응답을 학습 데이터로 사용한다.
- AI 피드백 기반 강화 학습(RLAIF): 답변 두 개 중 원칙에 더 부합하는 것을 AI가 고르게 한다. 이 선호 데이터로 선호 모델을 학습하고, 그 점수를 보상으로 LLM을 개선한다.
‘편향된 표현이 있는가? 있다면 바꿔라’처럼 평가 기준과 수정 방향을 명시하는 것이 핵심이다. 단순히 답을 거절하는 횟수를 늘리는 것보다, 도움이 되면서도 유해성을 낮추는 균형을 찾는다. 강의는 harmlessness와 helpfulness의 상충 관계 및 강화 학습 후의 개선을 함께 보여 준다.
사람의 역할이 없어지는 것은 아니다. 무엇을 좋은 행동으로 볼지 사람이 정하고, AI 평가가 그 의도를 잘 반영하는지도 확인해야 한다. 특히 자기 비평에는 기존 편향과 과신이 그대로 남을 수 있다. 원칙을 바꿀 때 과거 행동을 완전히 지우거나 새 규칙을 확실하게 따르게 하는 문제도 해결된 것으로 보지 않는다. [46:30–59:19]
6. 세 방법을 연결하는 질문: 무엇을 믿고 개선할 것인가?
| 방법 | 핵심 피드백 | 개선이 일어나는 곳 |
| ReAct | 도구·환경의 관찰 | 현재 실행의 다음 추론과 행동 |
| RLEF | 코드 실행·테스트 | 실행 중 수정 + 강화 학습으로 정책 갱신 |
| Constitutional AI | 사람이 정한 원칙에 따른 AI 비평·선호 | 수정 데이터의 지도 학습 + RLAIF |
공통점은 생성 → 피드백 → 다음 시도의 개선이다. 차이는 피드백의 출처와 그것을 사용하는 단계다. 검색 결과가 충분한 근거인지, 테스트가 요구사항을 대표하는지, AI 평가가 원칙과 일치하는지에 따라 같은 반복 구조도 전혀 다른 결과를 낸다.
이 강의에서 가져갈 관점
에이전트를 설계할 때는 도구 목록보다 먼저 실패를 어떻게 발견하고, 그 정보를 다음 시도에 어떻게 반영할지를 정하는 편이 좋다. 실행 중 피드백만으로 충분한지, 그 피드백을 활용하는 능력까지 별도로 학습해야 하는지 구별한다. 이어서 성공률과 함께 호출 수·수정 횟수·비용을 기록하면, 자기 개선이 실제 성과인지 단순한 반복 증가인지 판단할 수 있다. [1:00:28–1:03:11]
출처 및 슬라이드 인용
· Stanford Online — CS329A Part 4: Learning from Feedback with Tools/Code
· Stanford CS329A 공식 강의 일정·읽기 자료
· Yao et al. — ReAct: Synergizing Reasoning and Acting in Language Models
· Gehring et al. — RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning
· Bai et al. — Constitutional AI: Harmlessness from AI Feedback
슬라이드 이미지는 원본 강의 영상의 해당 화면을 발췌하고 각 그림 아래에 출처와 시점을 표기했다. 본문은 원문의 직역이 아닌 요약·해설이다.
'AI Agent, LLM > Stanford CS329A Self Improving AI Agents' 카테고리의 다른 글
| [Stanford CS329A] 3강. 견고한 검증: ORM·PRM·Weaver로 정답을 고르는 법 (0) | 2026.11.12 |
|---|---|
| [Stanford CS329A] 2강. 추론 시 계산 확장: 반복 생성·검증·탐색으로 더 좋은 답 얻기 (0) | 2026.11.12 |
| [Stanford CS329A] 1강. LLM에서 자기 개선 AI 에이전트로: 스케일링·추론·검증 (0) | 2026.11.12 |