Stanford CS329A

TL;DR학습 시 계산 확장은 모델이 만든 풀이를 검증·선별해 다시 학습시키며, 현재의 성공 경험을 다음 응답의 성능으로 연결한다.STaR는 정답으로 이어진 추론을 재학습하고, DeepSeekMath의 GRPO는 같은 문제에서 생성한 답들의 상대적 보상으로 모델을 개선한다.긴 추론을 강화 학습하려면 DAPO처럼 탐색의 다양성, 유효한 보상 차이, 토큰별 손실, 길이 제한으로 생기는 잡음을 함께 관리해야 한다.Stanford CS329A: Self-Improving AI Agents의 공개 영상 6강은 Train Time Scaling / Scaling RL을 다룬다. 앞선 강의가 더 많은 후보와 도구 피드백으로 현재 문제를 푸는 법을 살폈다면, 이번에는 그 결과를 학습에 돌려 모델 자체를 개선하는 순환을..
TL;DR다단계 에이전트는 한 경로를 끝까지 따르기보다 행동의 결과를 평가하고 대안을 탐색하며 계획을 갱신해야 한다.LATS는 트리 탐색으로 더 나은 실행 경로를 찾고, SPRINT는 독립적인 추론 단계를 병렬로 실행하도록 모델을 학습시킨다.SWiRL은 미리 수집한 도구 사용 맥락과 단계별 AI 보상으로 다단계 행동을 개선하며, 성능·지연·총비용을 함께 평가하는 것이 중요하다.Stanford CS329A: Self-Improving AI Agents의 5강은 “여러 번 생각하고 행동해야 하는 문제를 어떻게 더 잘, 더 효율적으로 해결할까?”를 다룬다. LATS·SPRINT·SWiRL을 통해 실행 중 탐색, 병렬 추론을 위한 지도 학습, 단계별 강화 학습을 차례로 살펴본다.공식 강의 일정: 2025년 10..
TL;DRReAct는 생각·행동·관찰을 번갈아 이어 모델의 답을 외부 정보와 환경에 연결한다.RLEF는 코드의 실행 결과를 수정과 강화 학습에 활용하고, Constitutional AI는 사람이 정한 원칙으로 AI가 피드백을 만들게 한다.자기 개선의 핵심은 반복 횟수보다 피드백의 신뢰성이며, 한 번의 실행에서 답을 고치는 과정과 모델 자체를 학습시키는 과정을 구분해야 한다.Stanford CS329A: Self-Improving AI Agents의 4강은 “LLM이 도구를 사용하고, 그 결과로 더 나아지게 하려면 무엇이 필요할까?”를 다룬다. ReAct → RLEF → Constitutional AI를 통해 외부 환경·프로그램 실행·원칙 기반 비평이라는 세 가지 피드백을 비교한다.공식 강의 일정: 202..
TL;DR후보 중 정답이 존재하는 것과 그 정답을 골라 전달하는 것은 다르며, 검증기의 정확도가 추론 시 계산 확장의 성과를 결정한다.ORM은 최종 결과를, PRM은 중간 추론 단계를 평가한다. 과정 감독은 더 세밀한 피드백을 주지만 라벨 수집 비용과 잘못된 보상 신호를 함께 다뤄야 한다.자동 과정 라벨링과 약한 검증기의 가중 결합은 검증을 확장하는 방법이며, 그 판단을 작은 모델로 증류하거나 강화 학습에 활용하면 비용 절감과 자기 개선으로 이어진다.Stanford CS329A: Self-Improving AI Agents의 3강은 “여러 후보 중 어떤 답이 맞는지 어떻게 알아낼까?”를 다룬다. 2강의 추론 시 계산 확장을 실제 성과로 연결하는 검증(verification)에 집중한다.강사: Azalia..
TL;DR모델을 다시 학습하지 않아도, 답을 여러 번 생성하고 수정·탐색하는 데 계산을 더 쓰면 문제 해결 범위를 넓힐 수 있다.다만 후보 안에 정답이 있다는 사실과 실제로 정답을 골라 전달하는 능력은 다르며, 검증기의 품질이 성능을 좌우한다.병렬 생성·순차 수정·검증을 문제 난이도와 예산에 맞게 조합해야 한다.Stanford CS329A: Self-Improving AI Agents의 두 번째 강의는 “이미 가진 모델에게 더 많은 시도와 검토 기회를 주면 어디까지 좋아질까?”를 다룬다. 반복 샘플링의 법칙 → 검증의 병목 → 계산 예산 배분 → 추론 구조의 자동 설계가 핵심 흐름이다.강사: Azalia Mirhoseini · 강의일: 2025년 9월 26일 · 원본 영상강의와 슬라이드를 한국어로 요약한..
DevOwen
'Stanford CS329A' 태그의 글 목록