숨은 규칙 학습 평가하는 CLR-Bench 공개

최근 30일 조회수 —좋아요 —

핵심 요약

자기 진화 에이전트의 규칙 학습은 기법보다 기반 모델의 성능에 크게 좌우되는 것으로 나타났다.

숨은 규칙 학습 평가하는 CLR-Bench 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

자기 진화형 에이전트가 피드백에서 숨은 규칙을 배우는지, 드러난 예외만 목록에 덧붙이는지를 가리는 CLR-Bench가 공개됐다. 2026년 11월 2일 arXiv:2610.40758v1이 발표됐다.1

CLR-Bench는 단계마다 이전 규칙 위에 새 규칙 하나를 추가한다. 항공 동맹 창립 회원처럼 웹에 공개된 집단을 불투명한 표지로 감춘 뒤, 연습 피드백으로 회원과 비회원 하나씩을 알려주고 처음 보는 사례를 판별하게 한다. 연구진은 10개 분야에서 20개 규칙 사슬을 만들었다.

최근 자기 진화 기법 6종은 규칙을 확인하는 데 쓴 기본 모델에서 거의 학습하지 못했다. 최고 성능도 상태를 고정한 에이전트보다 최대 5점 높았고, 보지 못한 회원을 제외하는 비율은 612%로 원본 연습 기록을 그대로 보관했을 때의 20%보다 낮았다. 저장 상태에는 공개된 회원이 7598% 남았지만 집단 이름은 거의 없었다. 반면 ‘표지가 이름 있는 집단을 뜻한다’는 고정 설명을 주자 14.5~16.5점 올랐다.

더 강한 GPT-6-Sol에서는 ACE와 Dynamic Cheatsheet가 피드백만으로 학습해 정확도 78%, 개별 셀 해결률 59~60%를 기록했다. 기본 모델의 53%, 8%와 대비된다. 결과는 자기 진화 기법의 규칙 학습 능력이 기반 모델에 크게 좌우됨을 보여준다.

NOTE

arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다.

Footnotes

  1. arXiv cs.AI, “More Rules, Longer Lists? Benchmarking Self-Evolving Agents on a Hidden-Rule Curriculum” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. More Rules, Longer Lists? Benchmarking Self-Evolving Agents on a Hidden-Rule Curriculum — arXiv cs.AI · 자료: 2026. 11. 2.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.