코딩 에이전트 스킬 호출률 측정 연구
최근 30일 조회수 —좋아요 —핵심 요약
4개 실행 환경과 2개 모델에서 스킬 호출의 일관성을 2만400회 실험으로 검증하는 연구가 공개됐다.
코딩 에이전트가 관련 스킬을 실제로 얼마나 꾸준히 호출하는지 측정하는 연구가 11월 19일 arXiv에 공개됐다. 연구진은 같은 입력을 반복해 실행한 뒤, 관련 스킬을 호출한 시행의 비율을 ‘호출률’로 정의했다.1
연구진은 합성 저장소에서 소프트웨어공학 과제 4종을 구성하고, 코딩 에이전트 실행 환경 4개와 모델 2개를 조합한다. 스킬 이름·설명 같은 메타데이터, 경쟁 스킬, 문맥 지시, 과제의 표현과 구성이 호출 결정에 미치는 영향을 9개 비방향성 가설로 검토한다. 이 가운데 8개는 호출 여부를, 나머지 1개는 스킬 제공이 과제에서 요구하지 않은 행동을 유발하는지를 살핀다.
계획된 실험은 총 2만400회다. 기본 조건은 범주·설정별 60회 반복하며, Claude Code와 Sonnet 5.5 조합에서는 범주별 과제와 스킬을 모두 허용해 60회를 추가한다. 각 실험 조건은 10회씩 수행하고, 사전에 정한 비교를 모델·실행 환경별로 Boschloo 정확 검정으로 평가한다. 다만 제공된 초록에는 수집 완료 여부나 호출률 결과가 없어, 어떤 조건이 더 안정적인지는 아직 판단할 수 없다.
Footnotes
-
arXiv cs.SE, “Skill Roulette: Measuring Skill Invocation Rate Across LLM Coding Agents”, arXiv:2611.23266v1, 2026-11-19, https://arxiv.org/abs/2611.23266 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Skill Roulette: Measuring Skill Invocation Rate Across LLM Coding Agents — arXiv cs.SE · 자료: 2026. 11. 19.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.