LLM 과학 재발견 벤치마크 공개
최근 30일 조회수 —좋아요 —핵심 요약
OpenFrontiers는 공개 연구문제 1만2,151개를 정리하고 LLM의 해법 재발견 능력을 평가했다.
OpenFrontiers 연구진이 1만2,151개의 공개 연구문제를 정리하고, 대규모 언어모델(LLM)의 과학적 ‘재발견’ 능력을 평가하는 벤치마크를 공개했다. 2026년 10월 30일 arXiv:2610.37739v1이 신규 공개됐다.1
자료는 여러 학문 분야의 문제 설명과 맥락, 연구 진척 등을 담는다. 이 가운데 수학 문제 200개로 회고형 벤치마크를 구성했으며, 110개는 2026년에 해결됐고 90개는 여전히 미해결 상태다. 각 문제에는 자동 점검과 독립 검토 2회를 거친 Lean 4 명제가 붙었다. 품질 점수로 다시 추린 HQ-50 하위 집합도 제공한다.
연구진은 격리된 샌드박스에서 두 개의 독립 검사기로 형식 증명을 채점했다. HQ-50에 LLM 에이전트 7개를 같은 예산으로 평가한 결과, 외부 자료를 쓰지 않는 조건에서는 해결된 문제 40개 중 재발견에 성공한 수가 최대 7개에 그쳤다. 반면 실시간 웹 접근 조건의 성공은 대체로 이미 발표된 해법을 찾아온 결과였다. 따라서 이 벤치마크는 새로운 문제 해결과 기존 해법 검색을 구분해 측정하는 데 초점을 둔다. 데이터셋과 벤치마크도 공개됐다.
Footnotes
-
arXiv cs.AI, 「OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery — arXiv cs.AI · 자료: 2026. 10. 30.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.