LLM 과학 재발견 벤치마크 공개

최근 30일 조회수 —좋아요 —

핵심 요약

OpenFrontiers는 공개 연구문제 1만2,151개를 정리하고 LLM의 해법 재발견 능력을 평가했다.

OpenFrontiers 연구진이 1만2,151개의 공개 연구문제를 정리하고, 대규모 언어모델(LLM)의 과학적 ‘재발견’ 능력을 평가하는 벤치마크를 공개했다. 2026년 10월 30일 arXiv:2610.37739v1이 신규 공개됐다.1

자료는 여러 학문 분야의 문제 설명과 맥락, 연구 진척 등을 담는다. 이 가운데 수학 문제 200개로 회고형 벤치마크를 구성했으며, 110개는 2026년에 해결됐고 90개는 여전히 미해결 상태다. 각 문제에는 자동 점검과 독립 검토 2회를 거친 Lean 4 명제가 붙었다. 품질 점수로 다시 추린 HQ-50 하위 집합도 제공한다.

연구진은 격리된 샌드박스에서 두 개의 독립 검사기로 형식 증명을 채점했다. HQ-50에 LLM 에이전트 7개를 같은 예산으로 평가한 결과, 외부 자료를 쓰지 않는 조건에서는 해결된 문제 40개 중 재발견에 성공한 수가 최대 7개에 그쳤다. 반면 실시간 웹 접근 조건의 성공은 대체로 이미 발표된 해법을 찾아온 결과였다. 따라서 이 벤치마크는 새로운 문제 해결과 기존 해법 검색을 구분해 측정하는 데 초점을 둔다. 데이터셋과 벤치마크도 공개됐다.

Footnotes

  1. arXiv cs.AI, 「OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery — arXiv cs.AI · 자료: 2026. 10. 30.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.