AI 과학 연구 평가 벤치마크 공개
최근 30일 조회수 —좋아요 —핵심 요약
수학·이론물리 미해결 문제 82개로 AI 연구 역량을 평가한 결과 GPT-6-Astra가 14.0%로 가장 높았다.

수학·이론물리 문헌에서 뽑은 미해결 문제 82개로 인공지능의 과학 연구 역량을 재는 벤치마크 오픈프로블럼벤치(OpenProblemBench)가 공개됐다. 각 문제에는 연구 맥락과 가정, 기존 진전이 함께 제공되며, 결정적인 수학·계산 주장을 비교적 명확히 검증할 수 있는 문제가 선정됐다.1
저자들은 정답 없이 평가 모델 4개가 제출물의 정확성·완결성·진전 정도를 독립적으로 판정하게 했다. 평가한 7개 구성 가운데 GPT-6-Astra의 평균 판정 해결률이 14.0%로 가장 높았고, 대형 오픈 모델은 5.56.7%, Flash 모델은 2.43.7%였다. 사례 비교에서는 문제 표현의 개선, 유한한 증거를 넘어서는 일반 논증, 해법 완성에 필요한 단계의 증명이 더 나은 결과와 연결됐다.
다만 해결률은 참조 정답이 아니라 모델 평가에 따른 수치다. 이 연구는 2026년 10월 10일 발표된 arXiv:2610.11118v1이다.
Footnotes
-
arXiv cs.AI, 「OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences — arXiv cs.AI · 자료: 2026. 10. 10.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.