AI 과학 연구 평가 벤치마크 공개

최근 30일 조회수 —좋아요 —

핵심 요약

수학·이론물리 미해결 문제 82개로 AI 연구 역량을 평가한 결과 GPT-6-Astra가 14.0%로 가장 높았다.

AI 과학 연구 평가 벤치마크 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

수학·이론물리 문헌에서 뽑은 미해결 문제 82개로 인공지능의 과학 연구 역량을 재는 벤치마크 오픈프로블럼벤치(OpenProblemBench)가 공개됐다. 각 문제에는 연구 맥락과 가정, 기존 진전이 함께 제공되며, 결정적인 수학·계산 주장을 비교적 명확히 검증할 수 있는 문제가 선정됐다.1

저자들은 정답 없이 평가 모델 4개가 제출물의 정확성·완결성·진전 정도를 독립적으로 판정하게 했다. 평가한 7개 구성 가운데 GPT-6-Astra의 평균 판정 해결률이 14.0%로 가장 높았고, 대형 오픈 모델은 5.56.7%, Flash 모델은 2.43.7%였다. 사례 비교에서는 문제 표현의 개선, 유한한 증거를 넘어서는 일반 논증, 해법 완성에 필요한 단계의 증명이 더 나은 결과와 연결됐다.

다만 해결률은 참조 정답이 아니라 모델 평가에 따른 수치다. 이 연구는 2026년 10월 10일 발표된 arXiv:2610.11118v1이다.

Footnotes

  1. arXiv cs.AI, 「OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences — arXiv cs.AI · 자료: 2026. 10. 10.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.