LLM 문헌고찰, 탐색 돕지만 판단은 한계
최근 30일 조회수 —좋아요 —핵심 요약
LLM 6종을 논문 102편으로 평가한 결과 탐색·해석에는 유용했지만 종합과 근거 판단에는 한계를 보였다.

대규모언어모델(LLM)이 과학 문헌고찰의 전 과정을 얼마나 수행할 수 있는지 102편의 논문으로 평가한 연구가 11월 5일 공개됐다. 연구진은 관련 논문 탐색, 내용 해석, 종합, 후속 연구 제안의 네 단계에서 AI 도구 6종을 시험했다. 논문은 arXiv에 공개됐다.1
기준 자료는 ‘스패니시 플룸(Spanish plume)’ 기상 패턴을 다룬 기존 문헌고찰과 논문 102편이었다. 최초 검색에서 도구 5종이 함께 찾은 논문은 57편이었고, 단일 도구 최고 기록은 42편이었다. 기관 도서관 접근 권한을 제공하자 Codex는 42편에서 82편, Claude Code는 15편에서 79편으로 늘었다.
102편의 PDF 전체를 제공한 뒤에는 도구 3종이 주제를 실질적으로 다룬 논문 18편을 모두 찾아냈다. 그러나 단순히 언급만 한 84편 가운데 40~79%를 실질적 논의로 잘못 분류했다. 두 분야 전문가의 블라인드 평가에서 종합문은 대체로 정확했지만, 통찰이 제한적이었고 근거 없는 주장과 인용 오류, 합의 수준을 부풀린 표현도 나타났다. 모든 단계에서 가장 뛰어난 단일 도구는 없었다.
연구진은 LLM이 문헌 탐색과 해석을 보조할 수 있으며 기관 접근 권한이 특히 중요하다고 봤다. 다만 근거 평가와 연구 종합에서는 전문가 판단을 대신할 수 없다고 결론 내렸다.
NOTE
Footnotes
-
arXiv cs.AI, 「Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark」, 2026-11-05. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark — arXiv cs.AI · 자료: 2026. 11. 5.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.