LLM의 MongoDB 질의 예측력 평가
최근 30일 조회수 —좋아요 —핵심 요약
MongoBench 평가에서 LLM의 MongoDB 질의 결과 예측 정확도는 70.1~92.1%로 나타났다.

대규모언어모델(LLM)이 MongoDB 질의를 실행하기 전에 결과를 정확히 예측하는지를 평가하는 벤치마크 MongoBench가 11월 9일 공개됐다. 연구진은 문서 모음과 MongoDB find() 필터를 주고, 조건에 맞는 _id 집합을 모델이 정확히 반환하도록 했다. 정답은 실제 mongod 서버에서 얻었다.1
MongoBench 300개 문항은 문서화된 매칭 함정 34개를 조합했으며, 세 업체의 모델이 대칭적으로 문항을 제안했다. 세 업체의 최상위 모델과 오픈 가중치 추론 모델 하나를 평가한 결과 정확도는 70.192.1%로 22%포인트 차이가 났다. 각 제안 모델도 자신이 만든 문항의 10~31%를 틀렸다. 질의를 생성할 수 있다고 해서 그 효과까지 이해하는 것은 아니라는 결과다.
오류는 문서 수나 결합 규칙 수보다 범위 비교와 null 같은 의미론적 함정과 더 밀접했다. 검증된 규칙표를 프롬프트 앞에 붙인 효과는 모델마다 달랐다. 엔진 실행은 신뢰할 만한 정답을 냈지만, 한 모델은 3회 평균 28%의 문항에서 실행 필터가 원래 질의와 일치하는지 확인하는 검사를 한 번도 통과하지 못했고 이 가운데 약 22개를 틀렸다. 나머지 세 모델은 모든 문항을 통과했다.
이 연구는 arXiv 프리프린트 arXiv:2611.09065v1이다. 논문과 벤치마크·평가 코드를 공개했다.
Footnotes
-
arXiv cs.SE, 「MongoBench: Do LLMs Know What a MongoDB Query Will Do?」, 2026-11-09. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- MongoBench: Do LLMs Know What a MongoDB Query Will Do? — arXiv cs.SE · 자료: 2026. 11. 9.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.