LLM, 계획에 중요한 질문 구별 못해

최근 30일 조회수 —좋아요 —

핵심 요약

Ask2Decide 평가에서 LLM 에이전트는 계획을 바꾸는 정보와 무관한 정보를 제대로 구별하지 못했다.

LLM, 계획에 중요한 질문 구별 못해 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

대규모언어모델(LLM) 에이전트가 일정·인력 배치에 필요한 정보가 빠졌을 때, 의사결정에 중요한 질문과 무관한 질문을 제대로 가려내지 못했다. 11월 11일 공개된 프리프린트는 이를 측정하는 벤치마크 Ask2Decide를 제안했다.1

Ask2Decide는 계획 문제 43개로 구성된다. 운영자가 요청과 기록에 없는 사실을 보유하고, 최적화 풀이로 어떤 사실이 최적 계획을 바꾸는지 판별한다. 표현은 비슷하지만 계획에는 영향을 주지 않는 사실도 섞어, 에이전트가 유용한 정보를 구별하는지 살폈다. 연구진이 19명에게서 수집한 상호작용 79건을 분석한 결과, 잘못된 계획을 받은 사람이 답변에서 정정에 필요한 사실을 빠뜨린 비율은 43%였다. 보정하지 않은 LLM 모의 사용자는 7%에 그쳤다.

이 자료로 사람의 답변 양상에 가까운 모의 운영자를 만든 뒤 최전선 LLM 4종을 평가했다. 정보가 누락되면 첫 계획이 실행 불가능한 과제 비율은 5898%로, 모든 사실을 처음부터 줬을 때의 528%보다 높았다. 에이전트가 찾아낸 비율도 계획을 바꾸는 사실은 3952%, 바꾸지 않는 사실은 3241%로 차이가 작았다. 연구진은 의사결정에 필요한 정보를 대화로 얻는 능력이 LLM 계획의 주요 병목이라고 결론 내렸다. 다만 연구는 진행 중이며 추후 업데이트될 예정이다.

NOTE

arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다. 논문: arXiv:2611.13015

Footnotes

  1. arXiv cs.AI, 「From Questions to Decisions: Benchmarking How LLM Agents Acquire Decision-Relevant Information from Human Beings」, 2026년 11월 11일. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. From Questions to Decisions: Benchmarking How LLM Agents Acquire Decision-Relevant Information from Human Beings — arXiv cs.AI · 자료: 2026. 11. 11.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.