장기 생물정보학 AI 벤치마크 공개
최근 30일 조회수 —좋아요 —핵심 요약
OmicsBench 평가에서 AI 에이전트들은 선행 결과 의존 과제에 취약했고 피드백으로 일부 개선됐다.

생물정보학 연구 규모의 장기·다중 대화 능력을 평가하는 AI 에이전트 벤치마크 ‘OmicsBench’가 10월 17일 공개됐다. 97개 과제는 서로 의존하는 662개 하위 과제를 방향성 비순환 그래프(DAG)로 연결한다. 하위 과제마다 사용자 대화 한 차례를 배정하고 정답표로 자동 채점하며, 오답에는 대화 중 피드백을 선택적으로 제공한다.1
연구진이 모델 12종과 실행 환경 3종을 조합해 평가한 결과, 피드백이 없을 때 평균 점수는 1점 만점에 0.430.57, 피드백이 있을 때는 0.540.67이었다. 어떤 조합도 벤치마크의 상한에 근접하지 못했고, 가장 느린 에이전트는 과제당 평균 3.6시간이 걸렸다. 특히 앞선 결과에 의존하는 하위 과제에서 점수가 낮아졌으며, 피드백은 손실 일부를 회복하는 데 도움이 됐다.1
자동 채점만으로는 실패 양상을 설명하기 어렵다는 한계를 보완하려고 연구진은 실패 답변을 설명·임베딩·군집화하는 비지도 분석 절차도 제안했다. 이를 통해 지정된 기준 대신 임의의 통계 필터를 적용하거나 기억에 의존해 답변 전체를 작성하는 사례를 찾았다고 보고했다. 이 논문은 arXiv v1으로 공개됐다. arXiv:2610.21074v1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- OmicsBench: a long-horizon multi-turn benchmark of AI agents on research-study-scale bioinformatics — arXiv cs.AI · 자료: 2026. 10. 17.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.