LLM 함수 간 추론 평가 ICALL-BENCH 공개

최근 30일 조회수 —좋아요 —

핵심 요약

바이너리 간접 호출 복원 평가에서 LLM의 검증 가능 성공률은 23~81%로 나타났다.

LLM 함수 간 추론 평가 ICALL-BENCH 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

대규모언어모델(LLM)이 컴파일된 바이너리에서 함수 사이의 의미 관계를 얼마나 잘 추론하는지 평가하는 ICALL-BENCH가 10월 30일 공개됐다. 연구진은 간접 호출의 실제 대상 함수를 복원하는 과제를 측정 지표로 삼아, 함수 내부의 단서만 찾는 능력과 함수 간 추론 능력을 구분하려 했다.1

ICALL-BENCH는 복잡도와 최적화 설정이 서로 다른 실제 C/C++ 프로그램 50개로 구성된다. 프로그램당 평균 규모는 코드 7만4,746줄, 함수 941개다. 평가는 모델 단독 추론, 정적 분석 도구를 쓰는 에이전트, 인터넷에 접근하는 개방형 에이전트 등 세 조건에서 최근 LLM 5종과 각 모델 기반 에이전트를 대상으로 이뤄졌다.

저자들이 보고한 프로그램 단위 검증 가능 성공률은 모델과 에이전트에 따라 23~81%로 크게 벌어졌다. 정보 접근 범위를 넓혀도 성능이 일관되게 좋아지지 않았으며, 특히 가장 어려운 사례에서는 개선 폭이 제한적이었다. 연구진은 깊은 함수 간 추론이 여전히 핵심 병목이라고 해석했다. 다만 결과는 낙관적인 평가 조건에서도 검증 가능한 실패가 잦았다는 점을 보여줄 뿐, 초록에는 모델별 세부 수치가 제시되지 않았다.

이 논문은 arXiv 프리프린트 2610.37871v1이다.

Footnotes

  1. arXiv cs.SE, “ICALL-BENCH: Benchmarking LLM Interprocedural Reasoning in Binary Programs”, 2026년 10월 30일. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. ICALL-BENCH: Benchmarking LLM Interprocedural Reasoning in Binary Programs — arXiv cs.SE · 자료: 2026. 10. 30.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.