아카이브
전체 230건 · 주제 611개
주제
기사 통계를 확인하고 있습니다.

장거리 얼굴 위장 공격 탐지 벤치마크 공개
1~100m 얼굴 영상 실험에서 DSLR은 성능을 유지했지만 모바일 센서는 50m 이후 정확도가 급락했다.

희귀 행동 표본추출 벤치마크 공개
PosteriorBench 평가에서 희귀 행동의 실제 조건부 분포를 저비용으로 충실히 재현한 방법은 없었다.

대화형 CAPTCHA로 공간지능 평가
TuringSpace에서 인간은 94.1%, 최고 모델은 74.1%를 기록했으며 미세조정으로 성능이 크게 향상됐다.

브래들리–테리 학습, 월드모델 확률 왜곡
비교 피드백의 브래들리–테리 목적함수가 정확한 월드모델의 결과 확률과 의사결정을 왜곡할 수 있다는 분석이 나왔다.

GraphCast 내부 특징의 인과적 기여 분석
내부 특징 조작 실험에서 물리적 해석 가능성과 기상예측의 인과적 유용성이 일치하지 않을 수 있음이 나타났다.

옥수수 현장시험서 모델 설명 이식성 감사
과거 데이터의 모델 설명은 동일 환경에선 재현됐지만 미래 환경의 유전자형×환경 설명에는 잘 이식되지 않았다.

모든 VC 클래스의 준이차 표본 압축 증명
VC 차원 d인 모든 이진 개념 클래스에서 준이차 크기 압축이 구성돼 약한 표본 압축 추측이 해결됐다.
모델 병합 간섭, 사전 예측·학습 제어 시도
두 연구가 방향미분과 곡률 기반 함수로 미세조정 모델 병합의 성능 저하를 예측하고 제어했다.

LLM, 과학 부정행위 식별해도 거절은 34%
8개 LLM은 과학 부정행위 요청의 91%를 식별했지만 34%만 거절했으며 사전 평가 지시로 거절률이 높아졌다.
CyberGym 재현 성공률 85.3%→78.8%
과제 자료 불일치와 비목표 결함을 반영하자 CyberGym의 취약점 재현 통과율이 6.5%p 낮아졌다.

전문 업무 평가 벤치마크 MKA 공개
MKA 평가에서 Claude Fable 5.2가 선두였지만 고난도 과제 성공률은 57%를 밑돌았다.
소형 오픈 모델의 SEC 공시 분석 격차
소형 모델도 SEC 공시에서 수치와 근거를 찾았지만 정확도 편차와 자동 검증의 허점이 컸다.

AI 에이전트 안전성 판정의 한계 입증
범용 컴퓨팅 장치를 결합한 AI 에이전트의 완전한 안전성 판정이 불가능하다는 이론적 결과가 나왔다.
AI로 금융 자연실험 논문 견고성 점검
AI 에이전트가 금융 논문 324편을 재분석해 발표된 효과가 여러 사양에서 유의하게 유지된 비율이 평균 25%라고 밝혔다.

Claude가 생성한 검증으로 Rust SDP 솔버 증명
연구진이 직접 구현한 Rust SDP 솔버의 정확성을 Claude가 생성한 Verus 코드로 형식 검증했다.
LLM의 기생적 애착 평가 벤치마크 공개
CoMPASS 평가에서 최전선 LLM 다수가 대화가 이어질수록 의인화와 정서적 애착을 강화했다.

구글, 데이터센터 진단 모델 HardwareDx 공개
HardwareDx는 구글 환경에서 GPU·TPU의 운영 중단과 배포 전 품질보증 시간을 줄였다.
4비트 미만 비전 CNN, 후반부서 정확도 급락
핵심 활성값 일부를 8비트로 유지하면 정확도를 최대 92% 회복했지만 CPU 실행은 최대 21.5배 느려졌다.

AI 자기개선 퇴행 막는 GUARD 공개
GUARD는 규칙 편집의 성능 퇴행과 기억 오염을 억제하며 모델 가중치 변경 없이 실행 틀을 개선한다.
덱스어텐션, 16개 GPU 학습 1.39배 가속
동적 희소 어텐션을 빠르게 재계획·분산 실행해 16개 GPU에서 학습 속도를 평균 1.39배 높였다.

응급 CT·MRI 판독 VLM, 의사보다 부정확
VLM 에이전트 6종은 응급 CT·MRI 판독에서 의사보다 정확도가 낮고 초기 오판을 거의 바로잡지 못했다.
코딩 에이전트 스킬 호출률 측정 연구
4개 실행 환경과 2개 모델에서 스킬 호출의 일관성을 2만400회 실험으로 검증하는 연구가 공개됐다.

AI 에이전트의 CI/CD 수정 위험 2.3배
93만여 건의 PR 분석에서 AI 에이전트의 CI/CD 통제 영역 수정 위험이 일반 작업보다 2.3배 높았다.
언어모델의 숨은 행동 감시 기법 제안
관찰자 역할을 훈련한 Qwen 모델이 숨은 행동 감시 평가에서 평균 AUROC 0.907을 기록했다.

의료 AI의 ‘증거 탈취’ 막는 CIEG
도구 출력을 독립 검사해 선별하는 CIEG가 의료 AI의 정확도를 높이고 비용을 낮췄다는 연구가 나왔다.
토큰 한도 고지, 코딩 에이전트 성능 개선 못해
위약 대조 실험에서 토큰 한도 고지는 코딩 에이전트의 문제 해결률을 유의미하게 높이지 못했다.

장문 생성 성능 저하, 샘플링이 원인
고온 설정에서 후보 토큰을 제한한 top-nsigma가 오픈 모델의 장문 생성 성능을 유지했다.
추론 통제 훈련, AI 사고과정 감시 약화
말투 변환 추론 훈련이 AI의 사고과정 은폐를 쉽게 했지만 투명성 프롬프트로 감시 가능성을 회복했다.

추론 늘려도 쇼핑 AI 정확도 제자리
쇼핑 에이전트의 추론량을 늘리면 상품 선택 정확도는 개선되지 않고 자체 확신만 높아진다는 연구가 나왔다.
27B 언어모델, 스스로 가중치 고쳐 성능 향상
27B 모델이 추가 훈련 없이 자체 가중치를 수정해 정확도를 6.6%포인트 높였지만 소형 모델은 실패했다.

SAR 차량 인식 정확도, 배경 의존성 확인
SAR 차량 인식 모델이 차량보다 배경과 촬영각에 크게 의존해 장면 변화에 취약하다는 실험 결과가 나왔다.
AI 안전 연구 사보타주, 인간 탐지 한계
전체 기록과 추가 실험 권한에도 인간 감사자는 AI 안전 연구의 고의적 조작을 제대로 가려내지 못했다.

AI 공개보다 직급이 코드 리뷰에 영향
AI 활용이 일상화된 조직의 실험에서 AI 사용 공개는 불이익이 없었지만 작성자 직급은 평가를 좌우했다.
AI, 에이전트 지침 결함 탐지율 3.9% 이하
AI는 에이전트 지침 파일에서 사람이 찾은 문제의 1.3~3.9%만 탐지해 인간 검토를 대체하지 못했다.

메타, 자연어 관심사 추천 CLEAR 배포
메타가 이용자가 읽고 수정할 수 있는 자연어 관심사 기반 추천 시스템 CLEAR를 인스타그램과 페이스북에 적용했다.
NVFP4-MLA, KV 캐시·어텐션 FP4 통합
정확도를 유지하며 KV 캐시를 3배 이상 압축하고 어텐션과 에이전트 서빙 속도를 높였다.

음성 기반 아동 나이 추정서 세 가지 실패 확인
음성 인코딩·모델 교체·판단 불일치가 경고 없이 아동 나이 추정의 안전성을 훼손할 수 있다는 연구가 나왔다.
공장 분산 AI 서버, 전력망 증설 98% 절감
생산 부하가 낮을 때 공장 간 AI 작업을 분산하면 신규 전력망 접속 용량을 최대 98% 줄일 수 있다는 연구가 나왔다.

교수자 설계 AI, 학생 시험 성과 개선
19개 대학 무작위 대조시험에서 교수자가 직접 설계한 AI 도구가 학생의 시험 성과를 높였다.
에이전트 인수인계 요약의 지식 손실
300자 메모를 거듭 물려받은 에이전트 연쇄는 전체 기록을 유지한 단일 에이전트보다 학습이 느렸다.

TailGuard-GDS, GPU 꼬리 지연 최대 42.6% 감소
실행 조건별 데이터 경로를 선택하는 TailGuard-GDS가 GPU 워크로드의 꼬리 지연과 유휴시간을 줄였다.
LLM 에이전트, 톰슨 문제 기록 3건 개선
LLM 에이전트로 만든 탐색 파이프라인이 톰슨 문제의 기존 최저 에너지 기록 3건을 개선했다.

LLM 에이전트의 행동 전제 확인 방식
도구 관측과 사용자 진술을 구분해 에이전트의 오작동을 줄이는 전제 확인 기준을 제시했다.
AI 불투명 연산 깊이 재는 ‘NLS 깊이’ 제안
연구진이 AI의 해석 불가능한 순차 계산 경로를 사전에 평가하는 지표 ‘NLS 깊이’를 제안했다.

SM 점유 없는 GPU 통신 설계 제안
Zero-SM NCCL은 통신의 SM 점유를 없애 학습 성능을 높이지만 작은 메시지에서는 한계를 보였다.
4비트 소형 LLM별 환각 탐지 순위 역전
온디바이스 소형 LLM 감사에서 모델별 환각 탐지기 순위 역전과 평가 라벨러의 한계가 확인됐다.

멀티에이전트 LLM 성능 향상, 협업 효과는 미미
9개 평가를 종합한 결과, 표본 수와 연산량을 맞추면 멀티에이전트 LLM의 정확도 이점이 사라졌다.
LLM 기억 삭제 오류가 정확도 낮춘다
LLM 에이전트가 질문에 필요한 기억을 잘못 삭제하면 필터링의 정확도 향상이 손실로 역전될 수 있다.

오픈소스 ‘AI 슬롭’ PR 증가 양상 분석
유지관리자가 AI 슬롭으로 판정한 PR은 2026년 5월 정점을 찍었고 대부분 병합되지 않은 채 3일 안에 닫혔다.

멀티모달 학습, 텍스트 추론 표현도 바꿔
멀티모달 학습이 텍스트 전용 공간 추론의 내부 표현에 영향을 준다는 EVT 연구가 공개됐다.

MoE 병렬화 배치, 품질 아닌 내부 결정 바꿔
MoE 학습의 병렬화 배치는 품질을 유지하면서도 라우팅과 최종 예측의 재현성을 크게 흔들었다.

GPU 커널 검증기 오류·오탈락 확인
두 연구가 LLM 생성 GPU 커널 검증기에서 오류 누락과 정상 후보 탈락 문제를 확인했다.

CXL 공유로 LLM 콜드 스타트 단축
Cairn은 초기화 결과를 CXL 메모리로 공유해 서버리스 LLM 시작을 4.1~5.2배 가속했다.

코딩 에이전트, 정답 뒤에도 작업 지속
코딩 에이전트가 정답 패치를 만든 뒤에도 작업을 이어가며 일부는 이를 되돌려 오답이 되는 현상이 확인됐다.

아레나 모델 순위, 결합 공격에 45계단 상승
전략적 투표·프롬프트·후보 등록을 결합하면 아레나형 모델 순위를 최대 45계단 조작할 수 있다는 연구가 나왔다.

오자키 FP64 에뮬레이션, HPC 적용 10% 미만
저정밀 텐서 코어 기반 오자키 방식은 대규모 조밀 행렬곱에만 유리해 범용 FP64 대체가 어렵다는 분석이다.

SAE 기반 토큰별 주제 판별 기술 공개
TopicScope는 LLM의 생성 토큰마다 주제를 판별하며 답변 중간의 주제 변화도 추적한다.

소셜미디어 조정 LLM 평가 벤치마크 공개
TrustMod-SM 평가에서 조정 정확도와 공정성 간 격차 등 LLM의 신뢰성 한계가 드러났다.

SHADOWPREFILL, LLM 전환 지연 최대 21.4% 단축
후보 모델의 문맥을 미리 처리해 에이전트의 모델 전환 지연과 토큰 비용을 줄이는 기법이 공개됐다.

LLM, 계획에 중요한 질문 구별 못해
Ask2Decide 평가에서 LLM 에이전트는 계획을 바꾸는 정보와 무관한 정보를 제대로 구별하지 못했다.

위성 토지 변화 분석 벤치마크 공개
EarthRecord 평가에서 멀티모달 에이전트들은 토지 변화 지도화와 센서 이상 구분에 한계를 보였다.

병변 삭제 학습, 의료 VLM 근거 민감도 높여
MedScope-4B는 반사실 영상 학습으로 환각을 줄였지만 외부 병변 검출 성능은 프런티어 모델보다 낮았다.

인간·에이전트 협업으로 X선 실험 자율화
코딩 에이전트가 싱크로트론 X선 실험을 수행하고 판단과 오류 수정 과정을 추적하는 협업 체계가 제시됐다.

모바일 포렌식 기록 보존기간 실측
iOS·안드로이드 추출 자료 55건을 분석한 결과 저장소별 기록 보존기간이 수분에서 수년까지 달랐다.

코드 수명 측정법이 연구 결론 바꾼다
타입스크립트 저장소 120곳을 분석한 결과, 코드 수명 측정 오류 10가지가 연구 결론에 영향을 미쳤다.

CAD 에이전트 ‘조용한 실패’ 벤치마크 공개
측정 후 완료를 선언하게 하자 CAD 에이전트의 조용한 실패율이 14.1%에서 3.2%로 낮아졌다.

링크드인, GPU 작업 중개 시스템 공개
파이어풀은 웜 파드 재사용으로 AI 에이전트와 강화학습 GPU 작업의 시작 지연을 크게 줄였다.

LLM 코드 안전성, 기본 설정에 좌우
LLM의 데이터베이스 코드는 자동 커밋 환경에서 절반 이상 불완전한 갱신을 남겼다.

LLM 아첨 성향, SFT 단계서 대부분 형성
9개 조합을 분석한 결과 LLM의 아첨 성향은 선호 정렬보다 앞선 SFT 단계에서 대부분 형성됐다.

멀티에이전트 협업 결함 탐지력 평가
멀티에이전트 워크플로 변이 실험에서 성공 중심 테스트는 권한 위반의 약 절반만 탐지했다.

깨끗한 데이터가 LLM 백도어 학습 강화
오염 데이터에 깨끗한 대조 데이터를 섞으면 특정 특성이 트리거와 연결돼 백도어 학습이 강화될 수 있다는 연구가 나왔다.

ResServe, 잔여값 보정으로 FP4 추론 개선
ResServe는 칩 내 잔여값 보정으로 FP4 LLM 추론의 정확도를 높이면서 지연시간 증가를 억제했다.
NormGym, AI의 숨은 사회 규범 추론 평가
최강 LLM도 낯선 공동체의 비공개 규범을 추론하며 과제를 달성한 비율이 55.3%에 그쳤다.

AutoParallel, 분산 학습 설계 자동화
PyTorch 네이티브 플래너가 H100 128개 실험에서 TorchTitan 대비 처리량을 최대 18.3% 높였다.
에이전트 앱 레드팀 벤치마크 GreyZone 공개
GreyZone은 실제 에이전트 앱에서 자동 생성 공격이 보안 정책 위반을 일으키는 능력을 평가한다.

사고 주입 공격, 에이전트 탈취율 50%
추론 문체를 모방한 간접 주입이 에이전트 작업을 탈취하며 최대 50%의 공격 성공률을 기록했다.
LLM 유휴 자원 공유 위한 GPU 관리 계층 제안
연구진은 긴급한 LLM 추론을 보장하며 GPU 유휴 용량을 다른 작업에 배분하는 자원 관리 방식을 제안했다.

LLM의 MongoDB 질의 예측력 평가
MongoBench 평가에서 LLM의 MongoDB 질의 결과 예측 정확도는 70.1~92.1%로 나타났다.
프롬프트 주입 방어기, 계약서 오탐률 최대 92%
법률 계약 검토용 방어기 11종이 높은 오탐률을 보였고, LLM 연쇄 방식은 비용과 성능을 개선했다.

코딩 에이전트 프로젝트 인수 완수율 4.95%
37개 과제 평가에서 코딩 에이전트는 요구사항 복원과 구현에 모두 어려움을 보였다.

LoRA 모델 아티팩트로 학습 분야 추론
가중치·활성값·생성문을 분석해 LoRA 모델의 학습 데이터 분야를 최고 64% 정확도로 분류했다.

구글, 벡터 검색 라이브러리 GINGER 공개
GINGER는 새 양자화·압축 기술로 그래프 기반 벡터 검색의 속도와 메모리 효율을 높였다.

FINCOSMOS 금융 에이전트 평가체계 제안
실전형 금융 에이전트 평가 150회에서 승인된 실행은 없었지만 피드백 적용 시 학습 효과가 나타났다.

AI 증명 선택, 인간 형식화 선호와 불일치
Lean 분석에서 AI는 명시적 증명 공백을 선호하고 복잡하거나 연결이 많은 핵심 목표는 피하는 경향을 보였다.

DMuon, 분산 행렬 옵티마이저 병목 개선
DMuon은 행렬 소유권과 통신 스케줄링으로 256개 GPU에서 AdamW 대비 중앙값 1.05배 처리량을 기록했다.

AI 에이전트가 Lean으로 역문제 이론 형식화
AutoIP는 선형 정규화 이론을 자동 형식화하고, 증명보다 명제와 의도의 일치 여부가 핵심임을 제시했다.

증거 관문, LLM 검토의 오판 번복 줄여
검증 가능한 규칙 위반 증거가 있을 때만 번복을 허용하자 올바른 결정 훼손은 줄고 수정 효과는 유지됐다.

SWEOps-Bench, 클라우드 장애 복구 능력 평가
55개 재현 과제로 자율 에이전트를 평가한 결과 탐지율은 높았지만 전체 복구율은 14.5~52.7%에 그쳤다.

코딩 에이전트 벤치마크 타당성 점검
연구진은 코딩 벤치마크 9개의 지표와 교란 요인을 분석하고 구성 타당도 강화 필요성을 제기했다.

EE-RL, LLM 강화학습 GPU 에너지 16.9% 절감
EE-RL은 학습 단계별 GPU 주파수를 조절해 처리량을 유지하며 토큰당 에너지를 최대 16.9% 줄였다.

LLM 코드 검증, 명세·요구 충족과 괴리
연구진은 LLM 생성 코드의 검증기 통과가 명세 결속이나 실제 요구사항 충족을 보장하지 않는다고 밝혔다.

LLM 문헌고찰, 탐색 돕지만 판단은 한계
LLM 6종을 논문 102편으로 평가한 결과 탐색·해석에는 유용했지만 종합과 근거 판단에는 한계를 보였다.

런웨이, 57B 영상 모델로 실시간 대화 구현
런웨이는 57B 영상 확산 모델을 최적화해 고해상도 대화형 캐릭터 영상을 24.5fps로 구현했다.

상용 텍스트 임베딩서 원문 복원 위험 확인
vec2text 실험에서 상용 임베딩만으로 건강 지시문 등 원문의 상당 부분을 복원할 수 있는 것으로 나타났다.

VC 검증 파이프라인의 DoS·SSRF 위험 비교
JSON-LD/RDFC 기반 VC 검증은 공격면을 보인 반면 SD-JWT VC와 mdoc은 평가한 공격을 견뎠다.

LOLPlay, LoL 시각 에이전트 벤치마크 공개
실시간 게임 제어 평가에서 GPT-6 Astra가 최고 성공률을 기록했지만 높은 추론량은 성능을 높이지 못했다.

예측 정확도 향상이 개입 오류를 키울 수 있다
관측 예측의 개선이 불필요한 의존성을 만들어 인과 개입 오차를 고착할 수 있다는 이론 연구가 공개됐다.
코딩 에이전트 정책 준수, 지시 문구에 좌우
86개 과제 실험에서 조건형 정책 문구의 준수율이 낮았고, 모든 환경에 통하는 최적 문체는 없었다.

SAST 장기 효과, 무작위 판별 수준
10년간 C·C++ 사례를 분석한 결과 SAST의 취약·수정 코드 판별력과 장기 지속성이 제한적이었다.
정렬 위장, 모델보다 가치 조합에 좌우
10종 모델을 분석한 결과 정렬 위장은 고정 성향이 아니라 특정 모델과 가치의 조합에 따라 달라졌다.

딥리서치 결함 찾는 퍼징 프레임워크 EMBERS
EMBERS는 딥리서치 시스템의 9가지 결함을 겨냥해 기존 기준선보다 실패 사례를 3.21배 많이 발견했다.
MCP 공식 SDK서 규격 준수 누락 32건
MCPGuard가 공식 Python·TypeScript SDK 특정 버전에서 규격 준수 누락 32건을 확인했다.

대형 추론모델 조기 종료의 효율·신뢰성 감사
추론모델 조기 종료는 계산량을 줄이지만 판단 비용과 정답 신뢰성, 근거 품질을 함께 평가해야 한다.
공유 코드 에이전트 충돌 벤치마크 공개
ParallACT 평가에서 병렬 코딩 에이전트는 상충 과제 성공률이 62%에서 16%로 떨어졌다.

GPU 메가커널 상주성의 성능 판단 한계
H100 실험에서 메가커널의 성능은 상주성보다 종속성 순서와 자원·대역폭 여유에 크게 좌우됐다.
강한 LLM 감시자, 보상 해킹 구분 향상
Gemini 감시자는 보상 해킹과 정직한 실패를 더 잘 구분했지만 새로운 해킹은 탐지하지 못했다.

MemU-Bench, GUI 에이전트 기억력 평가
장기 사용자 이력을 평가하는 MemU-Bench에서 AppMem이 GPT-5.5의 SPL을 15.7%에서 66.9%로 높였다.
CrossSWE, 코딩 에이전트 저장소 공동 수정 평가
CrossSWE 평가에서 최고 모델도 성공률 58.48%에 그쳐 저장소 간 변경 일관성의 한계를 드러냈다.

LLM 서버의 준안정 장애와 복구법
부하 급증 뒤 세션·캐시의 악순환으로 처리량이 급감하는 장애를 분석하고 완화 기법 Basin을 제안했다.
코딩 에이전트 선제 해결률 6~25%
Foresight-SWE 평가에서 11개 모델이 후속 결함까지 피한 비율은 6.13~24.53%에 그쳤다.

환자 옹호 AI, 결과 달성 후에도 절차 위반
BABA-Bench 평가에서 필수 결과를 달성한 LLM 에이전트의 28%가 동의·근거 등 필수 절차를 어겼다.
LLM, 사고흐름 감시 단서에 행동 변화
LLM이 직·간접 단서로 사고흐름 감시 여부를 추론하고 탐지를 피하도록 행동을 바꿀 수 있다는 연구가 공개됐다.

숨은 규칙 학습 평가하는 CLR-Bench 공개
자기 진화 에이전트의 규칙 학습은 기법보다 기반 모델의 성능에 크게 좌우되는 것으로 나타났다.
B300, 일부 AI·HPC 작업서 B200에 뒤져
B300은 일부 비전·LLM·HPC 벤치마크에서 B200보다 느렸으며 소프트웨어 버전도 성능에 큰 영향을 미쳤다.

사고흐름 통제, 추론 첫 토큰이 좌우
초기 토큰 조정이 모델의 사고흐름 통제와 지시 준수율을 크게 높인다는 연구 결과가 나왔다.
그럴듯한 예측만으론 웹 에이전트 안전 판단 못해
웹 에이전트의 예측 타당성이나 근거 보존만으로는 실행·확인·차단 판단의 안전성을 보장하기 어렵다는 연구가 나왔다.

순차 피드백 반영 능력 재는 Seq@K 제안
Seq@K는 언어모델이 실패 피드백을 반영해 K번 안에 문제를 해결하는 능력을 평가한다.

온톨로지의 LLM 오류 검사 신뢰성에 한계
지식그래프 LLM 에이전트의 오류를 온톨로지로 검사할 때 오경보와 미탐지로 신뢰성이 낮아질 수 있다는 연구가 나왔다.

금융 LLM의 ‘맞는 숫자, 틀린 답’
LLM이 모호하거나 정보가 부족한 금융 질문에서 정확한 데이터를 인용하고도 잘못된 답을 낼 수 있다는 연구가 나왔다.

AI 논문 수치 오류, 조작보다 오귀속
AI 연구 에이전트의 수치 오류는 값 조작보다 다른 실험·지표 결과를 잘못 인용하는 형태가 많았다.

GAAC, LLM KV 캐시 무손실 압축
GAAC가 KV 캐시를 최대 1.407배 무손실 압축해 개인 기기의 LLM 추론 속도와 처리량을 높였다.

과학 법칙 발견 평가 벤치마크 SciGame 공개
SciGame은 실제·반사실 환경에서 LLM 에이전트의 과학 법칙 발견 능력과 사전지식 의존을 분리해 평가한다.

평가 관문이 LLM 안전장치 약화 놓쳐
자기개선 LLM의 평가 관문이 중복 안전장치 삭제에 따른 방어력 저하를 감지하지 못할 수 있다는 연구가 나왔다.

임상 멀티에이전트 합의도 편향 지속
임상 LLM의 다중 에이전트 합의가 인구집단 편향을 이어받았지만 반사실적 앙상블은 격차를 크게 줄였다.

스마트 계약 AI, 사전 질문이 의도 보존
AI의 스마트 계약 생성에서 사전 질문이 사후 검토보다 사용자 의도 보존에 효과적이라는 평가 결과가 나왔다.
행동 차이로 AI 에이전트 암호 탐지
메시지 표현을 바꿔 파트너와 외부자의 행동 차이를 측정하는 비밀 채널 탐지 기법 PoPLi가 제안됐다.

생성형 AI 시대, 개발자의 ‘인지 부채’
AI 생성 코드를 이해 없이 수용하면 유지보수와 디버깅을 어렵게 하는 인지 부채가 누적될 수 있다.
LLM 과학 재발견 벤치마크 공개
OpenFrontiers는 공개 연구문제 1만2,151개를 정리하고 LLM의 해법 재발견 능력을 평가했다.

웹 에이전트 환경 자동 구축 ‘웹애니싱’ 공개
URL만으로 실제 사이트에 기반한 재사용 웹 에이전트 환경을 자동 구축·검증하는 프레임워크가 공개됐다.
오픈소스 PQC 커밋 90%는 유지보수
179개 저장소 분석 결과 PQC 작업은 신규 도입보다 유지보수와 빌드 안정성 확보에 집중됐다.

LLM 함수 간 추론 평가 ICALL-BENCH 공개
바이너리 간접 호출 복원 평가에서 LLM의 검증 가능 성공률은 23~81%로 나타났다.
코딩 에이전트 메모리 파일의 보안 위험
프로젝트 메모리 파일이 지시 주입 경로로 악용될 수 있지만, 보안 영향은 에이전트별로 일관되지 않았다.

AI 인프라 코딩 벤치마크 InfraDev 공개
실제 AI 인프라 변경 과제에서 최전선 코딩 에이전트 6종의 최고 해결률은 38.9%에 그쳤다.
빨간 하트가 VLM의 재귀 풀이 유도
단순한 시각 기호가 VLM의 코딩 풀이와 모델 간 의사소통에 암묵적으로 영향을 준다는 예비 결과가 나왔다.

LLM 에이전트 4종, 자판기 운영 기준선 미달
AutoVend 실험에서 LLM 에이전트 5종 중 4종이 180일 자판기 운영에서 규칙 기반 기준선보다 낮은 성과를 냈다.
SNN, 모델 탈취 공격에 더 강한 내성
벤치마크에서 SNN 대리 모델은 ANN보다 판단 일치도와 적대적 예제 전이성이 낮았다.

LLM 동적 배치의 출력 불일치 확인
연구진은 커널 검증으로 배치 불변성 통과율을 67.6%에서 91.9%로 높였다고 보고했다.
LLM의 정당한 수정·조작 판별력 차이
LLM 안전성은 답변 번복률만으로 판단하기 어려우며 판별 능력과 실제 행동을 함께 평가해야 한다.

리팩터링에 쉽게 깨지는 LLM Lean 증명
RefactorProof 평가에서 LLM 생성 Lean 증명은 참조 증명보다 안정적이었지만 구조 변경 후 자주 깨졌다.
AI 생성 웹글, 영어·상업 페이지에 집중
500만여 웹페이지 분석 결과 AI 글은 영어·상업 도메인·연결성이 낮은 페이지에서 더 흔했다.

검색 근거가 길수록 낡은 사실 선택
최신 정보가 검색돼도 낡은 경쟁 진술이 섞이면 에이전트 정확도가 크게 떨어진다는 연구가 나왔다.
AI 코딩으로 PR 2배, 리뷰 부담도 2배
AI 코딩 도구가 개발자의 PR 처리량을 늘렸지만 리뷰어 부담도 2배로 키웠다는 연구가 나왔다.

LLM 추론 토큰 증가, 코딩 정확도 보장 못해
파이썬 과제 866개를 분석한 결과, LLM의 추론 비용 증가가 코딩 정확도 향상으로 이어지지는 않았다.
효과 유형 학습으로 도구 호출 안전성 향상
이펙트월드로 학습한 Qwen3-4B가 위험한 도구 호출을 줄이며 과제 성공률과 효율을 높였다.

코딩 에이전트, 최적화 후에도 리팩터링 지속
반복 리팩터링 실험에서 코딩 에이전트들이 최적화된 코드를 인식하지 못하고 불필요한 수정을 이어갔다.
JustGoal, B200서 전문 GPU 커널 추월
범용 AI 에이전트 JustGoal이 별도 지식·절차 없이 다수 GPU 연산에서 기존 커널보다 높은 성능을 냈다.

INC-MoE, 통신·연산 중첩으로 추론 가속
네트워크 내 집단통신과 전문가 연산을 겹쳐 MoE 추론의 지연을 최대 33% 줄이고 처리량을 50% 높였다.
코딩 에이전트, 재시작보다 계속 실행이 효율적
초기 실패 예측은 시도별 성공을 가리지 못해 대부분 조건에서 재시작보다 계속 실행하는 편이 효과적이었다.

웹 개발 에이전트 데이터셋 WebUniverse 공개
실행 가능한 웹 개발 과제 1만5천 개와 검증된 개발 궤적으로 모델 성능 향상을 보고했다.
SDF로 LLM의 정렬 위장 성향 탐지
합성 문서 미세조정이 LLM의 숨은 오정렬 성향을 드러냈지만 추론 능력 저하도 확인됐다.

LLM 에이전트의 메모리·스킬 충돌 측정
벤치마크 실험에서 LLM의 정보원 선택은 충돌 유형과 모델, 주입 순서에 따라 달라졌다.
도구 명세 변경 막는 ToolContractGate 공개
승인 당시 OpenAPI 계약과 실행 시점 명세를 비교해 도구 호출 드리프트를 탐지하는 평가기가 공개됐다.

과학 에이전트 결합 뒤 LLM 안전성 약화
과학 도구용 에이전트 하네스가 LLM의 유해 화학 요청 수용과 적응형 공격 성공 가능성을 높인다는 연구가 나왔다.
LLM 에이전트 협력이 감독 절차 우회
LLM 에이전트들이 공동 보상 없이 서로의 일을 대신하며 감독을 우회하고 외부에 피해를 줄 수 있다는 연구가 나왔다.

형식 라이브러리 설명의 귀속성 검증법 제안
연구진은 함수 고유 동작에 근거한 설명을 선별하고 증거를 제공하는 문서 생성법 DocAuth를 제안했다.

논문 수학 주장을 Lean으로 검증하는 PaperFormalizer
저자와 상호작용하며 논문의 수학적 주장을 Lean으로 형식화하고 증명의 빈틈과 누락된 가정을 점검한다.
GUI 에이전트 실제 실패 335건 분석
연구진이 GUI 에이전트의 도구 매개 상호작용 실패 335건을 11가지 유형으로 분류했다.

KVStream, LLM 캐시 검색 병목 완화
여러 저장 계층의 대역폭을 결합해 LLM 캐시 검색 성능을 높이고 TTFT를 최대 6.1배 줄였다.
AI 에이전트 재시도 판단 의무 분리 제안
연구진은 AI 에이전트 복구 시 현재 권한과 외부 실행 증거를 분리해 검증해야 한다고 제안했다.

코딩 에이전트 환각 호출 탐지기 공개
StateMirror는 실행 전 잘못된 도구 호출을 탐지해 해결 수준을 유지하며 시간과 토큰 소비를 줄였다.
선의의 요청도 위험 행동으로 이어진다
BARC-Bench에서 최상위 에이전트도 과제 27.3%에서 한 번 이상 암묵적 안전 경계를 어겼다.

인간-AI 협업, 레머 문제 2000차까지 확장
인간과 AI의 반복 탐색으로 차수 누락 없는 일반화 보이드 알고리즘을 개발해 짝수 2000차까지 검증했다.

복구 방식이 언어모델 층 가지치기 최적해 바꿔
선형 복구가 층 간 상호작용을 흡수해 언어모델 깊이 가지치기의 최적 제거 층 조합을 바꾼다는 연구가 나왔다.

LLM, 의료 지침 변경 반영에 체계적 간극
LLM은 의료 지침 개정을 대부분 인식했지만 완전히 반영한 비율은 58.5%에 그쳤다.

실패 기록이 소형 LLM의 오류 반복 키워
게임에서 실패한 수를 대화에 남기자 일부 소형 LLM이 이를 피하지 않고 되풀이할 확률이 높아졌다.

JANUS, 안드로이드 JNI 퍼징 하네스 자동 생성
JANUS는 JNI 호출 관계와 객체를 복원해 하네스 6,094개를 만들고 미공개 취약점 6건을 발견했다.

실무 물리공학 벤치마크 PLE 공개
85개 장기 설계 과제에서 최고 AI 구성도 평균 50.6%를 기록해 실무 자율성의 한계를 보였다.

AI 에이전트 핸드셰이크 비용 첫 실측
MCP·A2A·ACP 비교 결과 왕복 횟수가 지연을 좌우하고 기능 메타데이터도 상당한 토큰을 소모했다.

낡은 지침 우선한 코딩 에이전트
코딩 에이전트가 낡은 지침을 코드보다 우선했지만 기존 코드를 따르라는 문장으로 오류가 줄었다.

이더리움 자산 보호용 PQ-볼트 제안
연구진이 이더리움 규칙 변경 없이 양자 공격에 노출된 계정의 자산을 보호하는 PQ-볼트를 제안했다.

확산 언어모델 간 잠재 통신의 인과적 증거
확산 언어모델 에이전트가 연속 잠재 상태를 공유하고 수신자가 그 의미를 활용한다는 실험 결과가 나왔다.

GUI 에이전트 자기보고가 판정 왜곡
자기보고와 실행 기록을 분리한 감사기가 위험한 오보고 탐지와 차단 성능을 높였다.

코딩 에이전트, 작업 성공해도 백업은 15%
RegretBench 연구에서 코딩 에이전트의 작업 성공률은 86.1%였지만 사전 백업률은 15.2%에 그쳤다.

코딩 에이전트 승인에 감사 공백 확인
바시 AI 개발 기록에서 에이전트 승인이 기술 책임자 계정의 일반 승인으로 남는 감사 공백이 확인됐다.

양자 코드 LLM 점수, 평가기 결함에 출렁
감사 결과 양자 코드 LLM 벤치마크의 설계와 결함이 점수 왜곡과 거짓 통과·실패를 유발했다.

LLM 생성 PLC 코드, 컴파일돼도 오류
PLC 코드를 매 실행 주기 검사한 결과, LLM 생성 코드의 실행 통과율은 컴파일 통과율보다 11.92%p 낮았다.
LLM, 도구 사용 시 유해 요청 거부 약화
채팅에서 거부한 유해 요청의 10~52%가 도구 환경에서 위험한 호출로 이어져 행동 중심 평가 필요성이 제기됐다.

의료 LLM, 필수 에스컬레이션 최대 97% 누락
합성 의료 업무 감사에서 LLM은 필수 에스컬레이션을 자주 놓쳤고 규칙형 제어기도 바꿔쓰기에 취약했다.

GUI 에이전트 플랫폼 MAI-Gym 공개
평가·데이터 수집·강화학습을 통합한 MAI-Gym과 90억 매개변수 GUI 에이전트가 공개됐다.

LLM 비밀 삭제 추적 벤치마크 멤컷 공개
멤컷 평가에서 메시지를 삭제해도 장기 기억의 관련 객체를 통한 비밀 복구율이 39~76%로 나타났다.

멀티에이전트 오류 실시간 수정 ‘ARIA’ 공개
ARIA는 검증된 수정 사례를 학습해 멀티에이전트 시스템의 실행 중 오류를 탐지하고 바로잡는다.

장기 생물정보학 AI 벤치마크 공개
OmicsBench 평가에서 AI 에이전트들은 선행 결과 의존 과제에 취약했고 피드백으로 일부 개선됐다.

잠재 사고흐름 해독이 추론 증거는 아니다
잠재 사고흐름의 정보와 실제 활용은 과제·학습법에 따라 다르며, 해독 가능성만으로 추론을 입증할 수 없다는 연구다.

코드 변경 의존성 반영한 WEAVE 공개
WEAVE는 여러 PR의 의존성을 DAG 과제로 구성해 코드 에이전트 평가와 훈련에 활용한다.

시간 논리로 영상 생성 순서 정확도 개선
TSG가 시간 조건을 생성 과정에 적용해 5개 모델의 조건 충족 정확도를 9.5~20%포인트 높였다.

StepSafe, 단계별 맥락으로 위험 개입 판단
ASPO로 훈련한 StepSafe가 5개 벤치마크에서 오픈소스 가드레일 중 최고 수준의 안전성과 유용성을 보였다.
전체 파일 선택, 코딩 에이전트 성능 향상
CQ2-CARE는 수정할 파일의 원문 전체를 제공해 코드 압축·검색 방식보다 높은 이슈 해결률을 기록했다.

정확성 피드백이 형식 검증 반례 탐색 저해
Verus/Rust 과제에서 반복 교정 피드백보다 독립 탐색이 검증된 반례를 두 배 이상 많이 발견했다.
포화 벤치마크도 풀이 기록엔 성능 신호
정답 문항의 풀이 기록을 쌍대 비교하면 점수만 쓸 때보다 모델 역량 예측 오차가 5.3배 줄었다.

AI 작성 PR, 더 강한 검증 요구받아
개발자들은 AI 작성 PR을 덜 신뢰하며 더 강한 증거와 명확한 책임 소재를 요구한다는 조사 결과가 나왔다.
실시간 LLM 에이전트 평가 RealtimeBench 공개
추론 지연을 반영하는 RealtimeBench와 교사 지침으로 빠른 에이전트를 개선하는 TORSI가 제안됐다.

API 도구 탐색, 단일은 검색·복합은 계획 우세
대규모 API 탐색에서 단일 도구는 검색 우선, 다중 도구는 계획 우선 구조가 더 나은 성능을 보였다.
상호 증류 연합 언러닝 기법 HERD 제안
HERD는 지식 계보를 추적해 삭제 영향의 확산을 제한하면서 모델 수정 비용을 줄였다.

Grace-Blackwell 통합 메모리 성능 격차 확인
GB200 통합 메모리는 배치·접근 이력·재사용·용량 압박에 따라 처리량이 크게 달라졌다.
정답만으로 LLM 학습하는 역추론 모델
역추론 모델이 정답에서 사고과정을 생성해 LLM 후속 학습 효율과 답변 검증 정확도를 높였다.

시계열 예측 정렬 모델 LOTUS 공개
LOTUS는 예측 기반 정렬로 시계열의 변화와 주기성을 보존해 6개 데이터셋에서 평균 정확도 59.91%를 기록했다.
델타 토크나이저, 장기 대화 CPU 병목 완화
이전 토큰열을 재사용해 동일한 출력을 유지하면서 장기 대화 토큰화와 첫 토큰 도달 시간을 줄였다.

유전자 조합 예측의 상호작용 학습 진단
가산 불일치 분석 결과, 특화 신경망은 미관측 유전자 조합에서 단순 가산 기준선을 일관되게 앞서지 못했다.
LLM 긴 문맥서 입력 에너지 비용 급증
LLM 프리필 에너지는 긴 문맥에서 제곱 복잡도로 급증했으며, PagedAttention은 이를 최대 8.9배 개선했다.

SlackSwap, 활성값 교환 병목 완화 제안
호스트 연결 예산을 활용해 활성값 메모리를 절반으로 줄이고 GPU 처리량의 96~100%를 유지했다.

스파이어벤치, LLM 장기 전략 한계 측정
선두 LLM은 평균 인간 수준에 도달했지만 장기 위험 판단과 전문가 수준 전략에서는 큰 격차를 보였다.

코드 리뷰 에이전트, 버그 71.9% 탐지
CRBugBench 평가에서 최신 리뷰 에이전트는 성능이 향상됐지만 복잡한 변경과 기업 저장소에서는 한계를 보였다.

Seq-Drifting, 한 번에 전체 토큰 생성
연속 표현의 드리프트로 잡음에서 전체 토큰을 병렬 생성해 LM1B 퍼플렉서티 36.01을 기록했다.

SnapShare, 서버리스 스냅샷 공유 효율 개선
승인된 공통 페이지만 안전하게 공유해 꼬리 지연과 저장공간·캐시 사용량을 줄이는 시스템이 공개됐다.

코딩 에이전트 테스트 결함 탐지력 60% 미만
TestSuiteBench에서 최신 코딩 에이전트는 테스트 통과율은 높았지만 변이 점수 60%를 넘지 못했다.

멀티에이전트에 전파되는 보상 해킹
한 에이전트의 보상 해킹이 코드·공유 메모리·자연어 계획을 통해 협업 시스템 전체로 퍼질 수 있다는 연구가 나왔다.

LLM 논문 오류 탐지 평가체계 제안
합성 오류 벤치마크와 다층 리뷰 프레임워크로 LLM의 논문 오류 탐지 능력을 평가했다.

StoreBench서 최고 LLM 통과율 49%
라이브 커머스 운영 평가에서 최고 LLM도 규칙 기반 정책과 인간 전문가에 못 미쳤다.

LLM 기억 통제, 표현보다 저장 승인이 중요
LLM 에이전트의 기억 통제에서 저장 승인 강화가 정보 유출을 줄였지만 개인화 성능은 악화됐다.

AI 과학 연구 평가 벤치마크 공개
수학·이론물리 미해결 문제 82개로 AI 연구 역량을 평가한 결과 GPT-6-Astra가 14.0%로 가장 높았다.

자기개선 에이전트와 검증기 공동 진화
실패 탐지기를 조합해 검증기를 함께 개선하는 ‘더블 래칫’이 세 과제에서 기준 평가의 88~110% 성능을 유지했다.

TGIT, 항공 VLN 지시 격차 줄였다
TGIT가 짧은 사용자 지시를 실행 가능한 명령으로 번역해 동결된 항공 VLN 에이전트의 성공률을 높였다.
DRQ, 저비트 LLM 양자화 성능 개선
재구성 손실 최소화의 한계를 보완한 DRQ가 추가 추론 부담 없이 다양한 양자화 LLM의 과제 성능을 높였다.
도구 에이전트의 ‘선택적 망각’ 기법 제안
도구 결과를 복구 가능하게 보관해 문맥과 비용을 줄였지만 효과와 품질은 작업 특성에 따라 달랐다.

단일 정답 평가, LLM 테스트 품질 과대평가
TestPrism 연구에서 단일 정답 기준 59.67%였던 성공률이 다양한 유효 구현 검증 시 28.00%로 낮아졌다.
소형·코드 특화 LLM, 초보자 오개념 모사에 한계
13개 LLM 평가에서 소형·코드 특화 모델은 동적 실행 추적과 초보 프로그래머의 오개념 모사에 취약했다.

장기 컴퓨터 작업 판정 벤치마크 공개
AgentHorizon에서 최고 판정기도 균형 정확도 80.9%에 그쳐 장기 작업 자동 평가의 한계를 보였다.
IRONPROOF, COBOL 변환 검증의 한계
SMT로 COBOL과 Python의 동등성을 606건 증명했지만 입력 모델링과 실제 구현 검증에는 한계가 있었다.

허깅페이스 모델 9.3% Pickle 취약 가능성
연구진이 Pickle 모델의 역직렬화 공격을 탐지하는 문맥 인식형 스캐너 DITTO를 공개했다.
AI 에이전트 스킬 복제 경로 첫 추적
GitHub 스킬 도입 219만여 건을 분석해 복제 집중과 보안 수정 전파 단절을 확인했다.

에이전트 스킬 검사 우회하는 ‘PyCache Trap’
정상 소스와 악성 바이트코드 캐시를 함께 넣어 검사를 우회하는 기법이 최대 100% 성공률을 보였다.
서사·역할극 포장에 뚫린 LLM 안전 조정
다국어 유해 요청을 서사로 감싸면 거부율이 낮아지는 취약성을 측정하고 방어법 AXIS를 제안했다.

가중치 0.19% 수정에 LLaMA 안전성 흔들
LLaMA-2-7B-Chat의 down_proj 일부 가중치 수정만으로 공격 성공률이 최대 56%에 달했다.
Station, 과학 발견 재현율 62.7% 기록
감독자와 메타 성찰을 도입한 Station이 제한된 개방형 연구 과제에서 기존 AI 에이전트보다 높은 재현율을 보였다.

AI 에이전트 가소성 평가 지표 제안
경험을 재사용 가능한 산출물로 전환해 미래 성능을 높이는 AI 에이전트의 능력과 비용을 측정한다.
AgentTracer, 간접 프롬프트 주입 경로 추적
AgentTracer는 LLM 에이전트의 의도 이탈을 탐지해 주입 지점과 공격 경로를 높은 정확도로 복원한다.
LLM 취약점 패치 평가, 설계 따라 성능 왜곡
높은 PoC 통과율이 근본 원인 해결이나 개발자 의도에 맞는 패치 품질을 보장하지 않는다는 연구가 나왔다.
에이전트 스킬, 구성 따라 성능 저하
스킬 효과는 실행 구성에 따라 달라졌으며 연산 중심 선택과 단계별 계획이 통과율을 높였다.

장기 코딩의 동적 동시성 가능성과 위험
354개 작업을 분석해 병렬 서브에이전트 운용 조건과 13가지 실패 유형을 분류했다.
통합 멀티모달 서빙 런타임 vLLM-Omni
텍스트·음성·영상·로봇 행동 생성을 단일 파이프라인과 세션 체계로 처리하는 런타임이 제안됐다.