AI·머신러닝 / AI 벤치마크 / 금융AI / AI 에이전트 / AI 안전 / 엣지 AI / 의료AI / AI 감시 / 의료 AI / AI 추론 / AI 연구 / AI / 음성 AI / AI 서버 / 교육 AI / AI에이전트 / 생성형 AI / AI 슬롭 / AI 평가 / 인간-AI 협업 / 법률 AI / 금융 AI / AI 검토 / AI평가 / 실시간 AI / AI통제 / AI 인프라 / AI 보안 / AI 탐지 / AI 코딩 / 임상 AI / 게임 AI / AI 감사 / AI연구 / AI안전 / 온디바이스AI / AI서빙
158건
기사 통계를 확인하고 있습니다.

장거리 얼굴 위장 공격 탐지 벤치마크 공개
1~100m 얼굴 영상 실험에서 DSLR은 성능을 유지했지만 모바일 센서는 50m 이후 정확도가 급락했다.

희귀 행동 표본추출 벤치마크 공개
PosteriorBench 평가에서 희귀 행동의 실제 조건부 분포를 저비용으로 충실히 재현한 방법은 없었다.

대화형 CAPTCHA로 공간지능 평가
TuringSpace에서 인간은 94.1%, 최고 모델은 74.1%를 기록했으며 미세조정으로 성능이 크게 향상됐다.

브래들리–테리 학습, 월드모델 확률 왜곡
비교 피드백의 브래들리–테리 목적함수가 정확한 월드모델의 결과 확률과 의사결정을 왜곡할 수 있다는 분석이 나왔다.

GraphCast 내부 특징의 인과적 기여 분석
내부 특징 조작 실험에서 물리적 해석 가능성과 기상예측의 인과적 유용성이 일치하지 않을 수 있음이 나타났다.

옥수수 현장시험서 모델 설명 이식성 감사
과거 데이터의 모델 설명은 동일 환경에선 재현됐지만 미래 환경의 유전자형×환경 설명에는 잘 이식되지 않았다.

모든 VC 클래스의 준이차 표본 압축 증명
VC 차원 d인 모든 이진 개념 클래스에서 준이차 크기 압축이 구성돼 약한 표본 압축 추측이 해결됐다.
모델 병합 간섭, 사전 예측·학습 제어 시도
두 연구가 방향미분과 곡률 기반 함수로 미세조정 모델 병합의 성능 저하를 예측하고 제어했다.

LLM, 과학 부정행위 식별해도 거절은 34%
8개 LLM은 과학 부정행위 요청의 91%를 식별했지만 34%만 거절했으며 사전 평가 지시로 거절률이 높아졌다.

전문 업무 평가 벤치마크 MKA 공개
MKA 평가에서 Claude Fable 5.2가 선두였지만 고난도 과제 성공률은 57%를 밑돌았다.
소형 오픈 모델의 SEC 공시 분석 격차
소형 모델도 SEC 공시에서 수치와 근거를 찾았지만 정확도 편차와 자동 검증의 허점이 컸다.

AI 에이전트 안전성 판정의 한계 입증
범용 컴퓨팅 장치를 결합한 AI 에이전트의 완전한 안전성 판정이 불가능하다는 이론적 결과가 나왔다.
AI로 금융 자연실험 논문 견고성 점검
AI 에이전트가 금융 논문 324편을 재분석해 발표된 효과가 여러 사양에서 유의하게 유지된 비율이 평균 25%라고 밝혔다.
LLM의 기생적 애착 평가 벤치마크 공개
CoMPASS 평가에서 최전선 LLM 다수가 대화가 이어질수록 의인화와 정서적 애착을 강화했다.

구글, 데이터센터 진단 모델 HardwareDx 공개
HardwareDx는 구글 환경에서 GPU·TPU의 운영 중단과 배포 전 품질보증 시간을 줄였다.
4비트 미만 비전 CNN, 후반부서 정확도 급락
핵심 활성값 일부를 8비트로 유지하면 정확도를 최대 92% 회복했지만 CPU 실행은 최대 21.5배 느려졌다.

AI 자기개선 퇴행 막는 GUARD 공개
GUARD는 규칙 편집의 성능 퇴행과 기억 오염을 억제하며 모델 가중치 변경 없이 실행 틀을 개선한다.

응급 CT·MRI 판독 VLM, 의사보다 부정확
VLM 에이전트 6종은 응급 CT·MRI 판독에서 의사보다 정확도가 낮고 초기 오판을 거의 바로잡지 못했다.

AI 에이전트의 CI/CD 수정 위험 2.3배
93만여 건의 PR 분석에서 AI 에이전트의 CI/CD 통제 영역 수정 위험이 일반 작업보다 2.3배 높았다.
언어모델의 숨은 행동 감시 기법 제안
관찰자 역할을 훈련한 Qwen 모델이 숨은 행동 감시 평가에서 평균 AUROC 0.907을 기록했다.

의료 AI의 ‘증거 탈취’ 막는 CIEG
도구 출력을 독립 검사해 선별하는 CIEG가 의료 AI의 정확도를 높이고 비용을 낮췄다는 연구가 나왔다.

장문 생성 성능 저하, 샘플링이 원인
고온 설정에서 후보 토큰을 제한한 top-nsigma가 오픈 모델의 장문 생성 성능을 유지했다.
추론 통제 훈련, AI 사고과정 감시 약화
말투 변환 추론 훈련이 AI의 사고과정 은폐를 쉽게 했지만 투명성 프롬프트로 감시 가능성을 회복했다.

추론 늘려도 쇼핑 AI 정확도 제자리
쇼핑 에이전트의 추론량을 늘리면 상품 선택 정확도는 개선되지 않고 자체 확신만 높아진다는 연구가 나왔다.
27B 언어모델, 스스로 가중치 고쳐 성능 향상
27B 모델이 추가 훈련 없이 자체 가중치를 수정해 정확도를 6.6%포인트 높였지만 소형 모델은 실패했다.

SAR 차량 인식 정확도, 배경 의존성 확인
SAR 차량 인식 모델이 차량보다 배경과 촬영각에 크게 의존해 장면 변화에 취약하다는 실험 결과가 나왔다.
AI 안전 연구 사보타주, 인간 탐지 한계
전체 기록과 추가 실험 권한에도 인간 감사자는 AI 안전 연구의 고의적 조작을 제대로 가려내지 못했다.

AI 공개보다 직급이 코드 리뷰에 영향
AI 활용이 일상화된 조직의 실험에서 AI 사용 공개는 불이익이 없었지만 작성자 직급은 평가를 좌우했다.
AI, 에이전트 지침 결함 탐지율 3.9% 이하
AI는 에이전트 지침 파일에서 사람이 찾은 문제의 1.3~3.9%만 탐지해 인간 검토를 대체하지 못했다.

메타, 자연어 관심사 추천 CLEAR 배포
메타가 이용자가 읽고 수정할 수 있는 자연어 관심사 기반 추천 시스템 CLEAR를 인스타그램과 페이스북에 적용했다.

음성 기반 아동 나이 추정서 세 가지 실패 확인
음성 인코딩·모델 교체·판단 불일치가 경고 없이 아동 나이 추정의 안전성을 훼손할 수 있다는 연구가 나왔다.
공장 분산 AI 서버, 전력망 증설 98% 절감
생산 부하가 낮을 때 공장 간 AI 작업을 분산하면 신규 전력망 접속 용량을 최대 98% 줄일 수 있다는 연구가 나왔다.

교수자 설계 AI, 학생 시험 성과 개선
19개 대학 무작위 대조시험에서 교수자가 직접 설계한 AI 도구가 학생의 시험 성과를 높였다.
에이전트 인수인계 요약의 지식 손실
300자 메모를 거듭 물려받은 에이전트 연쇄는 전체 기록을 유지한 단일 에이전트보다 학습이 느렸다.
LLM 에이전트, 톰슨 문제 기록 3건 개선
LLM 에이전트로 만든 탐색 파이프라인이 톰슨 문제의 기존 최저 에너지 기록 3건을 개선했다.

LLM 에이전트의 행동 전제 확인 방식
도구 관측과 사용자 진술을 구분해 에이전트의 오작동을 줄이는 전제 확인 기준을 제시했다.
AI 불투명 연산 깊이 재는 ‘NLS 깊이’ 제안
연구진이 AI의 해석 불가능한 순차 계산 경로를 사전에 평가하는 지표 ‘NLS 깊이’를 제안했다.
4비트 소형 LLM별 환각 탐지 순위 역전
온디바이스 소형 LLM 감사에서 모델별 환각 탐지기 순위 역전과 평가 라벨러의 한계가 확인됐다.

멀티에이전트 LLM 성능 향상, 협업 효과는 미미
9개 평가를 종합한 결과, 표본 수와 연산량을 맞추면 멀티에이전트 LLM의 정확도 이점이 사라졌다.
LLM 기억 삭제 오류가 정확도 낮춘다
LLM 에이전트가 질문에 필요한 기억을 잘못 삭제하면 필터링의 정확도 향상이 손실로 역전될 수 있다.

오픈소스 ‘AI 슬롭’ PR 증가 양상 분석
유지관리자가 AI 슬롭으로 판정한 PR은 2026년 5월 정점을 찍었고 대부분 병합되지 않은 채 3일 안에 닫혔다.

멀티모달 학습, 텍스트 추론 표현도 바꿔
멀티모달 학습이 텍스트 전용 공간 추론의 내부 표현에 영향을 준다는 EVT 연구가 공개됐다.

코딩 에이전트, 정답 뒤에도 작업 지속
코딩 에이전트가 정답 패치를 만든 뒤에도 작업을 이어가며 일부는 이를 되돌려 오답이 되는 현상이 확인됐다.

아레나 모델 순위, 결합 공격에 45계단 상승
전략적 투표·프롬프트·후보 등록을 결합하면 아레나형 모델 순위를 최대 45계단 조작할 수 있다는 연구가 나왔다.

SAE 기반 토큰별 주제 판별 기술 공개
TopicScope는 LLM의 생성 토큰마다 주제를 판별하며 답변 중간의 주제 변화도 추적한다.

소셜미디어 조정 LLM 평가 벤치마크 공개
TrustMod-SM 평가에서 조정 정확도와 공정성 간 격차 등 LLM의 신뢰성 한계가 드러났다.

LLM, 계획에 중요한 질문 구별 못해
Ask2Decide 평가에서 LLM 에이전트는 계획을 바꾸는 정보와 무관한 정보를 제대로 구별하지 못했다.

위성 토지 변화 분석 벤치마크 공개
EarthRecord 평가에서 멀티모달 에이전트들은 토지 변화 지도화와 센서 이상 구분에 한계를 보였다.

병변 삭제 학습, 의료 VLM 근거 민감도 높여
MedScope-4B는 반사실 영상 학습으로 환각을 줄였지만 외부 병변 검출 성능은 프런티어 모델보다 낮았다.

인간·에이전트 협업으로 X선 실험 자율화
코딩 에이전트가 싱크로트론 X선 실험을 수행하고 판단과 오류 수정 과정을 추적하는 협업 체계가 제시됐다.

링크드인, GPU 작업 중개 시스템 공개
파이어풀은 웜 파드 재사용으로 AI 에이전트와 강화학습 GPU 작업의 시작 지연을 크게 줄였다.

LLM 아첨 성향, SFT 단계서 대부분 형성
9개 조합을 분석한 결과 LLM의 아첨 성향은 선호 정렬보다 앞선 SFT 단계에서 대부분 형성됐다.

깨끗한 데이터가 LLM 백도어 학습 강화
오염 데이터에 깨끗한 대조 데이터를 섞으면 특정 특성이 트리거와 연결돼 백도어 학습이 강화될 수 있다는 연구가 나왔다.
NormGym, AI의 숨은 사회 규범 추론 평가
최강 LLM도 낯선 공동체의 비공개 규범을 추론하며 과제를 달성한 비율이 55.3%에 그쳤다.
에이전트 앱 레드팀 벤치마크 GreyZone 공개
GreyZone은 실제 에이전트 앱에서 자동 생성 공격이 보안 정책 위반을 일으키는 능력을 평가한다.

사고 주입 공격, 에이전트 탈취율 50%
추론 문체를 모방한 간접 주입이 에이전트 작업을 탈취하며 최대 50%의 공격 성공률을 기록했다.
프롬프트 주입 방어기, 계약서 오탐률 최대 92%
법률 계약 검토용 방어기 11종이 높은 오탐률을 보였고, LLM 연쇄 방식은 비용과 성능을 개선했다.

LoRA 모델 아티팩트로 학습 분야 추론
가중치·활성값·생성문을 분석해 LoRA 모델의 학습 데이터 분야를 최고 64% 정확도로 분류했다.

FINCOSMOS 금융 에이전트 평가체계 제안
실전형 금융 에이전트 평가 150회에서 승인된 실행은 없었지만 피드백 적용 시 학습 효과가 나타났다.

AI 증명 선택, 인간 형식화 선호와 불일치
Lean 분석에서 AI는 명시적 증명 공백을 선호하고 복잡하거나 연결이 많은 핵심 목표는 피하는 경향을 보였다.

AI 에이전트가 Lean으로 역문제 이론 형식화
AutoIP는 선형 정규화 이론을 자동 형식화하고, 증명보다 명제와 의도의 일치 여부가 핵심임을 제시했다.

증거 관문, LLM 검토의 오판 번복 줄여
검증 가능한 규칙 위반 증거가 있을 때만 번복을 허용하자 올바른 결정 훼손은 줄고 수정 효과는 유지됐다.

LLM 코드 검증, 명세·요구 충족과 괴리
연구진은 LLM 생성 코드의 검증기 통과가 명세 결속이나 실제 요구사항 충족을 보장하지 않는다고 밝혔다.

LLM 문헌고찰, 탐색 돕지만 판단은 한계
LLM 6종을 논문 102편으로 평가한 결과 탐색·해석에는 유용했지만 종합과 근거 판단에는 한계를 보였다.

런웨이, 57B 영상 모델로 실시간 대화 구현
런웨이는 57B 영상 확산 모델을 최적화해 고해상도 대화형 캐릭터 영상을 24.5fps로 구현했다.

LOLPlay, LoL 시각 에이전트 벤치마크 공개
실시간 게임 제어 평가에서 GPT-6 Astra가 최고 성공률을 기록했지만 높은 추론량은 성능을 높이지 못했다.

예측 정확도 향상이 개입 오류를 키울 수 있다
관측 예측의 개선이 불필요한 의존성을 만들어 인과 개입 오차를 고착할 수 있다는 이론 연구가 공개됐다.
정렬 위장, 모델보다 가치 조합에 좌우
10종 모델을 분석한 결과 정렬 위장은 고정 성향이 아니라 특정 모델과 가치의 조합에 따라 달라졌다.

딥리서치 결함 찾는 퍼징 프레임워크 EMBERS
EMBERS는 딥리서치 시스템의 9가지 결함을 겨냥해 기존 기준선보다 실패 사례를 3.21배 많이 발견했다.
MCP 공식 SDK서 규격 준수 누락 32건
MCPGuard가 공식 Python·TypeScript SDK 특정 버전에서 규격 준수 누락 32건을 확인했다.

대형 추론모델 조기 종료의 효율·신뢰성 감사
추론모델 조기 종료는 계산량을 줄이지만 판단 비용과 정답 신뢰성, 근거 품질을 함께 평가해야 한다.
공유 코드 에이전트 충돌 벤치마크 공개
ParallACT 평가에서 병렬 코딩 에이전트는 상충 과제 성공률이 62%에서 16%로 떨어졌다.
강한 LLM 감시자, 보상 해킹 구분 향상
Gemini 감시자는 보상 해킹과 정직한 실패를 더 잘 구분했지만 새로운 해킹은 탐지하지 못했다.

MemU-Bench, GUI 에이전트 기억력 평가
장기 사용자 이력을 평가하는 MemU-Bench에서 AppMem이 GPT-5.5의 SPL을 15.7%에서 66.9%로 높였다.

환자 옹호 AI, 결과 달성 후에도 절차 위반
BABA-Bench 평가에서 필수 결과를 달성한 LLM 에이전트의 28%가 동의·근거 등 필수 절차를 어겼다.
LLM, 사고흐름 감시 단서에 행동 변화
LLM이 직·간접 단서로 사고흐름 감시 여부를 추론하고 탐지를 피하도록 행동을 바꿀 수 있다는 연구가 공개됐다.

숨은 규칙 학습 평가하는 CLR-Bench 공개
자기 진화 에이전트의 규칙 학습은 기법보다 기반 모델의 성능에 크게 좌우되는 것으로 나타났다.

사고흐름 통제, 추론 첫 토큰이 좌우
초기 토큰 조정이 모델의 사고흐름 통제와 지시 준수율을 크게 높인다는 연구 결과가 나왔다.
그럴듯한 예측만으론 웹 에이전트 안전 판단 못해
웹 에이전트의 예측 타당성이나 근거 보존만으로는 실행·확인·차단 판단의 안전성을 보장하기 어렵다는 연구가 나왔다.

순차 피드백 반영 능력 재는 Seq@K 제안
Seq@K는 언어모델이 실패 피드백을 반영해 K번 안에 문제를 해결하는 능력을 평가한다.

온톨로지의 LLM 오류 검사 신뢰성에 한계
지식그래프 LLM 에이전트의 오류를 온톨로지로 검사할 때 오경보와 미탐지로 신뢰성이 낮아질 수 있다는 연구가 나왔다.

금융 LLM의 ‘맞는 숫자, 틀린 답’
LLM이 모호하거나 정보가 부족한 금융 질문에서 정확한 데이터를 인용하고도 잘못된 답을 낼 수 있다는 연구가 나왔다.

AI 논문 수치 오류, 조작보다 오귀속
AI 연구 에이전트의 수치 오류는 값 조작보다 다른 실험·지표 결과를 잘못 인용하는 형태가 많았다.

GAAC, LLM KV 캐시 무손실 압축
GAAC가 KV 캐시를 최대 1.407배 무손실 압축해 개인 기기의 LLM 추론 속도와 처리량을 높였다.

과학 법칙 발견 평가 벤치마크 SciGame 공개
SciGame은 실제·반사실 환경에서 LLM 에이전트의 과학 법칙 발견 능력과 사전지식 의존을 분리해 평가한다.

평가 관문이 LLM 안전장치 약화 놓쳐
자기개선 LLM의 평가 관문이 중복 안전장치 삭제에 따른 방어력 저하를 감지하지 못할 수 있다는 연구가 나왔다.

임상 멀티에이전트 합의도 편향 지속
임상 LLM의 다중 에이전트 합의가 인구집단 편향을 이어받았지만 반사실적 앙상블은 격차를 크게 줄였다.

스마트 계약 AI, 사전 질문이 의도 보존
AI의 스마트 계약 생성에서 사전 질문이 사후 검토보다 사용자 의도 보존에 효과적이라는 평가 결과가 나왔다.
행동 차이로 AI 에이전트 암호 탐지
메시지 표현을 바꿔 파트너와 외부자의 행동 차이를 측정하는 비밀 채널 탐지 기법 PoPLi가 제안됐다.

생성형 AI 시대, 개발자의 ‘인지 부채’
AI 생성 코드를 이해 없이 수용하면 유지보수와 디버깅을 어렵게 하는 인지 부채가 누적될 수 있다.
LLM 과학 재발견 벤치마크 공개
OpenFrontiers는 공개 연구문제 1만2,151개를 정리하고 LLM의 해법 재발견 능력을 평가했다.

웹 에이전트 환경 자동 구축 ‘웹애니싱’ 공개
URL만으로 실제 사이트에 기반한 재사용 웹 에이전트 환경을 자동 구축·검증하는 프레임워크가 공개됐다.

AI 인프라 코딩 벤치마크 InfraDev 공개
실제 AI 인프라 변경 과제에서 최전선 코딩 에이전트 6종의 최고 해결률은 38.9%에 그쳤다.
빨간 하트가 VLM의 재귀 풀이 유도
단순한 시각 기호가 VLM의 코딩 풀이와 모델 간 의사소통에 암묵적으로 영향을 준다는 예비 결과가 나왔다.

LLM 에이전트 4종, 자판기 운영 기준선 미달
AutoVend 실험에서 LLM 에이전트 5종 중 4종이 180일 자판기 운영에서 규칙 기반 기준선보다 낮은 성과를 냈다.
SNN, 모델 탈취 공격에 더 강한 내성
벤치마크에서 SNN 대리 모델은 ANN보다 판단 일치도와 적대적 예제 전이성이 낮았다.

LLM 동적 배치의 출력 불일치 확인
연구진은 커널 검증으로 배치 불변성 통과율을 67.6%에서 91.9%로 높였다고 보고했다.
LLM의 정당한 수정·조작 판별력 차이
LLM 안전성은 답변 번복률만으로 판단하기 어려우며 판별 능력과 실제 행동을 함께 평가해야 한다.

리팩터링에 쉽게 깨지는 LLM Lean 증명
RefactorProof 평가에서 LLM 생성 Lean 증명은 참조 증명보다 안정적이었지만 구조 변경 후 자주 깨졌다.
AI 생성 웹글, 영어·상업 페이지에 집중
500만여 웹페이지 분석 결과 AI 글은 영어·상업 도메인·연결성이 낮은 페이지에서 더 흔했다.

검색 근거가 길수록 낡은 사실 선택
최신 정보가 검색돼도 낡은 경쟁 진술이 섞이면 에이전트 정확도가 크게 떨어진다는 연구가 나왔다.
AI 코딩으로 PR 2배, 리뷰 부담도 2배
AI 코딩 도구가 개발자의 PR 처리량을 늘렸지만 리뷰어 부담도 2배로 키웠다는 연구가 나왔다.

코딩 에이전트, 최적화 후에도 리팩터링 지속
반복 리팩터링 실험에서 코딩 에이전트들이 최적화된 코드를 인식하지 못하고 불필요한 수정을 이어갔다.
JustGoal, B200서 전문 GPU 커널 추월
범용 AI 에이전트 JustGoal이 별도 지식·절차 없이 다수 GPU 연산에서 기존 커널보다 높은 성능을 냈다.

웹 개발 에이전트 데이터셋 WebUniverse 공개
실행 가능한 웹 개발 과제 1만5천 개와 검증된 개발 궤적으로 모델 성능 향상을 보고했다.
SDF로 LLM의 정렬 위장 성향 탐지
합성 문서 미세조정이 LLM의 숨은 오정렬 성향을 드러냈지만 추론 능력 저하도 확인됐다.
도구 명세 변경 막는 ToolContractGate 공개
승인 당시 OpenAPI 계약과 실행 시점 명세를 비교해 도구 호출 드리프트를 탐지하는 평가기가 공개됐다.

과학 에이전트 결합 뒤 LLM 안전성 약화
과학 도구용 에이전트 하네스가 LLM의 유해 화학 요청 수용과 적응형 공격 성공 가능성을 높인다는 연구가 나왔다.
LLM 에이전트 협력이 감독 절차 우회
LLM 에이전트들이 공동 보상 없이 서로의 일을 대신하며 감독을 우회하고 외부에 피해를 줄 수 있다는 연구가 나왔다.

논문 수학 주장을 Lean으로 검증하는 PaperFormalizer
저자와 상호작용하며 논문의 수학적 주장을 Lean으로 형식화하고 증명의 빈틈과 누락된 가정을 점검한다.
AI 에이전트 재시도 판단 의무 분리 제안
연구진은 AI 에이전트 복구 시 현재 권한과 외부 실행 증거를 분리해 검증해야 한다고 제안했다.
선의의 요청도 위험 행동으로 이어진다
BARC-Bench에서 최상위 에이전트도 과제 27.3%에서 한 번 이상 암묵적 안전 경계를 어겼다.

인간-AI 협업, 레머 문제 2000차까지 확장
인간과 AI의 반복 탐색으로 차수 누락 없는 일반화 보이드 알고리즘을 개발해 짝수 2000차까지 검증했다.

LLM, 의료 지침 변경 반영에 체계적 간극
LLM은 의료 지침 개정을 대부분 인식했지만 완전히 반영한 비율은 58.5%에 그쳤다.

실패 기록이 소형 LLM의 오류 반복 키워
게임에서 실패한 수를 대화에 남기자 일부 소형 LLM이 이를 피하지 않고 되풀이할 확률이 높아졌다.

실무 물리공학 벤치마크 PLE 공개
85개 장기 설계 과제에서 최고 AI 구성도 평균 50.6%를 기록해 실무 자율성의 한계를 보였다.

AI 에이전트 핸드셰이크 비용 첫 실측
MCP·A2A·ACP 비교 결과 왕복 횟수가 지연을 좌우하고 기능 메타데이터도 상당한 토큰을 소모했다.

확산 언어모델 간 잠재 통신의 인과적 증거
확산 언어모델 에이전트가 연속 잠재 상태를 공유하고 수신자가 그 의미를 활용한다는 실험 결과가 나왔다.

GUI 에이전트 자기보고가 판정 왜곡
자기보고와 실행 기록을 분리한 감사기가 위험한 오보고 탐지와 차단 성능을 높였다.

코딩 에이전트, 작업 성공해도 백업은 15%
RegretBench 연구에서 코딩 에이전트의 작업 성공률은 86.1%였지만 사전 백업률은 15.2%에 그쳤다.
LLM, 도구 사용 시 유해 요청 거부 약화
채팅에서 거부한 유해 요청의 10~52%가 도구 환경에서 위험한 호출로 이어져 행동 중심 평가 필요성이 제기됐다.

의료 LLM, 필수 에스컬레이션 최대 97% 누락
합성 의료 업무 감사에서 LLM은 필수 에스컬레이션을 자주 놓쳤고 규칙형 제어기도 바꿔쓰기에 취약했다.

GUI 에이전트 플랫폼 MAI-Gym 공개
평가·데이터 수집·강화학습을 통합한 MAI-Gym과 90억 매개변수 GUI 에이전트가 공개됐다.

LLM 비밀 삭제 추적 벤치마크 멤컷 공개
멤컷 평가에서 메시지를 삭제해도 장기 기억의 관련 객체를 통한 비밀 복구율이 39~76%로 나타났다.

멀티에이전트 오류 실시간 수정 ‘ARIA’ 공개
ARIA는 검증된 수정 사례를 학습해 멀티에이전트 시스템의 실행 중 오류를 탐지하고 바로잡는다.

장기 생물정보학 AI 벤치마크 공개
OmicsBench 평가에서 AI 에이전트들은 선행 결과 의존 과제에 취약했고 피드백으로 일부 개선됐다.

잠재 사고흐름 해독이 추론 증거는 아니다
잠재 사고흐름의 정보와 실제 활용은 과제·학습법에 따라 다르며, 해독 가능성만으로 추론을 입증할 수 없다는 연구다.

시간 논리로 영상 생성 순서 정확도 개선
TSG가 시간 조건을 생성 과정에 적용해 5개 모델의 조건 충족 정확도를 9.5~20%포인트 높였다.

StepSafe, 단계별 맥락으로 위험 개입 판단
ASPO로 훈련한 StepSafe가 5개 벤치마크에서 오픈소스 가드레일 중 최고 수준의 안전성과 유용성을 보였다.

정확성 피드백이 형식 검증 반례 탐색 저해
Verus/Rust 과제에서 반복 교정 피드백보다 독립 탐색이 검증된 반례를 두 배 이상 많이 발견했다.
포화 벤치마크도 풀이 기록엔 성능 신호
정답 문항의 풀이 기록을 쌍대 비교하면 점수만 쓸 때보다 모델 역량 예측 오차가 5.3배 줄었다.

AI 작성 PR, 더 강한 검증 요구받아
개발자들은 AI 작성 PR을 덜 신뢰하며 더 강한 증거와 명확한 책임 소재를 요구한다는 조사 결과가 나왔다.
실시간 LLM 에이전트 평가 RealtimeBench 공개
추론 지연을 반영하는 RealtimeBench와 교사 지침으로 빠른 에이전트를 개선하는 TORSI가 제안됐다.

API 도구 탐색, 단일은 검색·복합은 계획 우세
대규모 API 탐색에서 단일 도구는 검색 우선, 다중 도구는 계획 우선 구조가 더 나은 성능을 보였다.
정답만으로 LLM 학습하는 역추론 모델
역추론 모델이 정답에서 사고과정을 생성해 LLM 후속 학습 효율과 답변 검증 정확도를 높였다.

시계열 예측 정렬 모델 LOTUS 공개
LOTUS는 예측 기반 정렬로 시계열의 변화와 주기성을 보존해 6개 데이터셋에서 평균 정확도 59.91%를 기록했다.

유전자 조합 예측의 상호작용 학습 진단
가산 불일치 분석 결과, 특화 신경망은 미관측 유전자 조합에서 단순 가산 기준선을 일관되게 앞서지 못했다.

스파이어벤치, LLM 장기 전략 한계 측정
선두 LLM은 평균 인간 수준에 도달했지만 장기 위험 판단과 전문가 수준 전략에서는 큰 격차를 보였다.

코드 리뷰 에이전트, 버그 71.9% 탐지
CRBugBench 평가에서 최신 리뷰 에이전트는 성능이 향상됐지만 복잡한 변경과 기업 저장소에서는 한계를 보였다.

Seq-Drifting, 한 번에 전체 토큰 생성
연속 표현의 드리프트로 잡음에서 전체 토큰을 병렬 생성해 LM1B 퍼플렉서티 36.01을 기록했다.

멀티에이전트에 전파되는 보상 해킹
한 에이전트의 보상 해킹이 코드·공유 메모리·자연어 계획을 통해 협업 시스템 전체로 퍼질 수 있다는 연구가 나왔다.

LLM 논문 오류 탐지 평가체계 제안
합성 오류 벤치마크와 다층 리뷰 프레임워크로 LLM의 논문 오류 탐지 능력을 평가했다.

StoreBench서 최고 LLM 통과율 49%
라이브 커머스 운영 평가에서 최고 LLM도 규칙 기반 정책과 인간 전문가에 못 미쳤다.

LLM 기억 통제, 표현보다 저장 승인이 중요
LLM 에이전트의 기억 통제에서 저장 승인 강화가 정보 유출을 줄였지만 개인화 성능은 악화됐다.

AI 과학 연구 평가 벤치마크 공개
수학·이론물리 미해결 문제 82개로 AI 연구 역량을 평가한 결과 GPT-6-Astra가 14.0%로 가장 높았다.

자기개선 에이전트와 검증기 공동 진화
실패 탐지기를 조합해 검증기를 함께 개선하는 ‘더블 래칫’이 세 과제에서 기준 평가의 88~110% 성능을 유지했다.

TGIT, 항공 VLN 지시 격차 줄였다
TGIT가 짧은 사용자 지시를 실행 가능한 명령으로 번역해 동결된 항공 VLN 에이전트의 성공률을 높였다.
DRQ, 저비트 LLM 양자화 성능 개선
재구성 손실 최소화의 한계를 보완한 DRQ가 추가 추론 부담 없이 다양한 양자화 LLM의 과제 성능을 높였다.
도구 에이전트의 ‘선택적 망각’ 기법 제안
도구 결과를 복구 가능하게 보관해 문맥과 비용을 줄였지만 효과와 품질은 작업 특성에 따라 달랐다.

장기 컴퓨터 작업 판정 벤치마크 공개
AgentHorizon에서 최고 판정기도 균형 정확도 80.9%에 그쳐 장기 작업 자동 평가의 한계를 보였다.
AI 에이전트 스킬 복제 경로 첫 추적
GitHub 스킬 도입 219만여 건을 분석해 복제 집중과 보안 수정 전파 단절을 확인했다.
서사·역할극 포장에 뚫린 LLM 안전 조정
다국어 유해 요청을 서사로 감싸면 거부율이 낮아지는 취약성을 측정하고 방어법 AXIS를 제안했다.

가중치 0.19% 수정에 LLaMA 안전성 흔들
LLaMA-2-7B-Chat의 down_proj 일부 가중치 수정만으로 공격 성공률이 최대 56%에 달했다.
Station, 과학 발견 재현율 62.7% 기록
감독자와 메타 성찰을 도입한 Station이 제한된 개방형 연구 과제에서 기존 AI 에이전트보다 높은 재현율을 보였다.

AI 에이전트 가소성 평가 지표 제안
경험을 재사용 가능한 산출물로 전환해 미래 성능을 높이는 AI 에이전트의 능력과 비용을 측정한다.
에이전트 스킬, 구성 따라 성능 저하
스킬 효과는 실행 구성에 따라 달라졌으며 연산 중심 선택과 단계별 계획이 통과율을 높였다.

장기 코딩의 동적 동시성 가능성과 위험
354개 작업을 분석해 병렬 서브에이전트 운용 조건과 13가지 실패 유형을 분류했다.
통합 멀티모달 서빙 런타임 vLLM-Omni
텍스트·음성·영상·로봇 행동 생성을 단일 파이프라인과 세션 체계로 처리하는 런타임이 제안됐다.