ICLR 2026 Agent 연구는 무엇을 검증하나: 장기 실행 시스템의 학습과 평가
ICLR 2026 채택 논문을 중심으로 Agent 연구가 장기 실행의 학습, 상태 관리, 도구 사용, 협업 구조와 안전성 평가를 어떻게 다루는지 살펴봅니다.
Corpus: ICLR 2026 본회의 Oral·Poster 중 LLM agent의 multi-turn 학습, context·memory 관리, tool·computer use, multi-agent orchestration, trajectory·safety 평가를 직접 다룬 논문을 골랐다. 채택 여부와 최종 버전은 공식 ICLR 2026 Papers와 OpenReview를 기준으로 확인했다.
Abstract: ICLR 2026의 Agent 논문들이 prompt나 tool-calling loop를 폐기한 것은 아니다. 논점은 그것만으로 장기 실행의 학습과 검증을 설명할 수 있느냐에 있다. 검토한 논문들은 sparse outcome reward를 multi-turn trajectory의 각 판단에 배분하고, context를 실행 중에 압축·갱신하며, GUI·API·MCP를 상태가 변하는 환경으로 다룬다. Multi-agent 연구도 agent 수를 늘리는 데서 멈추지 않고 prompt, topology, communication bandwidth, runtime supervision을 함께 설계한다. 평가 역시 최종 성공률뿐 아니라 tool trajectory, policy compliance, 반복 신뢰성, 비용, 안전을 묻는다. 그렇다고 이 의제들이 2026년에 처음 등장했거나 모든 Agent 연구가 하나의 stateful-system 패러다임으로 수렴했다고 보기는 어렵다. 이 글은 공식 채택과 최종 버전을 확인한 논문들의 질적 종합이며, 전체 코퍼스의 전수 계량 분석은 아니다.
Executive Summary
| 항목 | 설명 |
|---|---|
| 분석 질문 | ICLR 2026의 Agent 논문들은 장기 실행을 어떤 학습·상태·환경·평가 문제로 바꾸었는가? |
| 근거 범위 | 공식 프로그램에서 관련 제목을 탐색한 뒤 채택 상태와 최종 버전을 다시 확인했다. 참고문헌의 논문을 주요 근거로 삼았으며, 논문 수로 분야의 비중을 추정하지 않았다. |
| 핵심 판정 | 검토한 논문에는 prompt-only scaffold를 일괄 대체하는 방법이 없다. 연구 초점은 memory, trajectory, tool protocol, communication graph, execution log를 직접 다루는 여러 축으로 나뉜다. |
| 대표 흐름 | 장기 trajectory 학습, 상태·도구 인터페이스 관리, 실행 검증, 협업 구조 설계. |
| 주의할 점 | Long-context QA와 interactive agent memory, GUI와 API, multi-agent reasoning과 operational agent system은 서로 다른 문제다. 논문별 backbone, tool budget, environment도 달라 저자 보고 수치를 순위처럼 비교할 수 없다. |
목차
- 조사 범위와 분석 틀
- Agentic RL: 최종 보상에서 trajectory 학습으로
- Context와 memory는 상태 관리 문제가 됐다
- Tool use는 실행 환경과 인터페이스의 문제다
- 평가는 성공률에서 trajectory·정책·비용으로
- Multi-agent는 수보다 조정 구조가 중요하다
- 실패 원인을 추적할 수 있는가
- 선행 의제가 ICLR 2026에서 구체화된 방식
- 앞으로 남은 연구 질문
- 결론
1. 조사 범위와 분석 틀
1.1 무엇을 Agent 논문으로 보았나
agent라는 이름만으로 범위를 잡으면 chatbot, embodied policy, agent-based simulation, 일반 multi-agent reinforcement learning이 한데 섞인다. 이 글은 LLM 또는 multimodal foundation model이 여러 단계에 걸쳐 관찰하고 상태를 갱신하며, 외부 도구나 다른 agent를 호출해 환경을 바꾸는 연구에 초점을 맞췄다.
| 구분 | 포함 기준 |
|---|---|
| Core agent learning | multi-turn trajectory, tool-call step, planner·executor policy를 직접 학습하거나 분석 |
| Agent state | context·memory의 write, update, prune, retrieval, consolidation을 agent 실행과 연결 |
| Agent environment | GUI·API·MCP·web처럼 action이 외부 상태를 바꾸고 결과가 다음 observation이 되는 설정 |
| Multi-agent systems | prompt·role·topology·communication·supervision을 명시적으로 설계하거나 최적화 |
| Agent evaluation | final answer 외에 trajectory, policy compliance, cost, safety, failure attribution을 평가 |
| 제외 | agent가 단순 응용 이름인 논문, 일반 robotics·MARL, social simulation, tool 호출이 없는 단일-turn reasoning |
공식 프로그램에서 관련 제목을 넓게 찾은 다음, OpenReview와 최종 논문에서 본회의 채택 여부와 agent의 역할을 확인했다. Agent application 논문을 분야 전체의 신호로 곧장 확대하지 않고, 아래 표의 논문을 중심으로 읽었다.
| 분석 축 | Primary evidence |
|---|---|
| Long-horizon RL·credit assignment | AgentFlow, ARPO, HGPO, ASearcher |
| Context·memory state | AgentFold, Agentic Context Engineering |
| GUI·API·MCP interface | WALT, ComputerRL, MCPMark |
| Trajectory·safety evaluation | TRAJECT-Bench, ST-WebAgentBench, OpenAgentSafety |
| Multi-agent design | Multi-Agent Design, Benefits and Limitations of Communication, SupervisorAgent, Emergent Coordination |
| Failure attribution | AgenTracer |
1.2 Agent를 시스템으로 읽는 틀
서로 다른 논문을 같은 기준에서 비교하려고 아래 틀을 사용했다. 각 논문이 제시한 공식이 아니라, 연구 질문을 정렬하기 위해 이 글에서 재구성한 식이다.
\text{Agent behavior}
= f(\text{model},\ \text{state},\ \text{environment},\ \text{harness},\ \text{verifier})| 구성요소 | 질문 |
|---|---|
| Model | 어떤 policy가 reasoning과 action을 생성하는가 |
| State | 현재 목표·관찰·기억·중간 결과 중 무엇을 유지하는가 |
| Environment | GUI·API·web·MCP server가 어떤 action과 feedback을 제공하는가 |
| Harness | planning, tool routing, retry, delegation, context folding을 어떻게 조정하는가 |
| Verifier | 성공, 정책 준수, 비용, 안전과 실패 원인을 어떻게 판정하는가 |
이 틀로 보면 모델 정확도 외에도 state, environment, harness, verifier가 독립적인 학습·탐색·평가 대상이 됐음을 알 수 있다.
2. Agentic RL: 최종 보상에서 trajectory 학습으로
2.1 긴 실행에서 reward는 어디에 배분해야 하나
Single-turn RLVR은 정답 여부를 비교적 명확히 판정할 수 있다. Tool-using agent에서는 검색어 선택, tool parameter, observation 해석, 계획 수정이 연쇄적으로 이어진다. 최종 성공이나 실패가 어느 판단에서 비롯됐는지 가려내기 어려운 이유다.
In-The-Flow Agentic System Optimization은 검토 대상 중 유일하게 Oral로 발표됐다. Planner·executor·verifier·generator를 evolving memory로 연결하고, 실제 multi-turn loop 안에서 planner를 최적화한다. Flow-GRPO는 trajectory-level outcome을 각 turn에 전달해 planner의 국소 판단과 최종 결과를 맞춘다. 저자들은 7B backbone의 평균 정확도가 열 개 benchmark에서 search 14.9%, agentic 14.0%, mathematical 14.5%, scientific task 4.1% 높아졌다고 보고한다. 서로 다른 task를 묶은 평균이므로 한 환경에서 일관되게 같은 폭의 개선이 난 것으로 해석해서는 안 된다.
Agentic Reinforced Policy Optimization은 tool call 뒤 token entropy가 커지는 구간에서 rollout을 더 많이 분기한다. 모든 step에 같은 탐색 예산을 쓰지 않고 불확실성이 큰 round에 집중하는 방식이다. 저자들은 13개 benchmark에서 trajectory-level RL보다 나은 결과를 보고했으며, 비교 방법의 절반 수준 tool-use budget으로 성능을 높였다고 주장한다.
Hierarchy-of-Groups Policy Optimization이 문제 삼는 것은 reward 함수보다 비교 집단이다. History가 다른 step을 같은 그룹에서 상대 평가하면 context inconsistency 때문에 advantage가 편향될 수 있다. HGPO는 history가 비슷한 step을 여러 계층으로 묶어 bias와 variance를 조절한다. 실험은 ALFWorld·WebShop과 Qwen2.5-1.5B/7B에 한정되어 있다. 더 복잡한 환경이나 다른 model scale에서도 같은 이점이 유지되는지는 아직 확인되지 않았다.
2.2 Agentic RL의 공통 구조
| 논문 | 학습 단위 | 해결하려는 병목 | 남는 한계 |
|---|---|---|---|
| AgentFlow | 실제 다중 턴 실행의 planner 판단 | offline training과 실제 실행 dynamics의 분리 | 동일 outcome을 여러 turn에 전달할 때 세밀한 인과 기여가 흐려질 수 있음 |
| ARPO | 불확실성이 높은 tool-call round | 고정 rollout budget과 부족한 step exploration | entropy가 task-relevant uncertainty를 항상 뜻하지는 않음 |
| HGPO | history가 비슷한 step group | context가 다른 step의 잘못된 상대 비교 | grouping 기준이 새로운 설계 선택이 됨 |
| ASearcher | 최대 128 action의 search trajectory | 상용 모델 trajectory·tool 의존 | 긴 rollout의 비용과 web 변화에 대한 재현성 |
Unlocking Long-Horizon Agentic Search의 ASearcher는 상용 model의 trajectory를 모방하지 않고, 한 rollout에서 최대 128번 행동하도록 end-to-end RL로 학습한다. Search agent를 단순 retrieval pipeline이 아닌 장기 policy 학습 문제로 다룬 사례다. 다만 GAIA·xBench·Frames 점수는 tool 구성과 test-time scaling에 민감하다. 이 결과를 다른 agent와 model capability를 직접 비교하는 순위표로 쓰기는 어렵다.
결국 남는 쟁점은 step reward를 얼마나 세밀하게 만들 수 있느냐만이 아니다. 학습 환경과 배포 환경이 달라졌을 때도 같은 trajectory credit이 유효한지를 검증해야 한다.
3. Context와 memory는 상태 관리 문제가 됐다
3.1 긴 context window만으로는 부족하다
장기 agent가 observation과 tool output을 모두 쌓아 두면 context가 금세 포화된다. 반대로 매 step마다 전체 history를 요약하면 세부 근거가 사라지고, 잘못된 요약이 다음 판단의 전제가 될 수 있다.
이렇게 context는 수동 log가 아니라 agent가 직접 다루는 작업 상태가 된다.
Agentic Context Engineering은 실행 경험이 쌓이는 playbook으로 context를 관리한다. Generator가 trajectory를 만들고 reflector가 성공과 실패에서 전략을 추출하면, curator가 기존 context를 조금씩 갱신한다. 저자 보고 기준 향상 폭은 agent benchmark 10.6%, finance setting 8.6%다. 특정 baseline과 실행 설정에서 얻은 수치이므로 모든 memory architecture보다 낫다는 의미는 아니다.
3.2 서로 다른 네 종류의 상태
Agent memory를 한 용어로 묶으면 평가가 흐려진다.
| 상태 종류 | 내용 | 대표 실패 |
|---|---|---|
| Context self-management | 현재 window 안의 압축·정리·note-taking | 중요한 observation의 비가역적 손실 |
| Episodic memory | 과거 task와 user interaction의 저장·검색 | 잘못된 경험의 재사용, privacy 침해 |
| Environment state | file·database·web·application의 실제 상태 | agent memory와 외부 상태의 불일치 |
| Trajectory memory | 현재 실행의 action·observation·reward history | 긴 trace의 noise와 잘못된 credit assignment |
AgentFold는 현재 context를 정리하고 진행 중 trajectory를 압축하는 방법이다. ACE는 여러 실행에서 얻은 전략을 playbook에 누적하므로 episodic·cross-trajectory adaptation에 가깝다. 두 논문 모두 변경 가능한 database state나 장기간의 사용자 기억을 직접 해결하지는 않는다. 앞으로는 retrieval accuracy뿐 아니라 무엇을 기록·수정·망각했는지, 잘못된 변경을 되돌릴 수 있는지도 평가해야 한다.
4. Tool use는 실행 환경과 인터페이스의 문제다
4.1 GUI, API, MCP는 같은 문제가 아니다
세 인터페이스는 모두 tool use로 불리지만 병목이 다르다.
| 인터페이스 | 핵심 난점 | 대표 오류 |
|---|---|---|
| GUI | 화면 인식, grounding, 저수준 action sequence | 잘못된 element 클릭, layout 변화에 취약 |
| API | schema 이해, parameter 구성, typed action | 잘못된 인자, 호출 순서, state transition 누락 |
| MCP | tool discovery, metadata, 여러 server 조정, trust boundary | 과도한 권한, 악성 tool response, cross-tool state 불일치 |
WALT는 웹사이트가 이미 제공하는 search·filter·sort·create 기능을 deterministic tool로 복원한다. 매번 click과 typing 순서를 계획하는 대신 더 높은 수준의 operation을 호출한다. 저자들은 VisualWebArena와 WebArena에서 더 적은 step과 LLM reasoning으로 높은 success rate를 보고한다. 다만 사이트 내부 기능을 안정적으로 추출할 수 있어야 한다.
ComputerRL은 GUI와 API를 함께 쓰는 desktop agent를 대규모 online RL로 학습한다. 수천 개의 virtual desktop을 조정할 수 있는 분산 인프라를 만들고, entropy collapse를 줄이기 위해 RL과 supervised fine-tuning을 번갈아 적용한다. 저자 보고 기준 GLM-ComputerRL-9B의 OSWorld 점수는 48.9%다. 한 benchmark의 결과만으로 실제 사용자 desktop에서의 장기 안정성이나 안전성까지 입증되지는 않는다.
4.2 MCP는 protocol capability를 평가 대상으로 만들었다
MCPMark는 읽기 위주의 단순 과제 대신 상태가 오래 유지되는 workflow를 평가한다. 127개 task에는 사전에 구성된 initial state와 programmatic verification이 들어가며, create·read·update·delete가 섞인 작업을 요구한다. 저자 보고 기준 최고 성능 model도 pass@1 52.56%, pass^4 33.86%에 머물렀다. Task 하나에 평균 16.2 execution turn과 17.4 tool call이 필요했다.
pass^4가 pass@1보다 낮다는 것은 한 번 성공한 model도 반복 실행에서는 같은 결과를 보장하지 못한다는 뜻이다. 다만 MCPMark는 minimal tool-calling loop를 사용한다. 복잡한 planning harness나 domain-specific recovery policy의 효과를 직접 비교한 benchmark는 아니다.
따라서 성능과 안전을 좌우하는 단위는 LLM 하나로 끝나지 않는다. Tool schema, permission, observation format, transaction semantics, retry, rollback을 모두 포함한 agent–environment interface를 함께 봐야 한다.
5. 평가는 성공률에서 trajectory·정책·비용으로
5.1 정답을 맞혀도 과정은 틀릴 수 있다
TRAJECT-Bench는 final answer뿐 아니라 tool 선택, parameterization, 호출 순서까지 평가한다. Parallel call과 의존성이 있는 multi-step chain을 구분하고, production-style API를 실제로 실행할 수 있게 제공한다. 정답이 같더라도 불필요하거나 잘못된 tool trajectory를 탔다면 평가에서 드러난다.
ST-WebAgentBench는 222개 web task에 user consent, hierarchy adherence, boundary·scope, robustness 같은 policy를 연결한다. Completion Under Policy는 모든 관련 정책을 지킨 completion만 인정한다. 저자들이 평가한 세 open agent의 평균 CuP는 nominal completion rate의 3분의 2보다 낮았다.
OpenAgentSafety는 browser, code execution, filesystem, shell, messaging platform을 사용하는 350개 이상의 multi-turn task와 여덟 risk category를 제공한다. 저자 보고에서는 safety-vulnerable task의 unsafe behavior가 평가 model에 따라 51.2%에서 72.7%까지 나타났다. Rule-based analysis와 LLM-as-judge를 함께 사용하므로 subtle violation 판정은 judge reliability의 영향을 받는다.
5.2 Agent 평가표에 필요한 항목
| 평가 축 | 질문 | final success만 볼 때 놓치는 것 |
|---|---|---|
| Task completion | 목표 상태에 도달했는가 | 우연한 성공과 잘못된 중간 action |
| Trajectory validity | tool·parameter·순서가 타당한가 | 불필요한 호출, 잘못된 side effect |
| Policy compliance | 권한·동의·scope를 지켰는가 | 성공했지만 위험한 실행 |
| Repeated reliability | 여러 번 실행해도 성공하는가 | pass@1 뒤에 숨은 변동성 |
| Cost | token·tool call·latency·compute는 얼마인가 | 과도한 search와 retry |
| Recovery | 실패를 감지하고 되돌릴 수 있는가 | silent corruption과 누적 오류 |
| Transfer | 다른 tool·site·state에서도 작동하는가 | benchmark-specific scaffold |
평가 항목을 늘리는 것만으로는 충분하지 않다. Policy evaluator와 LLM judge가 agent의 설명을 그대로 믿거나, model이 고정된 benchmark state를 암기하면 새 metric도 쉽게 왜곡된다. 실행 가능한 verifier와 trace 공개, agent와 evaluator의 격리가 함께 필요하다.
6. Multi-agent는 수보다 조정 구조가 중요하다
6.1 Prompt와 topology의 공동 설계
Multi-Agent Design은 개별 block prompt, workflow topology, 전체 workflow prompt를 차례로 최적화한다. 저자들의 분석에서 모든 topology가 base agent보다 나은 것은 아니었고, 유효한 구조는 전체 탐색 공간의 일부에 불과했다. Prompt optimization과 topology search는 둘 중 하나를 고르는 문제가 아니라 서로의 조건을 함께 바꾸는 설계 문제다.
Benefits and Limitations of Communication in Multi-Agent Reasoning은 state tracking, recall, k-hop reasoning에서 agent 수와 communication bandwidth가 가능한 speedup을 어떻게 제한하는지 분석한다. Communication이 도움이 되는 조건은 있지만 agent 수와 bandwidth가 부족하면 구조적 한계도 생긴다. 통제된 synthetic reasoning task에서 얻은 결과라 web·GUI agent에 그대로 옮겨 적용할 수는 없다.
Emergent Coordination in Multi-Agent Language Models은 time-delayed mutual information을 분해해 redundancy와 synergy를 구분한다. 단순 guessing game에서는 persona와 다른 agent의 행동을 예상하라는 지시가 역할 분화와 goal-directed complementarity를 만들었다. 실제 tool-using system의 생산성을 재기보다 집단 안에서 역할이 형성되는 과정을 측정한 연구에 가깝다.
6.2 Runtime supervision과 비용
Stop Wasting Your Tokens은 매 step마다 별도의 LLM supervisor를 부르지 않는다. LLM-free filter가 개입이 필요한 지점을 골라내면, 그때만 SupervisorAgent가 observation을 정리하고 행동을 교정한다. 공식 ICLR 페이지에 따르면 GAIA의 success rate를 유지하면서 Smolagent의 token consumption을 평균 29.68% 줄였다.
Multi-agent가 유효한지는 agent 수보다 다음 조건에 좌우된다.
- Task를 독립적으로 나눌 수 있는가?
- Agent마다 중복되지 않는 정보나 도구가 있는가?
- Message가 실제 uncertainty를 줄이는가?
- 오류가 다음 agent로 증폭되기 전에 검증되는가?
- 추가 token·latency가 성능 향상을 정당화하는가?
Multi-agent reasoning benchmark와 장기 operational agent는 구분해 읽어야 한다. 전자는 communication과 collective inference를 주로 보지만, 후자는 state ownership과 tool side effect, recovery까지 다룬다.
7. 실패 원인을 추적할 수 있는가
Agent system에는 model, planner, memory, tool, sub-agent, verifier가 얽혀 있다. 실패 원인도 여러 단계에 걸쳐 생긴다. 최종 output만 보고 첫 오류를 지목하면 상관관계를 원인으로 오해하기 쉽다.
AgenTracer는 counterfactual replay와 programmed fault injection으로 실패한 multi-agent trajectory의 who와 when을 학습한다. 저자들은 기존 reasoning LLM의 failure attribution accuracy가 대체로 10%에 못 미친다고 보고한다. AgenTracer-8B가 off-the-shelf multi-agent system에 actionable feedback을 제공했다는 결과도 함께 제시한다.
AgenTracer 한 편만으로 observability를 ICLR 2026 Agent 연구의 대세라고 부르기는 어렵다. 다만 trajectory benchmark와 safety evaluation이 늘면서 아래 기능을 갖출 필요는 커졌다.
- append-only execution trace
- state와 tool side effect의 provenance
- counterfactual replay
- fault injection과 repair intervention
- rollback 가능한 checkpoint
- human escalation의 원인 기록
Failure attribution의 목표는 “잘못한 agent 하나”를 찾아내는 데 있지 않다. 하나의 trace에 여러 원인이 얽힐 수 있으므로, 원인 가설마다 개입을 적용하고 실제 복구 효과를 비교하는 인과적 디버깅이 필요하다.
8. 선행 의제가 ICLR 2026에서 구체화된 방식
AgentBench와 ToolEmu는 ICLR 2024에서 이미 interactive environment와 tool-agent safety를 다뤘다.
ICLR 2025에는 장기 memory를 다룬 LongMemEval, GUI·API environment를 제공한 AgentStudio, communication pruning을 연구한 AgentPrune이 채택됐다. 아래 표는 연도별 논문 수나 2026년의 최초성을 주장하려는 것이 아니다. 앞선 질문이 올해 논문에서 어떤 운영 조건으로 구체화됐는지를 연결한 것이다.
| 선행 의제 | ICLR 2026 대표 논문에서 구체화된 질문 |
|---|---|
| Outcome reward로 agent를 학습할 수 있는가 | Tool-call step의 credit을 어떻게 배분하고 context가 다른 step을 어떻게 비교하는가 |
| 긴 history를 어떻게 요약하는가 | Agent가 언제 context를 fold하고 playbook을 어떻게 증분 갱신하는가 |
| GUI나 API를 사용할 수 있는가 | GUI·API·MCP의 action·state·trust 차이를 어떻게 학습하고 평가하는가 |
| Task success가 높은가 | Trajectory, policy compliance, repeated reliability, cost와 recovery가 어떤가 |
| 여러 agent가 협력하면 좋아지는가 | 어떤 prompt·topology·bandwidth가 이득이며 token 비용을 정당화하는가 |
| 실패 trace를 읽을 수 있는가 | Counterfactual replay와 intervention으로 원인 가설을 검증할 수 있는가 |
이 흐름은 막연한 자율성을 높이기보다 실행 조건을 명시하고, 문제가 생겼을 때 trace에 개입할 수 있게 만드는 일을 공통 과제로 삼는다.
9. 앞으로 남은 연구 질문
9.1 학습과 상태
Step reward에서 먼저 확인할 것은 최종 결과와의 연결이다. 모든 turn에 같은 outcome을 주거나 entropy가 높은 step을 지나치게 탐색하면 reward hacking과 잘못된 process supervision이 생길 수 있다. Memory도 저장과 검색만 잘해서는 충분하지 않다. 어떤 evidence에서 만들어졌고 prediction에 어떻게 쓰였는지, 잘못된 내용을 어떤 transaction으로 되돌렸는지 provenance를 남겨야 한다.
9.2 실행 환경과 협업
실제 Agent는 상황에 따라 GUI와 typed API를 오가고 여러 MCP server를 호출한다. 이때 least privilege, user confirmation, reversible transaction, trusted response semantics를 interface 수준에서 함께 다뤄야 한다. Web page와 tool version, database state가 바뀐 뒤에도 실험을 재생하려면 environment snapshot, state diff, versioned tool schema가 필요하다. Multi-agent system의 최적화 목표에는 prompt·role·topology·message policy뿐 아니라 token·latency·API cost도 들어가야 한다.
9.3 검증과 복구
로그만 보고 원인을 짐작하는 것으로는 부족하다. Repair intervention을 적용했을 때 결과가 실제로 달라지는지 확인해야 한다. Agent가 evaluator 규칙을 학습하거나 LLM judge가 그럴듯한 설명에 끌리면 metric도 오염된다. 실행 가능한 checker, 독립 evaluator, adversarial trace, uncertainty reporting을 함께 사용하고 attribution score와 recovery success는 따로 보고하는 편이 안전하다.
10. 결론
ICLR 2026의 Agent 연구를 한 방향으로 요약하기는 어렵다. Prompt와 frozen LLM을 조합하는 연구가 여전히 이어지고, long-context QA, web agent, computer use, multi-agent reasoning은 서로 다른 환경을 다룬다.
그럼에도 검토한 논문들은 연구 대상을 모델 출력 바깥으로 넓혔다. Memory update, tool-call step, environment transition, communication topology, policy violation, execution log가 모두 학습과 평가의 대상이 됐다. 모델만 비교해서는 장기 실행의 재현성과 실패 원인을 충분히 설명하기 어렵다는 판단이 깔려 있다.
Stateful agent는 2026년에 처음 등장한 개념도 아니고, 모든 Agent 연구가 이 방향으로 수렴하는 것도 아니다. 다만 이번 논문들은 성공률 하나로 capability를 판단하는 데 그치지 않는다. 상태 관리와 tool interface, 비용, 안전, recovery를 함께 보아야 한다는 요구가 이전보다 구체적인 benchmark와 학습 방법으로 나타났다.
References
- Liu, X., Yu, H., Zhang, H., Xu, Y., Lei, X., Lai, H., Gu, Y., Ding, H., Men, K., Yang, K., Zhang, S., Deng, X., Zeng, A., Du, Z., Zhang, C., Shen, S., Zhang, T., Su, Y., Sun, H., Huang, M., Dong, Y., & Tang, J. (2024). AgentBench: Evaluating LLMs as agents. The Twelfth International Conference on Learning Representations. https://proceedings.iclr.cc/paper_files/paper/2024/hash/e9df36b21ff4ee211a8b71ee8b7e9f57-Abstract-Conference.html
- Ruan, Y., Dong, H., Wang, A., Pitis, S., Zhou, Y., Ba, J., Dubois, Y., Maddison, C., & Hashimoto, T. (2024). Identifying the risks of LM agents with an LM-emulated sandbox. The Twelfth International Conference on Learning Representations. https://proceedings.iclr.cc/paper_files/paper/2024/hash/7274ed909a312d4d869cc328ad1c5f04-Abstract-Conference.html
- Wu, D., Wang, H., Yu, W., Zhang, Y., Chang, K.-W., & Yu, D. (2025). LongMemEval: Benchmarking chat assistants on long-term interactive memory. The Thirteenth International Conference on Learning Representations. https://proceedings.iclr.cc/paper_files/paper/2025/hash/d813d324dbf0598bbdc9c8e79740ed01-Abstract-Conference.html
- Zheng, L., Huang, Z., Xue, Z., Wang, X., An, B., & Yan, S. (2025). AgentStudio: A toolkit for building general virtual agents. The Thirteenth International Conference on Learning Representations. https://proceedings.iclr.cc/paper_files/paper/2025/hash/172fe9f8cc55953bad5c24774bf0142b-Abstract-Conference.html
- Zhang, G., Yue, Y., Li, Z., Yun, S., Wan, G., Wang, K., Cheng, D., Yu, J. X., & Chen, T. (2025). Cut the crap: An economical communication pipeline for LLM-based multi-agent systems. The Thirteenth International Conference on Learning Representations. https://proceedings.iclr.cc/paper_files/paper/2025/hash/bbc461518c59a2a8d64e70e2c38c4a0e-Abstract-Conference.html
- Dong, G., Mao, H., Ma, K., Bao, L., Chen, Y., Wang, Z., Chen, Z., Du, J., Wang, H., Zhang, F., Zhou, G., Zhu, Y., Wen, J.-R., & Dou, Z. (2026). Agentic reinforced policy optimization. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009306
- Gao, J., Fu, W., Xie, M., Xu, S., He, C., Mei, Z., Zhu, B., & Wu, Y. (2026). Unlocking long-horizon agentic search with large-scale end-to-end RL. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009929
- He, P., Dai, Z., He, B., Liu, H., Tang, X., Lu, H., Li, J., Ding, J., Mukherjee, S., Wang, S., Xing, Y., Tang, J., & Dumoulin, B. (2026). TRAJECT-Bench: A trajectory-aware benchmark for evaluating agentic tool use. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009304
- He, S., Feng, L., Wei, Q., Cheng, X., Feng, L., & An, B. (2026). Hierarchy-of-groups policy optimization for long-horizon agentic tasks. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009347
- Lai, H., Liu, X., Zhao, Y., Xu, H., Zhang, H., Jing, B., Ren, Y., Yao, S., Dong, Y., & Tang, J. (2026). ComputerRL: Scaling end-to-end online reinforcement learning for computer use agents. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10007435
- Levy, I., Wiesel, B., Marreed, S., Oved, A., Yaeli, A., & Shlomov, S. (2026). ST-WebAgentBench: A benchmark for evaluating safety and trustworthiness in web agents. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009904
- Li, Z., Zhang, H., Han, S., Liu, S., Xie, J., Zhang, Y., Choi, Y., Zou, J. Y., & Lu, P. (2026). In-the-flow agentic system optimization for effective planning and tool use. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009931
- Lin, F., Chen, S., Fang, R., Wang, H., & Lin, T. (2026). Stop wasting your tokens: Towards efficient runtime multi-agent systems. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10007290
- Prabhu, V., Dai, Y., Fernandez, M., Ramakrishnan, K., Gu, J., Luo, Y., Savarese, S., Xiong, C., Li, J., Chen, Z., & Xu, R. (2026). WALT: Web agents that learn tools. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10008481
- Riedl, C. (2026). Emergent coordination in multi-agent language models. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009408
- Rizvi-Martel, M., Bhattamishra, S., Rathi, N., Rabusseau, G., & Hahn, M. (2026). Benefits and limitations of communication in multi-agent reasoning. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10011921
- Vijayvargiya, S., Soni, A. B., Zhou, X., Wang, Z. Z., Dziri, N., Neubig, G., & Sap, M. (2026). OpenAgentSafety: A comprehensive framework for evaluating real-world AI agent safety. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10006628
- Wu, Z., Liu, X., Zhang, X., Chen, L., Meng, F., Du, L., Zhao, Y., Zhang, F., Ye, Y., Wang, J., Wang, Z., Ni, J., Yang, Y., Xu, A., & Shieh, M. Q. (2026). MCPMark: A benchmark for stress-testing realistic and comprehensive MCP use. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10006866
- Ye, R., Zhang, Z., Li, K., Yin, H., Tao, Z., Zhao, Y., Su, L., Zhang, L., Qiao, Z., Wang, X., Xie, P., Huang, F., Zhou, J., Chen, S., & Jiang, Y. (2026). AgentFold: Long-horizon web agents with proactive context folding. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10010254
- Zhang, G., Wang, J., Chen, J., Zhou, W., Wang, K., & Yan, S. (2026). AgenTracer: Who is inducing failure in the LLM agentic systems? The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10007726
- Zhang, Q., Hu, C., Upasani, S., Ma, B., Hong, F., Kamanuru, V., Rainton, J., Wu, C., Ji, M., Li, H., Thakker, U., Zou, J. Y., & Olukotun, K. (2026). Agentic context engineering: Evolving contexts for self-improving language models. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10008343
- Zhou, H., Wan, X., Sun, R., Palangi, H., Iqbal, S., Vulić, I., Korhonen, A., & Arık, S. Ö. (2026). Multi-agent design: Optimizing agents with better prompts and topologies. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10010348