RankEvolve: A Reliable Multi-Agent Auto-Research Harness for Evolving Ranking Models

Paper: Zheng Chen; Linfeng Liu; Hong Li; Hong Yan (2026). "RankEvolve: A Reliable Multi-Agent Auto-Research Harness for Evolving Ranking Models". arXiv preprint, arXiv:2609.39551v1, 2026-09-30. 원문 · PDF.

이 글은 arXiv:2609.39551v1 원문을 기준으로 RankEvolve의 방법, HSTU 배포, ExecML 실험, 음의 결과와 저자들이 밝힌 한계를 정리한다. 논문 표지의 arXiv 헤더 날짜는 2026년 9월 30일이고, 원고 안의 Date는 2026년 8월 1일로 표시되어 있다. RankEvolve가 말하는 신뢰성은 모델 코드의 의미적 정확성을 자동으로 보장한다는 뜻이 아니라, EOP가 선언한 단계·게이트·분기·예산·checkpoint 경계를 runtime이 지키는 범위를 가리킨다.

요약

항목	논문이 보고한 내용
연구 질문	같은 관측 가능한 inference budget에서 서로 다른 coding-agent product를 조합하면 단일 product보다 executable patch의 정확도가 높아지는가?
방법	반구조화한 Executable Operating Protocol(EOP)을 state machine으로 컴파일하고, Claude Code·Codex 같은 완제품 product를 black-box adapter node로 연결한다. artifact와 negative result는 knowledge layer에 남긴다.
HSTU 배포	공개 HSTU와 MovieLens에서 12개 thematic iteration을 수행했다. ML-20M LARGE의 역사적 best-checkpoint NDCG@10은 0.2192, BASE는 0.1948이다.
ExecML 결과	HSTU 96개 private task에서 CC→Codex→CC가 62.5% EA를 기록했고, 가장 강한 matched-budget CC→CC→CC의 45.8%보다 paired +16.7 points, 95% CI [6.6, 26.7]이었다.
범위	LitGPT 96개 task에서도 forward pair가 56.2%로 CC→CC→CC의 43.8%보다 paired +12.5 points, 95% CI [3.0, 22.0]을 기록했다. 지식 계층의 독립 효과나 모든 과학적 정확성은 분리해 검증하지 않는다.

목차

1. 문제 설정과 논문 범위
2. 핵심 개념과 평가 단위
3. Executable Operating Protocol
4. 제품 수준 meta-meta-harness
5. 지식 계층과 negative result
6. HSTU 12-iteration 배포
7. ExecML: 96개 task와 oracle
8. 교차 검토 결과와 context-scope 실험
9. 결과의 의미와 적용 범위
10. 저자들이 밝힌 한계와 결론

1. 문제 설정과 논문 범위

1.1 장기 ML 연구 루프

논문은 applied ML 연구를 코드와 데이터 조사, 문헌 확인, 가설 제안, 구현, 학습, 평가, 다음 실험 선택이 반복되는 루프로 설명한다. 한 번의 실행에서 test-set leakage, 누락된 normalization, 끊어진 gradient, 연결되지 않은 train/eval flag가 발견되지 않으면 학습 시간과 metric을 함께 잃을 수 있다. GPU를 오래 사용하는 ranking 실험에서는 이런 결함이 다음 iteration의 가설과 leaderboard까지 오염시킬 수 있다는 것이 출발점이다.

RankEvolve의 대상은 임의의 업무 자동화가 아니라 공개 HSTU generative recommender를 장기적으로 진화시키는 ML-evolution 인스턴스다. 논문은 이 인스턴스에서 프로세스가 정해진 순서를 지키는 문제와 patch가 과학적으로 맞는지 확인하는 문제를 분리한다. 전자는 EOP와 runtime control이 담당하고, 후자는 evaluator·hidden oracle·review·사람 gate가 각자의 범위에서 담당한다.

1.2 핵심 질문

질문	논문에서의 설정
RQ1	coding-agent product를 조합하면 executable patch의 정확도가 높아지는가?
RQ2	HSTU에서 observable budget을 맞춰도 개선이 유지되는가? 사전 지정한 LitGPT split에서도 같은 비교를 수행한다.
RQ3	서로 다른 product의 오류 보완성이 실제 review–repair 개선을 예측하는가?
RQ4	runtime을 고정하고 active phase만 주는 prompt가 전체 EOP를 매번 주는 prompt보다 patch·decision correctness를 높이는가?

논문 §4의 네 연구 질문은 ExecML의 실행 정확도, 예산, 오류 보완성, prompt 범위에 관한 비교다. EOP와 knowledge layer는 이 평가 및 HSTU 배포를 구성하는 시스템 요소이며, knowledge layer의 독립적인 proposal-quality 효과를 추정하는 memory-on/off ablation은 수행하지 않았다.

1.3 논문의 기여가 놓인 위치

논문은 state machine, graph orchestration, checkpointing, human-in-the-loop, debate, automatic workflow design 자체를 새로 제안한다고 주장하지 않는다. StateFlow(Wu et al., 2024), LangGraph, GPTSwarm(Zhuge et al., 2024), ADAS, AFlow와 겹치는 선행 요소를 관련 연구에서 명시한다. 검색 알고리즘을 LLM으로 진화시키는 같은 이름의 시스템(Nian et al., 2026)과도 별개의 연구라고 각주에서 밝힌다. RankEvolve가 평가하는 경계는 자연어로 작성한 ML procedure를 versioned EOP로 묶고, 그 안의 work node에 완제품 coding product를 bind하는 조합이다.

HSTU 결과도 새 recommender primitive를 제안하는 실험으로 서술되지 않는다. SYNAPSE는 알려진 압축·conditioning·multi-token 요소의 조합이고, 가장 큰 ML-20M 수치는 genre metadata side-feature에서 나왔다. 따라서 시스템의 실행 통제와 HSTU의 역사적 trajectory를 각각 읽어야 한다.

2. 핵심 개념과 평가 단위

2.1 세 층의 분리

RankEvolve는 authoring, control, knowledge의 세 층을 둔다.

층	객체	논문에서 하는 일
Authoring	EOP 문서	phase, dependency, tool, gate, branch, loop를 구조 마커와 자연어 본문으로 선언한다.
Control	meta-meta-harness	EOP를 compiled state로 만들고 adapter-bound product에 작업을 보내며 routing, aggregation, gate, metric, checkpoint를 관리한다.
Knowledge	artifact/evidence와 memory	patch, run, metric, promotion 결정, negative result와 incident lesson을 provenance와 함께 저장하고 다음 phase에 선택적으로 읽힌다.

EOP phase body의 자연어는 executor에게 제공되지만 formal semantics로 취급되지 않는다. 즉 runtime은 successor phase가 열릴 수 있는지와 허용된 tool·예산을 통제하지만, body가 지시한 과학적 판단이나 코드 의미를 자동으로 증명하지 않는다.

2.2 HSTU 지표와 ExecML 지표

HSTU 배포는 leave-one-out full-test NDCG@10을 canonical metric으로 사용한다. 모든 held-out user에 대해 full-corpus ranking을 수행하며, 빠른 subset evaluation은 logged run에서 약 0.005–0.010 높게 나와 leaderboard와 분리했다. Table 1과 Table 2의 HSTU 값은 한 run의 best checkpoint를 읽은 역사적 endpoint이고 independent seed 평균이 아니다.

ExecML은 patch-level semantic correctness를 hidden oracle로 정의한다. 각 task t의 patch p가 regression, behavior, scientific-safety, evaluator-integrity 조건을 모두 통과할 때만 pass로 센다.

방법 M의 all-oracle execution accuracy는 task 집합 D에서 다음과 같이 정의된다.

여기서 r_t는 immutable repository snapshot, x_t는 change request다. CDR(silent critical-defect rate)는 patch가 runnable이지만 leakage, dead feature path, broken gradient, wrong evaluation semantics처럼 결론을 무효화할 수 있는 oracle-confirmed fault의 비율이다. 실패한 build와 CDR은 서로 다른 결과로 보고된다.

2.3 관측 가능한 예산과 의미적 정확성

논문은 product를 black box로 두기 때문에 provider-side FLOPs나 hidden hardware compute를 맞춘다고 말하지 않는다. 대신 exposed input·cached·output·reasoning token, tool action, elapsed time, dollar spend를 기록하고, frozen envelope 안에서 observable inference budget을 맞춘다고 표현한다.

이 구분은 EOP runtime contract에도 적용된다. phase dependency나 gate event가 유효하다는 것은 process transition이 허용된다는 뜻이고, 그 phase에서 만든 patch가 과학적으로 맞다는 뜻은 아니다. semantic correctness는 public regression만으로 충분하지 않을 수 있어 ExecML의 hidden oracle과 evaluator-integrity check가 별도로 사용된다.

3. Executable Operating Protocol

3.1 EOP phase와 gate

논문의 Appendix D는 ML model evolution workflow를 아래 순서로 기술한다.

Phase	주요 동작	전이와 gate
0a Set up workflow target path	clarification으로 target path를 정하고 single_choice로 modeling artifact 위치를 고른다.	두 user-input gate가 통과되어야 0b로 간다.
0b Set up model evolution strategy	paradigm-shifting, incremental, efficiency, holistic 중 strategy를 선택한다.	Phase 0a dependency 뒤 선택 gate가 있다.
1 Codebase Investigation	understand-codebase로 target codebase를 조사한다.	Phase 0b 완료 뒤 1b로 간다.
1b Investigation Review	생성된 문서를 confirmation으로 사용자에게 보여 준다.	사용자가 확인하기 전 Phase 2가 열리지 않는다.
2 Data Investigation	data, scripts, prior results, learnings를 조사한다.	auto-discover 또는 지정 경로를 사용한다.
2b Data Investigation Review	data findings를 confirmation으로 검토한다.	사용자 승인 뒤 Phase 3으로 이동한다.
3 Research & Proposal	sub-query를 나누고 parallel research와 proposal synthesis를 수행한다.	research-propose가 필수 tool이다.
3b Proposal Review & Selection	proposal id, title, impact, complexity, dependency를 제시하고 선택한다.	selected_proposal_ids가 다음 branch를 정한다.
4 Implementation, Experiment & Analysis	선택 proposal마다 task --use-proposal branch를 실행한다.	각 branch가 완료·실패하고 join state가 기록된다.
4b Summary & Evolve	결과를 요약하고 계속할지 종료할지 정한다.	continue이면 Phase 3으로 goto하여 다음 iteration을 시작한다.

Phase 4의 branch는 선택 proposal별 fan-out이고, Phase 4b의 goto는 promoted result를 다음 research cycle로 돌려보내는 loop다. case study에서 operator는 compute를 승인하고 한 over-budget experiment를 veto했으며, 새 방법 선호와 like-for-like 비교, test leakage 금지를 지시했다. 따라서 HSTU 배포에는 EOP gate와 별도로 사람의 steering이 있었다.

3.2 compiled state와 runtime contract

Protocol P는 compiled graph C(P)와 runtime state로 변환된다.

q는 active phase, V는 protocol variable, A는 committed artifact, G는 gate status, B는 live branch, R은 attempt와 budget counter, T는 append-only event trace다. 예시 typed event는 node-complete, gate-approved, branch-failed, budget-exhausted다.

runtime 경계	compile/static check와 runtime 동작	보장하지 않는 것
Dependency	phase reference와 DAG를 확인하고 predecessor 완료 전 successor를 막는다.	predecessor artifact의 과학적 정확성
Human gate	prompt와 legal continuation을 확인하고 approve/reject event 전 block한다.	사람의 결정이 옳다는 것
Branch/join	source variable, cardinality, join policy를 선언하고 지원 backend에서 branch와 join state를 기록한다.	branch 결과의 유용한 다양성
Loop/budget	loop target·exit·hard bound를 확인하고 counter가 bound에 도달하면 dispatch를 멈춘다.	agent가 최적의 중단 시점을 고르는 것
Tool requirement	tool name/schema를 resolve하고 allowlist 밖 call을 거부·기록한다.	tool argument의 과학적 타당성
Checkpoint/restart	serializable state와 artifact reference를 node 경계에 저장하고 마지막 committed boundary에서 재시작한다.	uncommitted third-party invocation 내부의 semantic rollback
Patch/evaluation	fresh sandbox에서 선언된 command와 expected output을 실행하고 hash와 결과를 기록한다.	public CI와 hidden semantic check 밖의 모든 correctness

이 표에서 runtime이 직접 통제하는 것은 admissible transition이다. phase 본문의 가설, proposal quality, metric 해석, 사람의 선택, product 내부 reasoning은 별도의 의미 판단 영역으로 남는다. 복구도 node-boundary checkpoint와 bounded retry, timeout fail-closed, restart라는 계약으로 제한된다.

3.3 full-context pilot과 controlled context ablation

논문은 전체 procedure를 한 번에 전달한 10-run pilot에서 process-faithfulness 위반을 관찰했다. 10개 run 모두 selected proposal의 일부만 실행했고, 4개는 계속하라는 자체 판단에도 조기 중단했으며, 4개는 confirmation gate를 건너뛰었다. 3개는 off-spec tool argument를 사용했고, 3개는 loop-back에서 재조사를 반복했으며, 2개는 codebase와 data investigation을 합쳤고, 3개는 기타 run-breaking deviation을 보였다. 한 run이 여러 유형에 속할 수 있으므로 위 숫자는 합산 분모가 아니다.

이 pilot은 runtime-controlled arm이 없는 historical motivation 자료다. 저자들은 control과 context delivery가 동시에 바뀌므로 EOP의 효과를 식별하지 못한다고 명시한다. 따라서 실제 비교는 Section 4.3의 fixed-runtime context-scope ablation에서 수행된다.

같은 compiled runtime checkpoint를 두 sandbox로 fork하고, graph, state, history, artifact, tool, budget, gate response, product, active instruction을 같게 둔다. G를 global preamble, H_i를 state/history, A_i를 active phase body, A_{-i}를 inactive body로 놓으면 두 prompt는 다음과 같다.

active body를 마지막에 반복하고 context limit 아래에서 길이를 통제했으며, neutral padding arm도 설명한다. 이 실험은 runtime enforcement를 고정한 채 inactive procedural content만 바꾼 비교이므로, pilot의 “full context에서 발생한 위반”과 EOP 전체 효과를 같은 결과로 읽지 않는다.

그림 1. RankEvolve의 EOP 장기 phase와 product-level work node, gate, persistent state를 함께 표시한 원논문 Figure 1. 출처: Chen, Liu, Li, & Yan (2026), RankEvolve, arXiv:2609.39551v1, Figure 1, PDF p.3. 연구·학습 목적 인용.

4. 제품 수준 meta-meta-harness

4.1 harness의 계층

논문에서 raw model은 planner, context management, tools, sandbox를 갖춘 coding-agent product에 들어간다. RankEvolve는 이 product를 다시 raw call로 분해하지 않고, product 전체를 graph의 black-box work node로 취급한다. 따라서 계층은 다음과 같이 표현된다.

raw model
  └─ coding-agent product: planner + context + tools + sandbox
       └─ RankEvolve: EOP state + adapter + routing + gates
          aggregation + metrics + checkpoint/restart

Claude Code, Codex, OpenHands는 coding 또는 review node에 bind될 수 있다. 반면 routing, aggregation, gate, metric은 deterministic runtime function이나 narrow model call일 수 있어 graph의 모든 node가 agent인 것은 아니다. 논문은 agents-as-graph-nodes 자체를 새 graph formalism으로 주장하지 않는다.

4.2 adapter contract

adapter는 task, repository snapshot, allowed tools, budget, prior artifact를 입력으로 받는다. 그 책임은 sandboxing, non-interactive invocation, timeout, usage collection이고, product 내부 planning을 관찰하거나 소유하는 것이 아니다. 반환값은 patch, terminal status, event trace, usage record다. 이 경계를 두어 서로 다른 product를 같은 runtime의 coding/review node에서 교체할 수 있게 한다.

실행 pattern	논문이 정의한 흐름	적용 경계
Linear	node chain과 loop-back	일반적인 chain이며 독점 graph formalism이 아니다.
Dual	propose → review → repair를 approval 또는 severity threshold까지 bounded round로 반복한다.	approval이 semantic oracle을 뜻하지 않는다.
BTA	split한 bounded-concurrency subtask를 worker가 처리하고 merge한다.	split·worker·merge reducer는 call site 문제에 의존한다.
PTI	plan을 gate가 승인하면 implement하고, 아니면 \bot로 끝낸다.	plan rejection이 대체 plan 생성을 보장하지 않는다.
Plan-merge	CC와 Codex lane이 draft를 교환·수정하고 merge한 뒤 review–follow-up-plan과 implement–review를 잇는다.	deployed flow는 사람이 작성했으며 자동 topology search가 아니다.

4.3 Dual과 BTA의 의사코드

논문 Appendix E의 Algorithm 1은 higher-order primitive의 interface를 sketch로 제시한다.

Dual(task, propose, review, repair, tau, K):
    y <- LLM(propose, task)
    r <- LLM(review, task, y)
    k <- 0
    while not approved(r) and severity(r) > tau and k < K:
        y <- LLM(repair, task, y, r)
        k <- k + 1
        r <- LLM(review, task, y)
    return y

BreakdownAggregate(goal, split, worker, merge):
    tasks <- LLM(split, goal)
    results <- parallel_for task: worker(task)
    return merge(results)

PlanThenImplement(task, plan, impl, gate):
    p <- LLM(plan, task)
    if gate(p): return impl(p)
    return bottom

Dual은 reviewer가 approve하거나 severity가 threshold 이하이면 repair 없이 현재 결과를 반환한다. 승인이 없더라도 K회에 도달하면 마지막 결과를 반환하므로 “항상 합의될 때까지 고친다”는 의미가 아니다. retry, fallback, timeout과 checkpoint/resume plumbing은 sketch에서 생략되고 InferencerBase와 work-graph mixin으로 설명된다.

4.4 배포된 plan-merge

Appendix F의 예시 flow는 Dual { BTA { MultiFlowDual } } topology다. num_flows=2, plan_max_breakdown=3, consensus_max_iterations=3, max_retry=3을 사용하고, 예시 listing의 기본 inferencer는 ClaudeCodeCLI다. 배포에서는 두 planning lane을 Claude Code와 Codex로 bind하고, lane이 서로 최신 draft를 보면서 revise한 뒤 merge한다. 그 뒤 review–follow-up-plan Dual과 implement–review Dual이 이어진다.

그림 2. RankEvolve가 배포한 CC∥Codex plan-merge의 원논문 Figure 4. 두 planning lane의 교차 수정, merge, follow-up-plan, implement–review 순서를 보여 준다. 출처: Chen, Liu, Li, & Yan (2026), RankEvolve, arXiv:2609.39551v1, Figure 4, PDF p.9. 연구·학습 목적 인용.

runtime은 product 내부 planner의 결정을 대신하지 않는다. 대신 node 완료, gate, branch failure, budget exhaustion과 artifact boundary를 제품 바깥에서 기록한다. 이 설계가 실제 semantic patch correctness를 높이는지는 Section 4의 hidden oracle 비교로 시험한다.

5. 지식 계층과 negative result

5.1 저장되는 evidence

knowledge layer에는 artifact/evidence store와 experiential memory가 함께 있다. proposal마다 repository와 environment hash, prompt, EOP와 product version, patch, test output, training configuration, split, checkpoint, metric, cost, promotion decision을 기록한다. leaderboard에는 성공 endpoint만 아니라 no-gain, rejected, leakage, failed run도 row로 남긴다.

기억의 위치	역할
Local note	learning이 발생한 module 또는 experiment folder 옆에 self-contained note로 남는다.
Global wiki	local note를 citation으로 삼아 여러 experiment에 걸친 원칙과 runbook을 추상화한다.
Entity graph	model, feature, metric, defect와 관련 문서 사이의 entity-level link를 만든다.
Artifact store	patch, manifest, checkpoint, evaluator provenance와 promotion 결정의 재개·추적 근거를 보존한다.

5.2 write, read, reconciliation

proactive write subagent는 세 종류의 학습을 추출한다. 실험 결과에서 무엇이 도움이 되거나 해가 되었는지, review–repair에서 반복되는 execution defect가 무엇인지, failed 또는 stalled job을 어떻게 복구했는지를 각각 기록한다. 예를 들어 HSTU의 built-in relative time bias 때문에 explicit elapsed-gap decay가 redundant하다는 finding과, 반복되는 normalization defect의 fix instruction이 같은 구조로 보존될 수 있다.

phase가 시작되면 hybrid keyword·embedding retrieval, current-context entity graph traversal, 해당 folder tree lookup을 결합한다. 그 뒤 subagent가 현재 phase에 관련된 note, wiki entry, instruction만 골라 넣는다. global wiki는 single source of truth이고 local note는 subordinate evidence다. append-only note에는 iteration, EOP phase, metric delta provenance가 붙는다.

reconciliation agent는 같은 entity에 연결된 모순을 찾아 condition-scoped conclusion으로 합친다. 더 최근이면서 evidence가 큰 note를 우선하고, superseded note는 삭제하지 않고 demote와 backlink를 유지한다. 증거만으로 해결할 수 없는 충돌은 human review로 올린다. 따라서 negative result의 persistence는 이전 실패가 항상 다음 proposal을 차단한다는 뜻이 아니라, 이후 phase가 그 결과를 다시 읽을 수 있게 한다는 뜻이다.

그림 3. 중앙 global wiki, code-resident local memory, entity graph, proactive write와 selective read를 보여 주는 원논문 Figure 5. 출처: Chen, Liu, Li, & Yan (2026), RankEvolve, arXiv:2609.39551v1, Figure 5, PDF p.24. 연구·학습 목적 인용.

5.3 지식 계층의 평가 범위

논문은 이 지식 계층을 12-iteration HSTU deployment에서 실제로 사용했다고 보고한다. negative result와 leakage incident lesson도 later phase에 전달되었다. 그러나 memory-on/off ablation은 없으므로, 관찰된 proposal quality나 model gain을 knowledge layer 하나의 marginal causal effect로 귀속하지 않는다. 이 한계는 시스템 설계의 존재와 그 독립 효과의 측정을 분리한다.

6. HSTU 12-iteration 배포

6.1 대상과 설정

대상은 public HSTU generative recommender(Zhai et al., 2024)와 public MovieLens data(Harper & Konstan, 2015)다. HSTU는 SiLU-normalized attention, fused UVQK projection, learnable relative bucketed time-and-position bias를 사용한다. 논문이 인용한 published ML-20M anchor는 BASE 0.1895, LARGE 0.2098 NDCG@10이다.

설정	BASE	LARGE
Blocks	4	16
Heads	4	8
d_{qk}=d_v	64	32
d_{emb}	256	256
Sequence length	200→500	200→500
Negatives	128	128
Temperature	0.05	0.05
Dropout	0.2, 표시된 BASE endpoint는 0.1	0.2
Learning rate	10^{-3}	10^{-3}
Optimizer	AdamW	AdamW
Similarity	DotProduct	DotProduct

workspace에는 약 55 leaderboard entry와 49 experiment directory가 있었고 1–8 NVIDIA H200에서 실행했다. 저자들은 검증할 수 없는 GPU-hour aggregate 대신 run count를 보고했다. Table 1의 iteration 번호는 여러 propose–implement–evaluate turn을 묶은 theme 번호이며 strict run ID가 아니다.

6.2 Stage I: 알려진 구성요소 조합

첫 단계는 SSD-style input compression과 PRISM user conditioning을 조합해 0.2140을 기록했다. 여기에 multi-token scoring head를 더한 SYNAPSE는 recent-intent와 long-term-preference 두 facet을 pooled token으로 만들고, per-facet normalization 아래 한 ANN call로 점수를 계산해 0.2161을 기록했다. 논문은 세 요소가 각각 선행 아이디어이며, 이 조합을 새 recommender primitive로 제시하지 않는다.

Iteration	Intervention	저자 보고 결과와 범위
0	Published HSTU anchor	ML-20M LARGE 0.2098
1–2	Input compression + PRISM	0.2140, anchor 대비 +2.0%
3	Multi-token scoring head	0.2161, anchor 대비 +3.0%
4	DPO, IPO, SimPO	모두 ranking quality 하락; DPO는 own reference 대비 −35.9%
5	FLUID elapsed-gap decay	SYNAPSE와 tie; HSTU의 learnable time bias와 중복
6	Failure-overlap diagnostic	0.2127 checkpoint에서 overlap 75.2%, descriptive diagnostic
7	Focal/tail reweighting	세 bug 수정 뒤 9 runs에서 lift 없음
8	MPTA multi-position augmentation	0.2154, 0.2140 stack 대비 +0.7%, checkpoint noise 안이며 새 best 아님
9	Additive genre side-feature UDK	0.2192, published LARGE anchor 대비 +4.48%
10	Position-averaged TTA	약 0.2190, gain 없음
11	Genre/year/popularity channels	약 0.2192에서 saturation
12	Inference boost-last-K와 새 방법	inference variants는 ±0.0003 안; training variant와 새 방법은 미완료

6.3 Preference optimization의 음의 결과

저자들은 DPO(Rafailov et al., 2023)를 추천에 적용하고 IPO와 SimPO(Meng et al., 2024)도 Table 13에서 함께 비교했다. DPO는 true next item을 chosen으로, base model의 top non-target prediction을 rejected로 삼아 학습했다. DPO 0.1405, IPO 0.2012, SimPO 0.1798로, 공통 reference 0.2191보다 모두 낮았다. DPO의 상대 변화는 (0.1405-0.2191)/0.2191\approx-35.9%다.

세 방법의 preference accuracy는 거의 1.0에 가까웠지만 downstream ranking quality는 하락했다. 저자들은 rejected item이 target과 약 0.236 genre Jaccard를 공유하여 partially co-relevant item을 체계적으로 devalue했을 가능성을 분석했다. internal position만으로 leak-free preference pair를 다시 만들면 collapse는 사라졌지만 \Delta\approx0에 가까운 변화로 끝났다. 이 결과는 preference objective가 이 retrieval objective와 맞지 않을 수 있다는 저자들의 진단으로 제시된다.

6.4 leakage와 진단 사건

genre side-feature의 v1은 genre 정보를 loss의 item-embedding lookup에 주입했다. 그 결과 positive는 genre 정보를 얻고 sampled negative는 대칭적으로 얻지 못해 training loss가 0으로 붕괴했고, evaluation이 0.2163으로 잠깐 상승한 뒤 악화했다. agent는 이 비정상 trajectory를 보고 genre를 encoder input path에만 더하고 supervision은 raw item embedding으로 계산하는 v2로 수정했다.

수정된 genre fine-tuning은 \alpha=0.05, \alpha=0.10, \alpha=0.20에서 각각 약 0.2192, 0.2192, 0.2191이었다. from-scratch \alpha=0.10 run의 epoch-26 값 0.1911은 미완료 run으로 endpoint가 아니다.

failure-overlap diagnostic은 last held-out item failure와 internal position failure의 공통 user를 측정했다.

ML-20M에서 last-position failures의 75.2%가 second-last와 겹쳤고, second·third·fourth-last union과는 88.8%가 겹쳤다. per-item failure rate 상관은 약 r=0.60이었다. 이 분석에서 나온 training-side boost-last-K는 held-out target을 건드리지 않고 internal position weight를 바꾸는 가설이다.

이 variant의 runs는 study 안에 끝나지 않아 결과 endpoint가 보고되지 않았다.

6.5 다른 음의 결과와 cross-dataset replay

focal/tail reweighting은 0-frequency padding threshold, unnormalized focal weight, unnormalized tail-\alpha bug를 각각 수정하고 unit test를 추가했지만 9개 run에서 lift가 없었다. position-averaged test-time augmentation은 각 position의 target이 서로 달라 공유 label이 없다는 이유로 거부되었다. naive multi-position evaluation이 0.2192를 0.2517 또는 0.2577로 부풀린 것은 leakage로 진단되었고, 한 measured run은 약 0.2190이었다. sequence length를 500에서 700으로 늘린 실험은 wall-time이 35% 늘면서 NDCG@10이 하락했다.

완성된 SYNAPSE와 UDK recipe는 Foursquare-TKY, Foursquare-NYC, Gowalla, Yelp에 dataset-specific retuning 없이 replay했다.

Dataset	Vanilla	+SYNAPSE	++UDK
Foursquare-TKY	0.0181	0.0200 (+10%)	0.0202 (+12%)
Foursquare-NYC	0.0156	0.0180 (+15%)	0.0195 (+25%)
Gowalla	0.0441	0.0460 (+4.3%)	0.0467 (+5.9%)
Yelp	0.0321	0.0359 (+11.8%)	0.0382 (+19.0%)

Table 3의 각 cell은 one run이며 canonical full-test metric이다. ML-20M에서 UDK는 0.2140 stack에서 fine-tune했으므로, cross-dataset replay의 provenance와 ML-20M Stage III endpoint를 같은 학습 경로로 읽지 않는다.

7. ExecML: 96개 task와 oracle

7.1 task 구성

ExecML은 HSTU deployment에서 관찰된 incident를 seed로 만든 private benchmark다. HSTU repository와 LitGPT repository 각각에 implementation 48개, repair 48개, development-only 32개를 둔다. 따라서 repository별 private task는 96개이고, 두 repository의 private task는 192개다.

Repository	Domain	Implementation	Repair	Development	Private
HSTU codebase	Recommendation	48	48	32	96
LitGPT	Language-model training	48	48	32	96
합계	두 ML domain	96	96	64	192

여섯 incident family는 data provenance와 leakage, tensor routing, gradient flow, train/eval mode, metric semantics, configuration wiring이다. 각 task는 immutable snapshot, change request, hidden executable oracle을 가진다. 처음 acceptance check는 실패해야 하고, curator reference patch는 모든 oracle을 통과하도록 두 번째 curator가 독립 확인한다.

7.2 oracle과 curation controls

oracle은 네 조건을 모두 요구한다. regression suite C_t, task-specific behavior check A_t, scientific-safety invariant S_t, evaluator-integrity check T_t다.

PASS = regression ∧ behavior ∧ scientific safety ∧ evaluator integrity

hidden test, reference patch, repository history, network access는 agent sandbox에서 제거했다. evaluator file은 read-only이고 hash-checked다. related incident와 near-duplicate patch는 같은 split에 둔다. mutation testing과 stratified human audit은 missed defect를 추정하는 보조 절차다.

이 조건은 EOP runtime의 admissible transition과 ExecML semantic patch correctness를 분리한다. runtime이 gate를 통과시켰다고 oracle이 pass하는 것은 아니며, oracle pass도 모든 가능한 과학적 오류를 보장한다고 해석되지 않는다. 논문은 CDR을 runnable patch 안에 남은 critical scientific fault의 별도 비율로 보고한다.

7.3 제품과 비교 조건

Claude Code는 Claude Opus 4.8, Codex는 GPT-5.6으로 실행했고 둘 다 maximum reasoning-effort setting을 사용했다. 모든 조건은 fresh sandbox, 같은 snapshot, tools, network policy, prompt, timeout에서 randomized order로 시작했다.

조건	설명
CC one-pass	unmatched cheap reference다.
CC extended budget	full composition budget을 한 continuous CC session에 준다.
CC best-of-N + blind selection	독립 CC candidates를 만들고 oracle-blind selection/repair를 한다.
CC→CC→CC	homogeneous implement–review–repair다.
CC→Codex→CC	heterogeneous forward pair이며 HSTU primary hypothesis다.
Codex→CC→Codex	reversed ordering을 비교한다.
Plan-merge	CC∥Codex planning lane을 쓰는 second-stage deployed topology다.

development task에서 total resource envelope B를 private run 전에 고정했다. matched stage-1 rows는 세 role, per-node limit, allowed tools, action cap, wall-clock cap, total inference-spend cap을 공유한다. timeout, crash, overrun은 실패로 분모에 남긴다. 논문이 맞추는 것은 observable inference budget이고 provider-side FLOPs의 동일성은 주장하지 않는다.

8. 교차 검토 결과와 context-scope 실험

8.1 Table 4의 stage-1 결과

각 repository에는 96 task가 있고, Table 4의 ±는 95% task-clustered interval이다. stage-1 rows 2–6은 frozen envelope B에 맞춰져 있으며 one-pass CC는 비교를 위한 unmatched cheap reference다. plan-merge row는 stage-1 unblinding 뒤의 second-stage natural-cost 결과로 primary matched-budget contrast에 포함되지 않는다.

Condition	HSTU EA	HSTU CDR	LitGPT EA	LitGPT CDR	Cost/task	Tool actions
CC, one pass	22.9 ± 10.5	35.4 ± 12.0	20.8 ± 10.1	37.5 ± 12.1	$0.41	37
CC, extended budget B	33.3 ± 11.8	27.1 ± 11.1	29.2 ± 11.4	29.2 ± 11.4	$0.98	94
CC best-of-N	43.8 ± 12.4	18.8 ± 9.8	39.6 ± 12.2	20.8 ± 10.1	$0.95	90
CC→CC→CC	45.8 ± 12.5	16.7 ± 9.3	43.8 ± 12.4	18.8 ± 9.8	$0.97	103
CC→Codex→CC	62.5 ± 12.1	10.4 ± 7.6	56.2 ± 12.4	12.5 ± 8.3	$1.02	109
Codex→CC→Codex	56.2 ± 12.4	12.5 ± 8.3	50.0 ± 12.5	14.6 ± 8.8	$1.00	106
Plan-merge, second stage	70.8 ± 11.4	6.2 ± 6.0	64.6 ± 12.0	8.3 ± 6.9	$2.40	250

HSTU에서 forward pair의 primary contrast는 strongest matched-budget baseline인 CC→CC→CC와 비교한다. 62.5% 대 45.8%로 paired lift는 +16.7 points, 95% CI는 [6.6, 26.7], p<0.001이었다. 20개 discordant task에서 18개를 rescue하고 2개를 깨뜨렸다고 보고했다.

LitGPT에서는 56.2% 대 43.8%로 paired +12.5 points, 95% CI [3.0, 22.0], p=0.008이었다. 이 LitGPT contrast는 사전에 지정되었고, 결과가 양수인지 여부와 관계없이 보고하는 transfer split이었다.

8.2 plan-merge와 방향성

plan-merge는 자연 비용에서 HSTU 70.8%, LitGPT 64.6%로 Table 4의 최고 EA였지만, 약 $2.40/task, 250 actions의 uncapped second-stage 조건이다. 동시대 re-run comparator와 비교한 HSTU paired lift는 +8.3 points, 95% CI [−0.7, 17.3], exact McNemar p=0.077이었다. 68/96 대 60/96, 16 discordant task에서 12 rescue와 4 regression을 보고했다.

budget-capped plan-merge는 HSTU 62.5%로 CC→Codex→CC와 tie했고 paired difference는 0.0 points, 95% CI [−5.5, 5.5]였다. 따라서 저자들의 primary confirmatory weight는 stage-1 heterogeneous pair에 놓이며, 특정 plan-merge topology의 fixed-budget 우월성으로 확장하지 않는다.

reverse pair인 Codex→CC→Codex는 HSTU 56.2%, LitGPT 50.0%였다. 논문은 어느 product가 implement하고 어느 product가 review하는지의 방향도 함께 관찰한다.

8.3 complementarity와 reviewer harm

제품 a의 independent critical failure를 E_a, marginal failure rate를 p_a라 하고, reviewer b가 제공하는 방향성 보완 질량을 다음과 같이 정의한다.

binary phi correlation \rho_{ab}를 사용하면 다음과 같이 쓸 수 있다.

review가 새 결함을 만들 수 있으므로 realized gain은 rescue만 세지 않고 harm을 뺀다.

Table 9에서 HSTU의 CC←Codex는 \rho=0.21, D=0.175, G=0.061, rescue/harm 0.09/0.03으로 보고되었다. 동일 product인 CC←CC는 \rho=0.58, D=0.104, G=-0.01, rescue/harm 0.04/0.05이었다. 저자들은 product diversity를 그 자체로 주장하기보다, complementary error가 실제 detect·repair로 전환되는 효율까지 포함한 decorrelation mechanism으로 설명한다. 혼합효과 회귀에서 \hat\beta_1=0.34, 95% CI [0.12, 0.56]을 보고했고, 이 complementarity는 causal proof가 아니라 predictive evidence라고 제한한다.

8.4 context-scope의 실제 paired comparison

같은 compiled runtime과 product를 유지한 context-scope ablation의 수치는 다음과 같다.

Injection policy	Early EA	Middle EA	Late EA	CDR	Wrong decision	Input tokens	Cost
Current-step only	64.6	58.3	52.1	11.5	8.3	4.9k	$0.71
Full protocol	62.5	52.1	41.7	17.7	16.7	9.8k	$1.28
Paired difference	+2.1	+6.2	+10.4	−6.2	−8.3	−4.9k	−$0.57

current-step only는 late phase에서 +10.4 points, CDR에서 −6.2 points, wrong decision에서 −8.3 points의 paired 차이를 보였다. 입력 token과 비용도 각각 4.9k와 약 $0.57만큼 낮았다. 이 표는 full-context pilot과 달리 runtime graph와 state를 양 arm에서 동일하게 유지한 actual controlled comparison이다. 따라서 결과의 직접적 대상은 EOP compiled runtime 전체가 아니라 inactive phase body를 active phase와 함께 주는 prompt policy다.

9. 결과의 의미와 적용 범위

9.1 process reliability와 semantic correctness

논문이 제시한 두 결과 축은 서로 다른 단위를 가진다. EOP 결과는 phase 순서, gate, branch/join, loop budget, tool allowlist, checkpoint/restart가 선언된 contract 안에서 작동하는지에 관한 것이다. ExecML 결과는 hidden oracle이 regression, behavior, scientific safety, evaluator integrity를 모두 통과한 patch 비율에 관한 것이다.

따라서 runtime이 gate-approved를 기록해도 patch의 gradient가 연결되었다는 뜻은 아니다. 반대로 ExecML의 hidden executable oracle을 모두 통과해도 네 check 범위 밖의 모든 과학적 오류를 제거한다고 주장하지 않는다. 논문은 이 경계를 Table 7과 conclusion의 semantic correctness limitation으로 반복한다.

9.2 HSTU 결과와 product composition 결과의 관계

HSTU deployment는 12개 thematic iteration의 historical case history다. 0.2192 LARGE와 0.1948 BASE는 published ML-20M anchors와 비교한 best-checkpoint endpoint이며, independent seed 평균이나 fresh-seed causal estimate가 아니다. ML-32M의 0.1562와 0.1726은 internal reproduction reference이므로 published HSTU baseline 대비 결과로 읽지 않는다.

ExecML은 별도의 private task benchmark다. 여기서 62.5%와 45.8%는 NDCG relative gain이 아니라 96개 task의 all-oracle execution accuracy percentage다. HSTU의 +4.48%와 ExecML의 +16.7 points는 서로 다른 평가 단위이므로 같은 종류의 성능 향상으로 합치지 않는다.

9.3 negative evidence를 포함한 연구 loop

논문은 failed preference optimization, focal/tail no-lift, TTA leakage, length-700 degradation, 미완료 training-side boost를 leaderboard와 narrative에 남긴다. 이 기록은 다음 proposal이 같은 가정을 무비판적으로 반복하지 않도록 하는 knowledge layer의 입력이다. 그러나 12 iteration 안에서 genuine architectural novelty가 보고되지는 않았고, 저자들은 agent가 기존 add-on을 쌓는 방향을 먼저 택하는 경향을 기술한다.

HSTU cross-dataset replay는 네 dataset에서 +SYNAPSE와 ++UDK가 vanilla보다 높은 one-run cell을 보였지만, 각 cell 하나의 canonical full-test run이다. LitGPT는 product composition이 recommender 밖의 Python/PyTorch training repository에서도 같은 방향으로 나타나는지 보기 위한 사전 지정 transfer다. 두 결과 모두 논문이 명시한 domain 범위 안에서 읽는다.

9.4 human operator와 배포 맥락

HSTU case study에는 protocol gate에서 compute를 승인·거부하고 방향을 제시한 human operator가 있었다. 따라서 그 deployment 결과는 agent만의 contribution과 operator steering을 분리한 실험이 아니다. 반면 ExecML conditions에는 human-in-the-loop가 없다. 저자들은 이 두 맥락을 결론에서 분리하고, product-composition claim은 hidden-oracle evaluation의 matched observable budget 결과에 둔다.

10. 저자들이 밝힌 한계와 결론

10.1 저자들이 밝힌 한계

논문이 conclusion에서 직접 밝힌 제한은 다음과 같다.

1. Evidence base: HSTU ranking codebase 하나와 LitGPT 하나뿐이며 둘 다 Python/PyTorch이므로 cross-domain transfer가 완전히 확립되지 않았다.
2. Pretraining contamination: 공개 repository가 평가 product의 pretraining에 포함되었을 가능성이 있다. private task, hidden test, private reference patch가 이를 줄이지만 제거한다고 주장하지 않는다.
3. Oracle completeness: mutation testing과 human audit은 false pass를 줄일 뿐 hidden oracle이 모든 semantic defect를 포착한다고 보장하지 않는다.
4. Black-box product: observable token, action, time, cost는 맞출 수 있지만 provider-side FLOPs는 맞출 수 없다.
5. Complementarity: error complementarity는 predictive evidence이며 causal identification이 아니다. rescue와 harm은 직접 측정하지만 그 관계의 인과적 해석은 제한된다.
6. Cumulative divergence: checkpoint forking은 장기 누적 divergence를 과소평가할 수 있다.
7. Knowledge layer: HSTU 배포에서 active였지만 memory-on/off ablation이 없어 marginal proposal-quality effect를 분리하지 못한다.
8. Human operator: HSTU에는 gate operator와 high-level steering이 있었고, ExecML에는 human-in-the-loop가 없으므로 두 결과를 같은 실행 조건으로 일반화하지 않는다.
9. Cross-dataset transfer: HSTU의 추가 dataset 결과는 one run per cell이다.

10.2 결론

RankEvolve의 EOP는 versioned natural-language procedure에서 구조 marker를 추출해 phase와 runtime state를 만들고, dependency·gate·branch·loop budget·tool allowlist·checkpoint 경계를 관리한다. meta-meta-harness는 raw model call 대신 Claude Code, Codex, OpenHands 같은 완제품 coding product를 adapter-bound work node로 연결한다. knowledge layer는 artifact provenance, local note, global wiki, entity graph, negative result를 하나의 장기 실행 기록으로 묶는다.

HSTU deployment에서 저자들은 ML-20M LARGE 0.2192와 BASE 0.1948을 보고했고, preference optimization 붕괴와 leakage incident를 숨기지 않았다. ExecML에서는 HSTU 96 task의 CC→Codex→CC가 62.5% EA로 CC→CC→CC의 45.8%를 넘어 paired +16.7, 95% CI [6.6, 26.7]을 기록했다. LitGPT 96 task에서도 +12.5, 95% CI [3.0, 22.0]이 보고되었다. plan-merge의 자연 비용 최고점은 fixed-budget primary result가 아니며, current-step context 결과는 같은 runtime의 paired ablation이다.

논문의 최종 주장은 “runtime control이 semantic correctness를 자동 보장한다”가 아니다. 저자들이 고정한 관측 가능한 예산과 hidden oracle 안에서, 서로 다른 product의 review–repair 조합이 하나의 product를 더 오래 실행하는 것보다 높은 execution accuracy를 보일 수 있다는 것이다. 그 주장의 적용 범위는 HSTU와 LitGPT라는 두 Python/PyTorch repository에서 private task와 hidden executable oracle로 구성한 평가 조건, 저자들이 밝힌 한계 안에 있다.

References

Chen, Z., Liu, L., Li, H., & Yan, H. (2026). RankEvolve: A reliable multi-agent auto-research harness for evolving ranking models (Version 1, arXiv:2609.39551) [Preprint]. arXiv. https://arxiv.org/abs/2609.39551v1

Harper, F. M., & Konstan, J. A. (2015). The MovieLens datasets: History and context. ACM Transactions on Interactive Intelligent Systems, 5(4), 1–19. https://doi.org/10.1145/2827872

Meng, Y., Xia, M., & Chen, D. (2024). SimPO: Simple preference optimization with a reference-free reward. Advances in Neural Information Processing Systems, 37. https://arxiv.org/abs/2405.14734

Nian, J., Li, F., Park, D. H., & Fang, Y. (2026). RankEvolve: Automating the discovery of retrieval algorithms via LLM-driven evolution [Preprint]. arXiv. https://arxiv.org/abs/2602.16932

Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. Advances in Neural Information Processing Systems, 36. https://arxiv.org/abs/2305.18290

Wu, Y., Yue, T., Zhang, S., Wang, C., & Wu, Q. (2024). StateFlow: Enhancing LLM task-solving through state-driven workflows. First Conference on Language Modeling. https://openreview.net/forum?id=3nTbuygoop

Zhai, J., Liao, L., Liu, X., Wang, Y., Li, R., Cao, X., Gao, L., Gong, Z., Gu, F., He, J., Lu, Y., & Shi, Y. (2024). Actions speak louder than words: Trillion-parameter sequential transducers for generative recommendations. Proceedings of the 41st International Conference on Machine Learning. https://proceedings.mlr.press/v235/zhai24a.html

Zhuge, M., Wang, W., Kirsch, L., Faccio, F., Khizbullin, D., & Schmidhuber, J. (2024). GPTSwarm: Language agents as optimizable graphs. Proceedings of the 41st International Conference on Machine Learning, 235, 62743–62767. https://proceedings.mlr.press/v235/zhuge24a.html

Keywords: RankEvolve, executable operating protocol, coding-agent product composition, HSTU, ExecML, execution accuracy, negative results Author: PaperWiki Last Updated: 2026-10-31