SkillOpt: Executive Strategy for Self-Evolving Agent Skills

SkillOpt가 동결된 모델의 가중치 대신 외부 스킬 문서를 학습 가능한 텍스트 상태로 두고, rollout 증거·held-out gate·reject buffer로 안정화하는 과정을 분석한다.

Jiphyeonjeon Team2026-07-1228 min read
SkillOptAgentSkillsTextGradPromptOptimizationPaperReview

Paper: Yang, Yifan; Gong, Ziyang; Huang, Weiquan; Yang, Qihao; Zhou, Ziwei; Huang, Zisu; Li, Yan; Gao, Xuemei; Dai, Qi; Liu, Bei; Qiu, Kai; Yang, Yuqing; Chen, Dongdong; Yang, Xue; Luo, Chong. "SkillOpt: Executive Strategy for Self-Evolving Agent Skills." arXiv:2605.23904 (v2, 2026-05-25), Microsoft, 2026. Code: aka.ms/SkillOpt, github.com/microsoft/SkillOpt.

SkillOpt는 대상 LLM의 가중치를 재학습하지 않고 외부 스킬 문서를 딥러닝식 텍스트 최적화 루프(rollout 증거 기반 편집, 유계 편집 예산, held-out gate, reject buffer)로 반복 개선하는 에이전트 스킬 자동 최적화 프레임워크다(Yang et al., Microsoft, arXiv:2605.23904, 2026). 평가된 52개 (모델,벤치마크,하네스) 셀 전부에서 동률 또는 최고를 달성했으며, GPT-5.5의 6개 벤치마크 평균을 no-skill 58.8에서 82.3으로 끌어올렸다.

Abstract: 본 문서에서는 동결(frozen)된 대상 모델의 가중치를 건드리지 않고, 외부 텍스트 상태인 "스킬 문서(skill document)"를 딥러닝의 파라미터처럼 학습시키는 SkillOpt의 방법적 프레임워크를 체계적으로 분석한다. 특히 rollout 증거로부터 편집 방향을 유도하는 forward/backward pass, 편집 예산(L_t)을 텍스트 학습률로 삼는 스케줄링, held-out selection gate와 rejected-edit buffer로 구성된 안정화 장치, 그리고 slow/meta 업데이트의 설계 근거를 순차적으로 해설한다. 아울러 저자가 보고한 "52개 셀 전부 최고 또는 동률" 헤드라인을 원 데이터 구조(7×6×3=126 격자의 부분집합)와 방법론적 전제에 비추어 비판적으로 할인해서 읽는 시각을 제공한다. 이를 통해 SkillOpt가 프롬프트 최적화 계보에서 차지하는 위치와 그 실용적·연구적 함의를 정리한다.

Executive Summary

항목 설명
연구 질문 대상 모델의 가중치를 재학습하지 않고, 에이전트의 외부 스킬 문서를 딥러닝식 최적화 루프로 "훈련"하여 검증 가능한 과제 성능을 체계적으로 끌어올릴 수 있는가?
핵심 기여 스킬 문서를 학습 가능한 텍스트 상태로 정식화하고, DL 최적화(파라미터↔문서, gradient↔궤적 유도 편집, learning rate↔편집 예산, validation↔held-out gate, momentum↔slow/meta, 실패 업데이트↔reject buffer)를 텍스트 공간에 대응시킨 SkillOpt 프레임워크. 편집을 유계(bounded)로 제한하고 held-out strict gate와 rejected-edit buffer로 안정화한 점이 핵심 차별점
방법적 결과 forward(rollout 증거) → backward(minibatch reflection: 실패/성공 분리) → bounded add/delete/replace 편집 → merge/budget(L_t) → held-out selection gate(strict improvement) → reject buffer(음의 피드백) → epoch-wise slow/meta 업데이트 → best_skill.md export의 폐루프. 산출 스킬은 379–1,995 토큰, 채택 편집 1–4회(중앙값 2.5), 배포 시 추가 추론 호출 0회
실험 결과 저자 보고 기준, 평가된 52개 (모델,벤치마크,하네스) 셀 전부에서 최고 또는 동률. GPT-5.5의 no-skill 대비 향상 +23.5(direct chat)·+24.8(Codex)·+19.1(Claude Code), 6개 벤치마크 평균 82.3 vs 58.8, oracle-of-competitors 대비 격차 +5.4(82.3 vs 76.9), 모델별 평균 향상 ≈ +17.6. 단, 52는 126 격자의 curated 부분집합이며 strict-best/tied-best 분해는 미보고

TL;DR — (1) SkillOpt는 스킬 문서를 학습 가능한 텍스트 상태로 정식화하고 DL 최적화를 텍스트 공간에 대응시켜, 모델 가중치 변경 없이 에이전트 스킬을 자동 개선하는 프레임워크다. (2) 평가된 52개 셀 전부에서 동률 또는 최고를 기록했으며, GPT-5.5 기준 Codex 하네스에서 no-skill 대비 +24.8, 6개 벤치마크 평균 82.3 vs 58.8을 달성했다. (3) 평가된 52셀은 126개 전체 격자의 일부이며 strict-best와 tied-best의 분해가 미보고돼 있고, 배포된 스킬의 도메인 외 전이 성능은 정성적 수준에 그친다.

목차

  1. 서론
  2. 예비 지식
  3. 방법적 프레임워크
  4. SkillOpt 아키텍처 심층
  5. 기존 방법과의 비교
  6. 안정화 장치의 설계 근거
  7. 실험 결과 및 분석
  8. 방법적 한계와 확장
  9. 결론

1. 서론

1.1 연구 배경: 왜 agent skill이 성능을 좌우하는가

대형 언어 모델(LLM)을 에이전트로 배치할 때, 실제 과제 성능을 좌우하는 것은 종종 모델 가중치 자체가 아니라 모델에게 주어지는 외부 지식·절차 문서다. 검색 에이전트가 어떤 순서로 도구를 호출해야 하는지, 스프레드시트 에이전트가 수식을 재계산에 의존하지 않고 어떻게 처리해야 하는지 같은 절차적 지식은 모델 파라미터 안에 잘 인코딩되어 있지 않으며, 외부 텍스트로 주입해야 행동으로 이어진다. 이러한 외부 절차·전략 문서를 이 논문은 agent skill(스킬 문서)이라 부른다.

문제는 이 스킬 문서를 얻는 기존 방식들이 모두 구조적 약점을 가진다는 데 있다. 세 가지 대표적 실패 양상을 정리하면 다음과 같다.

  • 손작성(hand-authored) 스킬: 전문가가 직접 작성하므로 초기 품질은 높지만, 대상 모델·하네스·벤치마크의 실제 실패 패턴을 반영하지 못한다. 사람이 상상한 실패와 모델이 실제로 저지르는 실패는 어긋난다.
  • 원샷(one-shot) LLM 스킬: LLM에게 한 번에 스킬을 작성시키는 방식은 확장성은 좋으나, 실제 rollout 증거 없이 생성되므로 과제 분포와 무관한 일반론에 머문다.
  • 느슨한 self-revision: 모델이 스스로 스킬을 반복 수정하게 하되 통제 장치가 없으면, 편집이 발산하거나(large semantic jump), 특정 검증 셋에 국소 과적합(local overfit)하거나, 유익한 규칙을 유해하게 덮어쓰는(harmful rewrite) 문제가 반복된다.

SkillOpt의 출발점은 이 세 실패를 딥러닝 최적화의 규율(discipline) 로 흡수하자는 것이다. 딥러닝이 가중치를 무작정 바꾸지 않고 gradient·learning rate·validation·momentum이라는 통제 장치 아래 갱신하듯, 스킬 문서 역시 동일한 규율 아래 "훈련"할 수 있다는 착상이다.

fig1-overview 그림 1. SkillOpt 개요 — loss landscape 위에서 진행되는 최적화와, 딥러닝 최적화 구성요소를 텍스트 공간에 대응시킨 표. 동결된 대상 모델의 가중치 대신 외부 스킬 문서가 "학습되는 상태"로 취급된다. — SkillOpt(arXiv:2605.23904) Figure 1, 연구·학습 목적 인용.

1.2 핵심 질문

질문 내용
Q1 대상 모델을 동결한 채, 외부 스킬 문서만을 학습 가능한 상태로 두고 딥러닝식 최적화 루프로 갱신하면 검증 가능한 과제에서 체계적 성능 향상을 얻을 수 있는가?
Q2 텍스트 공간에서 편집이 발산·과적합·유해 재작성으로 무너지지 않도록 하려면 어떤 안정화 장치(편집 유계화·held-out gate·reject buffer·slow/meta)가 필요한가?
Q3 이렇게 학습된 스킬은 다른 모델·하네스·벤치마크로 전이되는가, 그리고 그 향상은 어떤 조건(예: optimizer 강도)에 의존하는가?

1.3 학술적 위치

SkillOpt는 arXiv(2026, Microsoft)에 공개된 시스템/방법 논문이다. 계보상으로는 TextGrad가 연 "텍스트 공간에서의 기울기 기반 최적화" 흐름에 속하며, GEPA로 대표되는 반성적 프롬프트 진화 계열을 직접적 비교 대상으로 삼는다. 다만 SkillOpt의 초점은 프롬프트가 아니라 재사용 가능한 에이전트 스킬 문서이며, 딥러닝 최적화의 안정화 장치들을 텍스트 공간에 이식했다는 점에서 계열 내에서 "안정화 지향" 변주로 위치한다.

2. 예비 지식

이 절은 이후 방법 해설을 위해 필요한 최소 개념을 정의 블록·수식·표로 정리한다.

Definition 1 (Agent skill). 에이전트 스킬은 대상 모델에게 외부에서 주입되는, 과제 수행을 위한 절차적·전략적 텍스트 상태 s다. 이는 (i) 시스템 프롬프트(역할·톤 규정), (ii) 지식 문서(사실·레퍼런스 제공)와 구분된다. 스킬은 "무엇을 아는가"가 아니라 "이 과제 분포에서 어떻게 행동해야 하는가"를 담으며, SkillOpt에서는 이 s가 학습되는 대상이다.

프롬프트/지식문서와의 구분을 표로 정리하면 다음과 같다.

구분 담는 것 학습 대상 여부(SkillOpt)
시스템 프롬프트 역할·형식·톤 아니오(고정)
지식 문서 사실·레퍼런스 아니오(외부 주입)
에이전트 스킬 s 과제 분포별 절차·전략 예(최적화 상태)

Definition 2 (Text-space optimization, TextGrad 계보). 텍스트 공간 최적화는 수치 파라미터 대신 자연어 텍스트를 최적화 변수로 두고, LLM의 자연어 피드백을 "텍스트 기울기(textual gradient)"로 삼아 텍스트를 반복 갱신하는 패러다임이다. 미분 가능성이 아니라 LLM의 반성(reflection) 이 갱신 신호를 생성한다.

Definition 3 (Verifiable-reward task & scalar verifier). 검증 가능 보상 과제는 어떤 rollout τ에 대해 스칼라 점수를 반환하는 검증기 V(τ) ∈ ℝ(또는 {0,1})가 존재하는 과제다. 예: 정답 일치, 셀 값 일치, 실행 성공 여부. SkillOpt의 selection gate와 보상 신호는 이 스칼라 검증기에 의존한다. 따라서 검증기가 명확한 과제에서만 방법이 온전히 작동한다(§8의 한계와 직결).

Definition 4 (Rollout / Trajectory). 스킬 s를 주입한 대상 모델이 과제 인스턴스 x에 대해 도구 호출·중간 추론·최종 응답으로 이어지는 실행 계열을 생성한 것을 rollout(궤적) τ = Rollout(model, s, x)라 한다. τ는 검증기 점수 V(τ)와 함께, 무엇이 통했고 무엇이 실패했는지에 대한 증거 텍스트를 제공한다. 이 증거가 backward pass의 원재료다.

Definition 5 (Train/Selection/Test split). 데이터는 세 분할로 나뉜다. D_tr(rollout을 돌려 편집을 유도), D_sel(held-out selection gate가 편집 채택을 판정), D_test(최종 unseen 평가). 핵심은 D_sel이 D_tr과 분리되어 과적합을 억제하는 관문 역할을 한다는 점이며, 동시에 D_sel 자체가 D_test의 대표성을 얼마나 갖느냐가 방법의 취약점이 된다.

마지막으로, SkillOpt의 설계 은유를 이루는 딥러닝↔텍스트공간 대응표를 정리한다. 중요: 이 대응은 설계 휴리스틱이지 정리(theorem)가 아니다. 수렴 증명·loss landscape 분석·bound는 논문에 없으며, 이 표는 직관을 조직하는 장치일 뿐이다(§3에서 재강조).

딥러닝 개념 SkillOpt의 텍스트공간 대응
학습 파라미터 θ 스킬 문서 s
gradient ∇L 궤적에서 유도된 편집 방향(무엇을 add/delete/replace할지)
learning rate η 편집 예산 L_t(한 스텝에 허용되는 편집 규모)
minibatch rollout 소집합에 대한 실패/성공 반성
validation set held-out selection gate(D_sel)
momentum slow/meta 업데이트(epoch 단위 누적)
거부된/발산한 업데이트 rejected-edit buffer(음의 피드백 메모리)
best checkpoint export best_skill.md

3. 방법적 프레임워크

3.1 최적화 문제로서의 정식화

SkillOpt는 스킬 학습을 다음 형태의 최적화로 정식화한다. 대상 모델 M은 동결이고, 최적화 변수는 스킬 문서 s다.

s* = argmax_s   E_{x ~ D_test} [ V( Rollout(M, s, x) ) ]

이 목적함수는 미분 불가능하므로, SkillOpt는 gradient descent를 텍스트 반성 기반의 유계 편집(bounded edit) 으로 치환한 폐루프로 근사한다. 한 스텝 t의 개념적 갱신은 다음과 같다.

Δs_t = Backward( { (τ, V(τ)) : τ ~ Rollout(M, s_t, minibatch ⊂ D_tr) } )   # 텍스트 기울기
s_{t+1}^cand = Apply( s_t, Bound(Δs_t, L_t) )                              # 유계 편집(add/delete/replace)
s_{t+1} = Gate_{D_sel}( s_t, s_{t+1}^cand )                                # strict improvement면 채택, 아니면 기각→reject buffer

3.2 Forward pass — rollout 증거 수집

Forward pass는 현재 스킬 s_t를 주입한 상태로 D_tr의 minibatch에 대해 rollout을 실행하고, 각 궤적에 검증기 점수 V(τ)를 부여한다. 산출물은 (성공/실패 라벨이 붙은) 궤적 증거 집합이며, 이것이 다음 단계의 "관측된 손실 신호" 역할을 한다.

3.3 Backward pass — minibatch reflection(실패/성공 분리)

Backward pass는 minibatch 궤적을 실패 사례와 성공 사례로 분리하여 반성한다. 실패 궤적에서는 "무엇이 부족했는가 → 어떤 규칙을 추가/수정해야 하는가"를, 성공 궤적에서는 "무엇이 유효했는가 → 어떤 규칙을 보존해야 하는가"를 추출한다. 이 실패/성공 분리는 편집이 성공 요인을 파괴하지 않도록(harmful rewrite 억제) 방향을 제한하는 역할을 한다. 이 반성의 산출은 구체적 편집 제안 Δs_t, 즉 텍스트 기울기다.

3.4 Bounded add/delete/replace edit

편집은 세 가지 원자 연산 — add(규칙 추가), delete(불필요·유해 규칙 제거), replace(규칙 교체) — 로 제한된다. 임의의 자유 재작성이 아니라 이 유계 편집으로 제약함으로써, 한 스텝에서의 큰 의미적 도약(large semantic jump) 을 방지한다.

3.5 편집 예산 L_t = 텍스트 학습률

한 스텝에 허용되는 편집의 규모(대략 편집 연산 수/변경 폭)는 편집 예산 L_t 로 통제되며, 이는 딥러닝의 learning rate에 대응한다. 스케줄은 네 가지를 제공한다.

스케줄 거동 딥러닝 대응
constant 매 스텝 고정 예산 고정 학습률
linear 선형 감쇠 linear decay
cosine(기본값) 코사인 감쇠(초기 크게, 후기 미세조정) cosine annealing
autonomous 최적화기가 문맥에 따라 예산을 자율 조정 adaptive LR

초기에는 예산을 크게 주어 스킬 골격을 빠르게 형성하고, 후기로 갈수록 예산을 줄여 미세 조정으로 수렴시키는 cosine이 기본값이다.

3.6 Held-out selection gate(strict improvement)

후보 스킬 s_{t+1}^cand는 D_sel(held-out)에서 평가되어, 엄밀한 향상(strict improvement) 을 보일 때만 채택된다. 향상이 없거나 동률이면 기각한다. 이 관문이 D_tr에 대한 국소 과적합을 억제하는 핵심 장치다.

3.7 Rejected-edit buffer(음의 피드백)

기각된 편집은 버려지지 않고 rejected-edit buffer 에 축적되어, 이후 backward pass에 "이 방향은 이미 시도했고 통하지 않았다"는 음의 피드백으로 제공된다. 이는 최적화기가 같은 무익한 편집을 반복 제안하는 것을 막는다.

3.8 Epoch-wise slow/meta 업데이트

스텝 단위의 fast 갱신과 별도로, epoch 단위로 누적 증거를 반영하는 slow/meta 업데이트가 이루어진다. 이는 momentum과 유사하게, 단일 minibatch의 노이즈에 흔들리지 않고 일관되게 유익했던 방향을 강화한다.

3.9 best_skill.md export

전 과정에서 D_sel 기준 최고 성능을 낸 스킬이 best_skill.md 로 export되며, 배포 시 이 정적 문서를 주입하기만 하면 되므로 추론 시 추가 최적화 호출은 0회다.

3.10 Algorithm 1 — SkillOpt 루프 재구성

아래 pseudocode는 §3의 서술을 바탕으로 본 해설이 재구성한 것이다(원문 Algorithm 1의 정확한 표기와 다를 수 있음).

Algorithm 1  SkillOpt: Self-Evolving Agent Skill Optimization
Input:  frozen model M; splits D_tr, D_sel, D_test;
        init skill s_0; epochs E; steps/epoch T;
        budget schedule L(·) (default: cosine); minibatch size b
State:  reject_buffer <- {} ;  s_best <- s_0 ;  score_best <- Eval(M, s_0, D_sel)

for epoch e = 1 ... E do
  for step t = 1 ... T do
      # ---- forward: gather rollout evidence ----
      B <- sample minibatch of size b from D_tr
      R <- { (x, tau, V(tau)) : x in B, tau = Rollout(M, s_current, x) }

      # ---- backward: minibatch reflection, split success/failure ----
      R_fail, R_succ <- partition(R by V)
      delta_s <- Reflect(R_fail, R_succ, reject_buffer)        # textual gradient

      # ---- bounded edit under budget L_t (= textual learning rate) ----
      L_t <- L(e, t)                                           # constant|linear|cosine|autonomous
      edits <- Bound(delta_s, L_t)   as {add, delete, replace}
      s_cand <- Apply(s_current, edits)

      # ---- held-out selection gate: strict improvement only ----
      score_cand <- Eval(M, s_cand, D_sel)
      if score_cand > Eval(M, s_current, D_sel):               # strict '>'
          s_current <- s_cand
          if score_cand > score_best:
              s_best, score_best <- s_cand, score_cand
      else:
          reject_buffer <- reject_buffer U { (edits, reason) } # negative feedback
  # ---- epoch-wise slow / meta update (momentum-like) ----
  s_current <- MetaUpdate(s_current, accumulated_evidence(epoch e))

export best_skill.md <- s_best
return s_best        # final unseen check on D_test reported separately

중요한 방법론적 주의. 위 알고리즘은 딥러닝 SGD 루프의 형태를 모사하지만, SkillOpt는 시스템 논문이다. 논문은 수렴 정리, loss landscape의 형상 분석, 일반화 bound 같은 이론적 보증을 제시하지 않는다. §2·§3의 DL 대응표는 설계를 조직하는 휴리스틱일 뿐이며, "gradient/learning rate/momentum"이라는 명명이 실제 미분 가능성·수렴성·최적성을 함의하지 않는다는 점을 명시적으로 강조한다. 성능 주장은 전적으로 경험적 실험(§7)에 근거하며, 안정화 장치의 정당성 역시 이론이 아니라 "어떤 실패 양상을 막는가"라는 설계 논증(§6)에 근거한다.

4. SkillOpt 아키텍처 심층

fig2-pipeline 그림 2. SkillOpt 전체 파이프라인 — split → rollout → minibatch optimizer → 편집 → merge/budget → gate → reject buffer → best_skill.md로 이어지는 상단 폐루프와, 그 아래에서 이를 감싸는 slow/meta 업데이트. — SkillOpt(arXiv:2605.23904) Figure 2, 연구·학습 목적 인용.

4.1 파이프라인 워크스루

그림 2를 따라 데이터 흐름을 추적하면 다음과 같다. (1) 데이터를 D_tr/D_sel/D_test로 split한다. (2) 현재 스킬로 D_tr minibatch에 대해 rollout을 실행해 궤적·검증 점수를 얻는다. (3) minibatch optimizer(backward pass)가 실패/성공을 분리해 반성하고 편집 제안을 만든다. (4) 편집을 add/delete/replace로 적용한다. (5) merge/budget 단계에서 L_t 예산 한도로 편집 규모를 제한한다. (6) 후보 스킬을 D_sel의 gate에 통과시켜 strict improvement면 채택한다. (7) 기각분은 reject buffer로 보내 다음 반성의 음의 피드백으로 재사용한다. (8) D_sel 최고 성능 스킬을 best_skill.md로 export한다. 하단의 slow/meta 업데이트가 epoch 경계마다 이 루프를 감싸 누적 방향을 안정화한다.

4.2 구성요소 표

구성요소 역할 근거(어떤 문제를 겨냥)
Split(D_tr/D_sel/D_test) 편집 유도·채택 판정·최종 평가를 분리 데이터 누수·과적합 억제
Rollout 수집(forward) 궤적·검증 점수라는 관측 손실 신호 확보 증거 없는 원샷 생성의 한계
Minibatch optimizer(backward) 실패/성공 분리 반성 → 편집 제안 성공 요인 파괴(harmful rewrite) 방지
Bounded add/delete/replace 편집을 원자 연산으로 유계화 large semantic jump 방지
Edit budget L_t 텍스트 학습률로 편집 규모 제어 발산/미세조정 균형
Held-out gate(strict) strict improvement만 채택 D_tr 국소 과적합 억제
Reject buffer 기각 편집을 음의 피드백으로 재사용 무익한 편집 반복 억제
Slow/meta update epoch 단위 momentum형 누적 단일 minibatch 노이즈 완화
best_skill.md export 최적 스킬을 정적 산출 배포 시 추가 추론 호출 0

4.3 편집 예산 스케줄의 역할

§3.5의 네 스케줄(constant/linear/cosine/autonomous) 중 기본값 cosine은 "초기 골격 형성 → 후기 미세 조정"이라는 학습 곡선을 유도한다. 예산이 곧 편집의 대담함을 결정하므로, 스케줄 선택은 발산 위험과 수렴 속도 사이의 트레이드오프를 조율하는 하이퍼파라미터에 해당한다.

4.4 학습된 규칙의 정성적 예시

산출 스킬은 379–1,995 토큰 규모의 짧은 문서이며, 채택 편집은 1–4회(중앙값 2.5)에 그친다. 즉 소수의 규칙이 성능 향상의 대부분을 만든다. SpreadsheetBench에서 학습된 대표 규칙(그림 4)은 다음과 같다.

"Inspect workbook structure and formulas, write evaluated static values across the full target range instead of relying on Excel recalculation." (워크북 구조와 수식을 먼저 점검하고, Excel의 재계산에 의존하는 대신 평가된 정적 값을 전체 대상 범위에 직접 기입하라.)

이는 SkillOpt가 발견하는 규칙이 추상적 일반론이 아니라 벤치마크 고유의 절차적 규칙임을 보여주는 예시다. 이 성질은 성능 이득의 원천이자, 동시에 전이·과적합 논쟁(§7.4, §8)의 핵심 근거가 된다.

5. 기존 방법과의 비교

TextGrad. 텍스트 공간에서 LLM의 자연어 피드백을 "기울기"로 삼아 임의의 텍스트 변수를 최적화하는 일반 프레임워크다. SkillOpt의 방법적 조상 격이며, "텍스트 기울기" 개념 자체를 제공한다. 다만 TextGrad는 범용 최적화 도구로서 held-out strict gate·reject buffer·편집 예산 스케줄 같은 에이전트 스킬 특화 안정화 장치를 규정하지 않는다.

GEPA(직접 baseline). 반성적(reflective)·Pareto 기반으로 프롬프트를 진화시키는 방법으로, 여러 목적/후보를 유지하며 프롬프트를 개선한다. SkillOpt의 가장 직접적인 비교 대상이다. 차이는 (i) 최적화 대상이 프롬프트 대 재사용 스킬 문서라는 점, (ii) SkillOpt가 strict held-out gate와 명시적 reject buffer로 편집 채택을 엄격히 통제한다는 점이다.

Trace2Skill. 개별 궤적(trajectory)에서 국소적 교훈을 증류해 스킬화하는 원샷(one-pass) 계열이다. rollout 기반이라는 점은 공유하지만, 반복적 최적화 루프·held-out 채택 관문이 없어 발산·과적합을 통제하는 폐루프가 부재하다.

EvoSkill. 실패 주도(failure-driven)로 다중 에이전트가 스킬을 탐색·발견하는 진화적 접근이다. 실패에서 배운다는 문제의식은 SkillOpt의 실패/성공 분리 반성과 맞닿아 있으나, 딥러닝식 학습률·validation·momentum 대응이라는 최적화 규율로 조직되어 있지 않다.

CoEvoSkills. 다중 파일 스킬 패키지와 대리(surrogate) 검증기를 공진화(co-evolve) 시키는 접근이다. 스킬을 단일 문서가 아니라 패키지로 확장하고 검증기까지 함께 학습한다는 점에서 SkillOpt의 단일 스킬·고정 검증기 설정과 대비되며, SkillOpt의 확장 방향(§8.3)과 자연스럽게 연결된다.

방법 최적화 대상 핵심 장치 SkillOpt와의 차이
TextGrad 임의의 텍스트 변수 텍스트 기울기(자연어 피드백) 범용; 스킬 특화 안정화 장치 부재
GEPA(직접 baseline) 프롬프트 반성적·Pareto 진화 프롬프트 대 스킬 문서; strict gate·reject buffer 부재
Trace2Skill 궤적별 스킬 국소 교훈 증류(one-pass) 반복 루프·held-out 관문 부재
EvoSkill 스킬 실패 주도 다중 에이전트 탐색 DL식 최적화 규율(LR·validation·momentum) 부재
CoEvoSkills 다중 파일 스킬+검증기 스킬·대리 검증기 공진화 단일 스킬·고정 검증기 대 패키지·공진화

요컨대 SkillOpt의 구별되는 안정화기는 held-out strict gate와 reject buffer의 결합이다. 나머지 방법들이 "무엇을 배울 것인가"에 집중한다면, SkillOpt는 "무익하거나 해로운 편집을 어떻게 거를 것인가"에 설계 무게를 둔다.

6. 안정화 장치의 설계 근거

각 장치는 텍스트 공간 최적화에서 관찰되는 특정 실패 양상을 겨냥한다. 이는 이론적 보증이 아니라 설계 논증임을 다시 밝힌다.

장치 막으려는 실패 양상 작동 논리
Bounded edit(add/delete/replace) large semantic jump 임의 재작성을 원자 연산·유계로 제한해 한 스텝의 변화 폭을 통제
Held-out strict gate local overfit D_tr이 아니라 분리된 D_sel에서 strict improvement일 때만 채택
Reject buffer harmful rewrite·무익 반복 기각 편집을 음의 피드백으로 남겨 같은 유해·무익 방향의 재제안 억제
Slow/meta update evaluator shortcut·노이즈 편향 epoch 단위 누적으로 단일 minibatch가 유도하는 편법·요행을 상쇄

Bounded edit은 텍스트 공간에서 가장 흔한 실패인 "한 번에 문서를 크게 갈아엎어 이전의 유효 규칙을 잃는" 도약을 막는다. Held-out strict gate는 D_tr에서만 좋아 보이는 편집을 걸러내는 관문으로, 딥러닝의 validation early-selection에 대응한다. Reject buffer는 유해하거나 통하지 않은 편집을 기억해 최적화기가 국소 헛돎(무익 반복)에 빠지지 않게 한다. Slow/meta는 momentum처럼 일관된 방향만 강화해, 단일 minibatch가 유도할 수 있는 검증기 편법(evaluator shortcut)의 영향을 평균화한다.

Ablation 방향(정성적). 논문의 절제 실험은 이들 장치가 실제로 성능에 기여함을 시사한다. 특히 slow/meta 업데이트를 제거하거나 selection gate를 제거하면 결과가 나빠지는 방향이 보고된다. 다만 본 해설은 정확한 감소폭(delta)을 발명하지 않으며, "제거 시 저하"라는 방향성만 취한다.

7. 실험 결과 및 분석

7.1 실험 설정

축 구성
벤치마크(6) SearchQA, SpreadsheetBench, OfficeQA, DocVQA, LiveMathematicianBench, ALFWorld
대상 모델(7) GPT-5.5, GPT-5.4, GPT-5.4-mini, GPT-5.4-nano, GPT-5.2, Qwen3.5-4B, Qwen3.6-35B-A3B
하네스(3) direct chat, Codex, Claude Code
baseline(7) no-skill, human skill, one-shot LLM skill, Trace2Skill, TextGrad, GEPA, EvoSkill

주의: ALFWorld는 지속적 embodied 환경이 필요하여 Codex·Claude Code 하네스에서는 제외되었다. 전체 격자는 7×6×3 = 126개 (모델,벤치마크,하네스) 셀이지만, 실제 평가·보고된 셀은 52개로, 전체 격자의 curated 부분집합이다.

7.2 결과

  • 헤드라인: 저자 보고 기준, 평가된 52개 셀 전부에서 SkillOpt가 최고(best) 또는 동률(tied-best) 을 기록.
  • GPT-5.5 no-skill 대비 향상:
하네스 향상
direct chat +23.5
Codex +24.8
Claude Code +19.1

SkillOpt는 direct chat +23.5, Codex +24.8, Claude Code +19.1로 GPT-5.5의 no-skill 대비 모든 하네스에서 성능을 향상시켰다.

  • GPT-5.5 6개 벤치마크 평균: 82.3 (SkillOpt) vs 58.8 (no-skill).
  • Oracle-of-competitors 격차: +5.4 (82.3 vs 76.9). 즉 각 셀에서 경쟁 방법 중 최고만 골라 조합한 "oracle"보다도 평균 5.4점 높음.
  • 모델별 평균 향상: ≈ +17.6.
  • 산출물 특성: 스킬 379–1,995 토큰, 채택 편집 1–4회(중앙값 2.5), 배포 시 추가 추론 호출 0회.
  • 전이(정성적, 정확 delta 없음): cross-model은 양(+)이나 완만; cross-harness는 때때로 크지만 벤치마크가 제한적; cross-benchmark는 미미(marginal).

fig3-epoch-trends 그림 3. epoch별 train rollout·selection-best·unseen-test 성능 추이 — 세 곡선이 함께 상승하되, unseen-test의 최종 위치는 관문이 참조하는 D_sel이 얼마나 대표적이냐에 의존한다. — SkillOpt(arXiv:2605.23904) Figure 3, 연구·학습 목적 인용.

7.3 결과 분석

  • 관찰 1 — 향상은 크고 일관적이다. GPT-5.5에서 하네스별 +19~+25, 평균 82.3 vs 58.8은 단일 벤치마크의 요행이 아니라 여러 하네스·벤치마크에 걸친 일관된 향상을 시사한다.
  • 관찰 2 — oracle를 넘는다는 점이 특기할 만하다. +5.4의 oracle-of-competitors 격차는, SkillOpt가 "여러 경쟁 방법의 강점을 셀별로 최적 조합한 것"보다도 평균적으로 앞선다는 의미로, 방법 자체의 우위를 강하게 주장하는 근거다. 다만 oracle는 "셀별 최고 조합"이라는 사후적 상한이므로, 이 비교의 해석에는 주의가 필요하다.
  • 관찰 3 — 곡선의 정합성은 관문에 의존한다(그림 3). train rollout·selection-best·unseen-test 세 곡선이 함께 오르지만, unseen-test의 최종 성능은 selection gate가 참조하는 D_sel이 D_test를 얼마나 대표하느냐에 달려 있다. 즉 성능의 상당 부분이 D_sel의 대표성이라는 전제 위에 서 있다.

7.4 헤드라인을 할인해서 읽기

"52/52 최고 또는 동률"은 인상적이지만, 다음 이유로 액면 그대로 받아들여서는 안 된다.

  • 52는 126의 부분집합. 전체 7×6×3 격자 중 52개만 평가·보고되었다. 나머지 셀의 거동은 알 수 없다.
  • strict-best와 tied-best가 분해되지 않음. "최고 또는 동률" 중 실제로 엄밀히 앞선 셀이 몇 개이고 동률이 몇 개인지 보고되지 않는다. 동률이 많다면 "전부 최고" 서사의 무게는 줄어든다.
  • self-selected 벤치마크. 벤치마크가 모두 검증 가능 보상 과제로, SkillOpt의 selection gate가 잘 작동하는 영역에 스스로 유리하게 선택된 측면이 있다.
  • 단일 랩·저자 구현 baseline. 모든 baseline이 단일 랩에서 저자에 의해 구현되었다. baseline이 각 방법의 최선 형태로 튜닝되었는지 외부 검증이 없다.
  • GPT 편중 로스터. 7개 모델 중 5개가 GPT 계열로, 결과가 특정 계열에 편중될 수 있다.
  • baseline 예산 미보고. 경쟁 방법들이 소비한 최적화 compute(rollout·optimizer 호출) 예산이 보고되지 않아, "같은 예산 하의 공정 비교"인지 확인할 수 없다.

8. 방법적 한계와 확장

8.1 논문이 인정한 한계(4개)

  1. 검증기 의존성. validation gate는 자동 검증기가 없는 개방형·주관적 도메인에서 약하다. strict improvement 판정 자체가 스칼라 검증기에 의존하기 때문이다.
  2. 훈련 compute 비용. rollout과 optimizer 호출이 반복되어 학습 단계의 계산 비용이 크다(배포 시 추가 호출이 0인 것과 대비).
  3. 단일 스킬 범위. SkillOpt는 하나의 스킬 문서를 최적화할 뿐, 성장하는 스킬 라이브러리를 구축하거나 모델 가중치를 바꾸지 않는다.
  4. 분포 특화 휴리스틱. 학습된 규칙은 분포 특화적이므로, 전이 전에 held-out 평가가 필요하다.

8.2 확장 방향

논문의 아이디어를 잇는 후속 연구로는 다음이 있다. 모두 §8.1의 한계와 맞닿아 있다.

  • 다목적(multi-objective) gate. strict scalar gate를 정확도·비용·안전성·간결성을 함께 보는 다목적 관문으로 바꾸면, 검증기 편법과 단일 지표 과적합을 줄일 수 있다. 자동 검증기가 약한 개방·주관 도메인으로 방법을 넓히려면 이 확장이 필요하다.
  • 검증기 공진화·성장형 스킬. 고정된 스칼라 검증기 대신 대리 검증기를 함께 학습하거나(CoEvoSkills 계열), 단일 스킬을 스킬 라이브러리로 확장하면, "단일 스킬·고정 검증기"라는 두 한계를 함께 다룰 수 있다.
  • 전이·일반화의 규명. cross-model/harness/benchmark 전이가 왜 불균질한지 — 무엇이 벤치마크 고유의 절차적 지름길이고 무엇이 이전 가능한 지식인지 — 를 분리하는 연구는, 학습된 스킬이 일반 지식에 가까운지 특정 벤치마크용 요령에 가까운지 판단하는 데 도움이 된다.

8.3 후속연구 landscape

방향 목표 관련 계보
다중 파일 스킬 패키지 단일 문서 → 성장형 라이브러리 CoEvoSkills
검증기 공진화 gate 편법 억제·개방 도메인 대응 CoEvoSkills, surrogate verifier
다목적 gate 정확도 외 비용·안전 통합 GEPA(Pareto)
전이·일반화 연구 cross-benchmark 이득 규명 Trace2Skill, EvoSkill
optimizer 강도 분석 프런티어에서의 이득 한계 규명 TextGrad 계열

9. 결론

9.1 핵심 기여 요약

기여 내용
정식화 동결 모델 + 학습 가능한 외부 스킬 문서를 딥러닝식 최적화 문제로 정식화
안정화 설계 bounded edit·held-out strict gate·reject buffer·slow/meta로 텍스트 공간 편집을 안정화(구별 요소=strict gate+reject buffer)
경험적 성과 저자 보고 기준 평가 52셀 전부 최고/동률, GPT-5.5 평균 82.3 vs 58.8, oracle 대비 +5.4, 배포 시 추가 추론 호출 0
정직한 경계 검증기 의존·훈련 비용·단일 스킬·분포 특화라는 한계를 명시, 이론적 보증은 주장하지 않음

9.2 이 방법이 성립하는 조건

이 방법이 언제 통하고 언제 통하지 않는지를 정리하면 다음 세 가지다.

  • 필요조건 — 검증 가능한 스칼라 보상. selection gate는 자동 검증기의 스칼라 점수 위에서만 작동한다. 정답 일치·실행 검증이 가능한 과제(QA·표·수학·문서)에는 잘 맞지만, 창작·대화·질적 판단처럼 채점이 주관적인 과제에는 현재 형태로는 맞지 않는다.
  • 전이는 무상이 아니다. 학습된 스킬은 분포 특화적이라, 다른 모델·하네스·벤치마크로 옮길 때 성능이 보존된다는 보장이 없다. 논문의 전이 실험이 불균질한 이유도 여기에 있다(§7.2).
  • 비용은 학습 단계에 있다. 배포 산출물은 379–1,995 토큰의 정적 문서라 추론 비용이 0이지만, 그 문서를 얻기까지의 반복 rollout·optimizer 호출 비용은 적지 않다. 배포물이 작다는 점과 학습 비용이 크다는 점은 따로 봐야 한다.

9.3 향후 연구 방향

가장 필요한 후속 작업은 (i) strict scalar gate를 다목적·대리 검증기로 확장해 evaluator gaming과 개방 도메인 취약성을 줄이는 일, (ii) strict-best 대 tied-best 분해와 전체 126 격자 보고로 헤드라인의 실질을 확인하는 일, (iii) optimizer 강도 의존성을 프런티어 조건에서 정량화하는 일이다. 이 세 가지가 밝혀지면 결과를 지금보다 더 신뢰할 수 있다.

References

Yang, Y., Gong, Z., Huang, W., Yang, Q., Zhou, Z., Huang, Z., Li, Y., Gao, X., Dai, Q., Liu, B., Qiu, K., Yang, Y., Chen, D., Yang, X., & Luo, C. (2026). SkillOpt: Executive strategy for self-evolving agent skills (arXiv:2605.23904). arXiv. https://arxiv.org/abs/2605.23904 (PDF 보기)

Yuksekgonul, M., Bianchi, F., Boen, J., Liu, S., Huang, Z., Guestrin, C., & Zou, J. (2024). TextGrad: Automatic "differentiation" via text (arXiv:2406.07496). arXiv. https://arxiv.org/abs/2406.07496 (PDF 보기)

Agrawal, L. A., Tan, S., Soylu, D., Ziems, N., Khare, R., Opsahl-Ong, K., Singhvi, A., Shandilya, H., Ryan, M. J., Jiang, M., Potts, C., Sen, K., Dimakis, A. G., Stoica, I., Klein, D., Zaharia, M., & Khattab, O. (2025). GEPA: Reflective prompt evolution can outperform reinforcement learning (arXiv:2507.19457). arXiv. https://arxiv.org/abs/2507.19457 (PDF 보기)

Ni, J., Liu, Y., Liu, X., Sun, Y., Zhou, M., Cheng, P., Wang, D., Zhao, E., Jiang, X., & Jiang, G. (2026). Trace2Skill: Distill trajectory-local lessons into transferable agent skills (arXiv:2603.25158). arXiv. https://arxiv.org/abs/2603.25158 (PDF 보기)

Alzubi, S., Provenzano, N., Bingham, J., Chen, W., & Vu, T. (2026). EvoSkill: Automated skill discovery for multi-agent systems (arXiv:2603.02766). arXiv. https://arxiv.org/abs/2603.02766 (PDF 보기)

Zhang, H., Fan, S., Zou, H. P., Chen, Y., Wang, Z., Zhou, J., Li, C., Huang, W.-C., Yao, Y., Zheng, K., Liu, X., Li, X., & Yu, P. S. (2026). CoEvoSkills: Self-evolving agent skills via co-evolutionary verification (arXiv:2604.01687). arXiv. https://arxiv.org/abs/2604.01687 (PDF 보기)