SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge

Paper: Dery, L. M., Tjandra, B. A., Samiei, S., Kuncoro, A., Yahav, Z., Shen, J., & Szlam, A. (2026). "SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge." arXiv:2607.27497 [cs.CL]. Google DeepMind.

Abstract: 이 글은 LLM 에이전트가 축적하는 두 종류의 산물, 곧 텍스트로 적힌 지식(반성 기록·메모리·프롬프트)과 가중치로 굳은 스킬(PEFT 모듈)을 하나의 모델이 함께 읽어 새 스킬 가중치를 만들어 내는 SkillSmith를 다룬다. 논문의 설계는 단순하다. 파라메트릭 스킬을 prefix-tuning의 K-V 캐시로 고정하고, 이 캐시를 MLP 어댑터로 언어모델의 잠재 공간에 투사한 뒤, 소스 과제의 텍스트 메타데이터와 번갈아 배치해 하나의 연속된 입력열로 만든다. 코프로세서 LLM이 이 열을 한 번 통과하면 자리표시 토큰 위치의 K-V가 나오고, 여기서 위치 정보를 되돌린 뒤 출력 어댑터를 거쳐 새 prefix 캐시가 된다. 이 캐시는 얼어붙은 하류 모델에 그대로 꽂힌다. 훈련은 종단간이다. 생성된 캐시를 꽂은 하류 모델의 타깃 과제 교차엔트로피를 직접 최소화한다. 저자들은 Composite-SNI(자체 제작 합성 조합 데이터셋)·Super-Natural Instructions·MMLU-ProX 세 환경에서 가중치 병합 계열과 in-context learning을 모두 앞선다고 보고한다. 다만 지표가 Elo 하나로 집계되어 있고, 제로샷 국면에서는 텍스트 전용 베이스라인(ICL)이 오히려 앞서며, 생성된 가중치가 정말 의도한 스킬을 담았는지를 직접 재는 실험은 없다. 이 글은 그 근거의 범위를 함께 읽는다.

---

Executive Summary

항목	설명
연구 질문	에이전트가 쌓아 둔 텍스트 지식과 가중치 스킬을 한 모델이 함께 읽어, 새 과제용 PEFT 가중치를 직접 생성할 수 있는가?
핵심 기여	(1) prefix-tuning K-V 캐시를 LLM이 네이티브로 읽는 입력 모달리티로 취급하고 새 캐시를 출력하는 코프로세서 구조, (2) prefix-tuning용 가중치 병합 베이스라인의 정리, (3) 정답 소스 관계가 알려진 합성 조합 데이터셋 Composite-SNI, (4) 정답 매핑이 없을 때 쓰는 검색+LLM 선택 파이프라인
방법적 결과	입력은 Preamble Text → (소스 텍스트 + 어댑터 통과 K-V) × N → Combination Text → <gen_start> + 자리표시 토큰 L개 → <gen_end>. 자리표시 위치의 K-V를 뽑아 inverse RoPE로 위치 정보를 벗기고 출력 MLP를 거쳐 새 prefix로 만든다. 얼어붙은 하류 모델 M_\phi를 통과해 역전파하되 \phi는 고정
실험 결과	Composite-SNI 15개 메타테스트 과제에서 미세조정 후 Elo 2627(다음이 ICL 초기화 prefix-tuning 2243), MMLU-ProX 6개 과제에서 CSNI 부트스트랩판이 제로샷 2092로 미세조정 베이스라인 전부(최고 Concat 2014)를 넘고 미세조정 시 2515. 모두 저자 보고
핵심 한계	제로샷 Composite-SNI에서는 ICL(1942)이 SkillSmith(1800)보다 높다. 지표는 heldout NLL의 승패로 만든 Elo 하나뿐이고 과제 수가 6~15개라 승률 해상도가 거칠다. 무작위 소스쌍이 검색 소스쌍과 거의 동률이어서 "무엇을 조합했는가"의 기여가 불투명하다. N=2·단일 백본(Gemma 3 4B) 고정, 계산 비용 미보고

목차

1. 배경과 문제의식
2. 문제 설정: 과제 번들과 두 단모달 전략
3. SkillSmith 아키텍처
4. 종단간 메타 훈련
5. 데이터 환경과 소스 과제 검색
6. 베이스라인과 Elo 평가 프로토콜
7. 결과
8. 분석: 가중치를 쓰는가, 이득은 어디서 오는가, 일반화하는가
9. 논문의 주장과 근거 범위
10. 학술적 한계와 비평
11. 결론

---

1. 배경과 문제의식

논문이 출발점으로 삼는 관찰은 에이전트가 과거 경험을 재활용하는 방식이 두 갈래로 갈라져 있다는 것이다. 한쪽은 텍스트다. 자기 반성(Madaan et al., 2023; Shinn et al., 2023), 구조화된 메모리(Chhikara et al., 2025), 프롬프트 최적화(Agrawal et al., 2026; Wang et al., 2024)처럼 자연어로 적힌 지식이 다음 추론을 이끈다. 다른 쪽은 가중치다. PEFT로 반복되는 하위 목표를 모듈화된 가중치에 굳혀 두고(Houlsby et al., 2019; Hu et al., 2021; Li & Liang, 2021), 필요할 때 꺼내 쓰거나 서로 병합한다(Pfeiffer et al., 2020; Huang et al., 2023).

논문의 주장은 이 두 갈래가 지금까지 직교 축으로 다뤄져 왔다는 것이다. 텍스트 쪽 연구는 텍스트끼리 조합·반성하고, 가중치 쪽 연구는 가중치끼리 병합한다. 그 사이를 잇는 메커니즘이 비어 있다는 진단이다. 논문이 드는 구체적인 예가 문제의 모양을 잘 보여준다. 어떤 에이전트가 한 세션에서 영어를 트위어(Twi)로 옮기는 prefix-cache를 훈련했고, 다른 세션에서 영어 법률문서 분석에 관한 노트를 정리해 두었다고 하자. 이제 트위어로 쓰인 법률문서를 분석해야 한다. 에이전트는 이 과제가 영어-트위어 번역, 트위어 언어모델링, 법률문서 분석의 결합임을 텍스트로 서술할 수 있다. 그러나 그 서술을 실제 번역 스킬 가중치와 함께 넣어 새 과제용 가중치를 합성하는 경로는 없다.

기존 가중치 병합이 이 자리를 채우지 못하는 이유로 논문은 연산의 성격을 든다. SPoT(Vu et al., 2022), ATTEMPT(Asai et al., 2022), AdapterHub(Pfeiffer et al., 2020), LoRAHub(Huang et al., 2023) 같은 접근이 쓰는 것은 평균·연결·라우팅 같은 얕은 산술이며, 이는 수학적으로 경직되어 병합되는 과제들 사이의 의미 관계를 활용하지 못한다는 것이다. 반대로 텍스트 전용 전략은 유연하지만 추론 시점의 문맥 길이에 묶인다. 과제를 예시로 완전히 명세할 수는 있어도 그 방식은 확장되지 않는다.

논문이 자신을 위치짓는 직접 선행은 하이퍼네트워크다. LoRA.rar(Shenaj et al., 2025)처럼 다른 네트워크의 가중치를 생성하는 계열을 인용하면서, 기존 하이퍼네트워크와 달리 가중치 공간 입력을 텍스트 메타데이터와 나란히 네이티브로 처리하도록 설계했다는 점을 차별점으로 든다. 그 입력을 prefix K-V 캐시로 고른 이유도 함께 밝힌다. 텍스트 조각은 얼어붙은 기반 모델을 한 번 통과시키는 것만으로 자연스럽게 K-V 캐시로 번역되므로, 밑바닥부터 훈련한 K-V 캐시와 텍스트에서 유래한 K-V 캐시 사이의 관계를 학습하는 일이 사전적으로 가망 있다고 본 것이다. 이 선택이 논문 전체 설계의 기둥이다. 모달리티 간극을 메우겠다고 선언한 뒤, 두 모달리티가 이미 같은 표면에서 만나는 지점(K-V 캐시)을 골랐다.

그림 1. SkillSmith의 파이프라인(i)과 아키텍처(ii). 소스 과제 번들(텍스트 + prefix 캐시)이 입력 K-V 어댑터를 거쳐 연속 표현으로 묶이고, 코프로세서 LLM을 통과한 뒤 출력 K-V 어댑터를 지나 새 prefix 캐시가 된다. 이 캐시가 얼어붙은 하류 LLM에 꽂혀 타깃 과제를 푼다. 원 논문 Figure 1에서 crop. 출처: Dery et al. (2026), arXiv:2607.27497.

---

2. 문제 설정: 과제 번들과 두 단모달 전략

형식화는 간결하다. 에이전트가 지금까지 마주친 과제 집합을 \mathcal{T}{src}라 하고, 각 과제 T_i에 과제 번들 b_i = (m_i, w_i)를 붙인다. m_i는 학습된 PEFT 모듈이고 w_i는 텍스트 메타데이터다. 후자는 in-context 시연이나 과제 반성 기록 같은 것이다. 개념적으로 m_i는 어떤 PEFT 방법이어도 되지만, 이 논문은 prefix-tuning으로 한정한다. 따라서 각 m_i는 미리 정해진 얼어붙은 기반 모델 M\phi에 딸린 Key-Value prefix 캐시다.

새 과제 T_{new}가 오면 목표는 그 과제의 인스턴스를 풀 수 있는 새 모듈 m_{new}를 만드는 것이다. 가장 단순한 방법은 T_{new} 데이터만으로 새 모듈을 처음부터 훈련하는 것인데, 이러면 과거 경험 \mathcal{T}{src}에 저장된 정보를 하나도 쓰지 못한다. 그래서 논문은 에이전트가 T{new} 해결에 관련 있다고 판단한 소스 과제 부분집합 \mathcal{T}{src}[T{new}] = {T_1, \dots, T_N}에 접근할 수 있다고 가정한다. 이 정답 매핑을 미리 아는 일이 실제로는 어렵다는 점은 각주로 인정하고, 임베딩 기반 검색으로 근사할 수 있음을 검색 실험으로 보이겠다고 예고한다. 이후 모든 실험에서 N=2로 고정된다.

이 설정 위에서 두 단모달 전략이 각각 무엇을 잃는지가 정리된다. 텍스트 전용 전략은 소스 과제들의 ICL 예시와 반성 기록을 모두 모아 T_{new}의 메타데이터와 함께 문맥에 넣는 것이다. 유연하지만 계산이 비싸고 추론 시점 문맥 한계에 갇힌다. 가중치 전용 전략은 관련 모듈 {m_i}를 평균 같은 표준 병합으로 초기화하고 필요하면 타깃 데이터로 이어서 튜닝하는 것이다. 추론은 효율적이지만 텍스트 메타데이터에 적힌 기능적 관계를 무시한다. 논문이 던지는 질문은 이 둘을 이어 붙여 단모달 베이스라인을 확실히 앞서는 m_{new}를 만들 수 있느냐다.

---

3. SkillSmith 아키텍처

SkillSmith는 사전학습된 트랜스포머 언어모델을 증강한 것이다. 처리 순서는 다음과 같다.

먼저 가중치 공간 모듈 {m_i}_N을 입력 K-V 어댑터로 언어모델의 잠재 공간에 투사한다. 어댑터는 다층 퍼셉트론이다. 그다음 코프로세서가 처리할 하나의 연속된 열을 만드는데, 텍스트 메타데이터와 어댑터를 통과한 K-V 캐시를 전용 제어 토큰으로 번갈아 배치한다.

• Preamble Text. 전체 조합 목표를 서술하는 문장으로 시작한다. 언어모델의 텍스트 이해력과 지시 따르기 능력을 끌어 쓰기 위한 도입부다. 부록의 실제 예시는 "Your role is Cognitive Grafting"으로 시작해 소스 과제의 뿌리(K-V prefix)를 접붙여 새 과제를 지지하게 하라고 지시한다.
• 번갈아 놓인 번들. N개의 소스 번들 각각에 대해 소스 텍스트 w_i를 <src_start>로 열고, 바로 뒤에 어댑터를 통과한 모듈 KV'_i를 <kv_start> … <kv_end>로 감싸 놓는다. 이 단위가 순차적으로 이어진다.
• Combination Text. N개 번들 뒤에 조합을 위한 추가 문맥을 붙인다. 논문은 여기 들어갈 수 있는 것을 셋으로 든다. (i) 소스 과제 집합이 타깃 과제와 어떻게 관계 맺는지에 대한 서술, (ii) 문맥에 놓인 타깃 과제의 예시, (iii) 타깃 과제에 대한 텍스트 설명.
• 생성 블록. <gen_start> 토큰 뒤에 고정 길이의 자리표시 제어 토큰 (z_1, \dots, z_L)을 놓고 <gen_end>로 닫는다.

이 블록 전체가 코프로세서 LLM을 한 번 통과한다. 합성된 스킬을 꺼내는 방식은 자리표시 잠재 토큰 (z_1, \dots, z_L)에 해당하는 K-V 캐시를 분리하는 것이다. 이것이 원시 출력 가중치 KV_{out}이다. 여기에 위치 정보를 벗기는 변환(inverse RoPE de-rotation)을 적용한 뒤 출력 K-V 어댑터(MLP)를 통과시키면 합성된 가중치 m_{new}가 나온다. 이 가중치는 얼어붙은 하류 기반 모델 M_\phi에 그대로 배치되어 T_{new}를 푼다.

메커니즘의 핵심은 출력이 텍스트가 아니라 가중치라는 데 있다. 코프로세서는 "무엇을 조합해야 하는지"를 자연어로 답하지 않고, 조합의 결과물인 새 prefix 캐시를 직접 뱉는다. 위치 정보를 벗기는 단계가 필요한 이유도 여기서 나온다. 자리표시 토큰은 입력열의 특정 위치에 있었으므로 그 위치에 맞춰 회전된 표현을 갖는데, 하류 모델에서는 이 캐시가 프롬프트 맨 앞의 prefix로 쓰이므로 원래 위치의 흔적을 지워야 한다.

한 가지 구현 제약이 각주에 적혀 있다. 훈련하는 모든 prefix K-V는 글로벌 레이어에 대해서만 훈련한다. 로컬 레이어의 prefix K-V는 결국 문맥 밖으로 밀려나기 때문이다. 즉 이 방법이 조작하는 파라메트릭 표면은 기반 모델의 전체 어텐션 층이 아니라 그중 글로벌 층에 한정된다.

---

4. 종단간 메타 훈련

훈련은 종단간이다. 미리 구축된 라이브러리 \mathcal{T}{src}를 부트스트랩해 메타 훈련 집합 \mathcal{D}{train}을 만들고, 각 항목은 세 요소로 이루어진 튜플이다. 원래 과제의 입력-타깃 텍스트 쌍 T{x, y}(기존에 학습된 PEFT 가중치는 제외한다), 그 과제에 대한 정답 또는 검색된 소스 과제 매핑 \mathcal{T}_{src}[T](소스 텍스트 w_i와 모듈 m_i를 함께 제공한다), 그리고 Combination Text다. Combination Text는 그 과제만 독립적으로 설명하는 원래 메타데이터일 수도 있고, 과제와 소스들 사이의 관계를 드러내도록 새로 생성한 텍스트일 수도 있다.

목적함수는 다음과 같다.

여기서 m_T = \text{SkillSmith}\theta({b_k}{k \in \mathcal{T}{src}[T]},, w)가 생성된 K-V 캐시다. \mathcal{L}은 설정에 따라 달라질 수 있고(강화학습이라면 정책 손실), 이 논문에서는 교차엔트로피다. 기울기를 얻기 위해 M\phi를 통과해 역전파하되 \phi는 언제나 고정한다.

이 목적함수가 무엇을 요구하는지는 분명하다. SkillSmith는 "좋은 조합"을 배우는 것이 아니라 "타깃 과제의 손실을 낮추는 캐시"를 배운다. 조합은 그 목표에 이르는 수단으로 제시될 뿐, 별도의 감독 신호로 강제되지 않는다.

훈련 설정은 다음과 같다. 코프로세서 LLM은 Gemma 3 4B이며, 하류 과제 해결 모델도 같은 4B다. Adam으로 학습률 {10^{-3}, 10^{-4}}, 배치 크기 {32, 64, 128}을 탐색한다. Composite-SNI 실험은 10,000 스텝, 기본 SNI 실험은 2,000 스텝 훈련한다. 과적합을 줄이기 위해 훈련 중 입력의 일부를 가끔 떨어뜨리는데, K-V 캐시는 전체를 0으로 만들어 드롭아웃하며 그 확률로 {0.1, 0.293, 0.5}를 탐색한다. 생성 캐시의 출력 길이도 훈련 중에는 {16, 32, 64, 128}에서 무작위로 뽑고 평가 때는 항상 32로 고정한다.

소스 라이브러리를 만드는 과정도 훈련 비용의 일부다. 각 소스 과제에 대해 x를 입력, y를 타깃으로 하는 음의 로그가능도 손실로 prefix K-V 캐시를 훈련하는데, 다양성을 위해 소스마다 입력 prefix 길이를 {32, 64, 128}에서 무작위로 뽑고, 최적화 스텝 수 (200, 500, 1000)과 학습률(10^{-2}~10^{-4})의 격자를 돌려 검증 NLL이 가장 낮은 설정을 고른다. 소스 텍스트 w_i는 과제 설명과 4~16개의 in-context 시연으로 구성한다.

평가 프로토콜에서 공정성을 위해 한 가지 조정이 들어간다. 각 평가 과제마다 소스 과제의 prefix 가중치를 길이 32로 다시 훈련하고, SkillSmith와 각 베이스라인의 출력 캐시 크기도 32로 맞춘다. 예외는 Concat으로, 두 캐시를 이어 붙이므로 길이 64가 된다. 미세조정 설정에서는 소스 prefix를 만들 때와 같은 격자 프로토콜을 쓰되 무작위로 뽑은 4개 구성을 훑어 검증 성능이 가장 좋은 것을 남긴다.

---

5. 데이터 환경과 소스 과제 검색

5.1 Composite-SNI

혼합 모달리티 조합을 규모 있게 연구하려면 과제들 사이의 정답 관계가 알려진 데이터가 필요하다. 논문은 Super-Natural Instructions(Wang et al., 2022)를 토대로 합성 데이터셋 Composite-SNI를 만든다. SNI 과제 쌍 (T_1, T_2)를 Gemini 2.5 Pro에 제시하고, 두 과제를 각각 푸는 데 필요한 스킬의 부분집합을 자연스럽게 활용하는 새 조합 과제 T_{{1,2}}를 생성하게 한다. 생성 시 128~512개의 예시 해답, 품질 점수(1~5), 그 점수의 근거도 함께 내놓게 한다. 이 단계에서 대략 350K개의 과제가 생긴다.

필터링은 세 겹이다. 자기 보고 품질 점수가 3 이하인 과제를 제거하고, 생성된 예시가 16개 미만인 과제를 제거한 뒤, 남은 과제를 무작위로 짝지어 명확성·실행 가능성·예시 다양성 같은 기준으로 어느 쪽이 나은지 Gemini 2.5에 고르게 하는 비교 필터를 두 라운드 돌린다. 부록은 이 단계까지 거치면 대략 90K개가 남는다고 적는다. 이어서 정확성 필터가 붙는다. 무작위 표본을 사람이 직접 검토해 과제를 무효로 만드는 위반 사례를 정리하고, 그에 기반한 프롬프트로 절대적 정확성(예시 타깃이 지시를 정확히 따르는가)·실행 가능성과 무모호성·복잡성과 다양성 세 기준을 순차 적용해 하나라도 어기면 탈락시킨다.

본문은 최종 Composite-SNI가 대략 21K개의 조합 과제로 이루어지고 이 중 17K가량이 메타 훈련에 쓰인다고 적는다. 부록이 "최종 데이터셋 크기"로 O(90K)를 적은 것과는 숫자가 다른데, 정확성 필터 이후의 수치를 부록이 따로 밝히지 않아 두 값을 잇는 단계가 문서상 비어 있다.

메타 평가 집합은 구성 소스 과제가 메타 훈련 집합에 등장하는지에 따라 세 하위 분할로 나뉜다. Both-Seen(두 소스 모두 등장), One-Seen(하나만 등장), Neither-Seen(둘 다 등장하지 않음)이다. 이 분할이 뒤에 나올 일반화 점검의 축이 된다.

5.2 SNI와 MMLU-ProX

현실 배치 상황에서는 정답 소스 매핑이 거의 알려지지 않는다. 그래서 두 데이터셋이 추가된다. SNI는 76개 의미 범주에 걸친 1,616개 NLP 과제의 벤치마크이며, 논문은 각 1,024개 인스턴스를 갖는 875개 과제 부분집합을 쓴다. MMLU-ProX(Xuan et al., 2025)는 다섯 지리 권역에 걸친 29개 언어·14개 주제 범주의 다국어 데이터셋이다. 도전적인 평가 분할을 만들기 위해 각 권역에서 Gemma 3 4B 성능이 가장 낮은 언어들을 확인하고 전체에서 가장 낮은 세 언어를 제외했으며, 주제 범주 셋도 무작위로 훈련에서 뺐다. 결과적으로 메타 훈련은 26개 언어·11개 범주로, 평가 풀은 29개 언어·14개 범주 전부로 구성된다. 최종 평가는 여섯 개의 언어-범주 쌍(wolof_math, wolof_health, zulu_physics, spanish_law, indonesian_law, afrikaans_history)에서 이뤄진다. 다만 이 여섯 쌍 각각이 "미지 언어 × 전체 범주"와 "기지 언어 × 미지 범주" 중 어느 쪽 갈래에 속하는지는 명시되지 않는다.

5.3 소스 과제 검색

정답 매핑이 없는 두 데이터셋에는 2단계 휴리스틱이 들어간다. 먼저 의미 검색이다. 각 소스 과제에서 훈련 예시 K=16개를 뽑아 Gemini Embedding(gemini-embedding-001, classification 타입)으로 각각 임베딩하고, 이 임베딩 테이블을 모아 N-way 분류기를 훈련한다. 분류기는 은닉층 (512, 256)과 ReLU를 갖는 가벼운 MLP이며, 80/20 분할에 Adam(학습률 10^{-3}, 배치 128), 최대 1,000 에폭과 조기 종료로 학습한다. 추론 시에는 질의 과제의 K개 임베딩에 대한 로그 확률을 합해 앙상블 점수를 만들고, z-정규화와 tanh로 눌러 순위를 매긴다.

상위 과제들을 순차로 묶어 후보 쌍 P개를 만든 뒤(상위 둘이 첫 쌍, 그다음 둘이 두 번째 쌍) 두 번째 단계로 넘긴다. Gemini 2.5 Pro에 후보 쌍들의 메타데이터와 타깃 과제 프로필을 함께 주고 가장 관련 있는 한 쌍을 이산적으로 고르게 한다. 각 과제 설명은 자연어 정의와 E = 2개의 입출력 시연으로 이루어진다. 선택 뒤에는 별도 프롬프트로 그 쌍이 타깃에 왜 전이 가치가 있는지 근거(rationale)를 쓰게 하고, 이것이 Combination Text가 된다. 부록의 실제 예시를 보면 이 근거는 솔직한 편이다. 한 쌍 중 하나(식당 리뷰 감성 분류)는 타깃(아마존 리뷰-평점 일치 판정)과 직결되지만 다른 하나(회계 객관식)는 "관련 스킬 전이를 별로 제공하지 않는다"고 적혀 있다.

---

6. 베이스라인과 Elo 평가 프로토콜

베이스라인은 모달리티 제약에 따라 세 묶음으로 나뉜다. ICL을 제외한 모든 방법은 제로샷과 타깃 데이터로 이어서 훈련한 두 국면 모두에서 평가된다.

가중치 전용. LERP는 두 부모 prefix 캐시를 원소별로 평균하며, 개념적으로 task arithmetic(Ilharco et al., 2023)과 같다. Concat은 두 캐시를 시퀀스 차원으로 이어 붙여 길이 64가 되게 하는데, 논문은 이 방법이 다른 모든 방법보다 엄격히 더 큰 용량을 갖는다고 명시한다. Source-Task Transfer는 부모 캐시들의 제로샷 성능을 평균한 것이고, 부모 캐시로 타깃 캐시를 초기화한 뒤 이어서 훈련하는 변형은 기능적으로 SPoT(Vu et al., 2022)과 같다. SVD 계열은 Stoica et al.(2024)에서 착안해 캐시들을 새 차원으로 쌓고 시퀀스·헤드·임베딩 축 각각에 대해 특이값 분해를 적용한 뒤, 특징 붕괴를 막고 에너지 분포를 보존하기 위해 첫 좌특이벡터를 특이값들의 제곱평균제곱근으로 스케일한다.

텍스트 전용. ICL은 k \in {16, 32, 64}에서 검증 NLL로 고른 k-shot in-context learning이다. 표본 수가 제한된 과제에서는 가장 가까운 2의 거듭제곱으로 k를 제한한다.

전이 없는 적응. Direct Prefix Tuning은 타깃 과제에서 새 prefix 캐시를 처음부터 최적화한다. 표준 초기화를 쓰거나, 타깃 과제 ICL 예시의 앞 32토큰으로 초기화한다. 여기에 더해, SkillSmith가 받는 모든 텍스트 메타데이터(소스 텍스트와 Combination Text)를 입력 예시 앞에 직접 붙여 prefix를 훈련하는 텍스트 증강 변형이 6.2절 분석에 등장한다.

지표는 특이하다. 과제마다 heldout 집합에서 입력이 주어졌을 때 타깃의 평균 음의 로그가능도(NLL)를 재는데, 벤치마크마다 척도와 수치 범위가 크게 달라 원시 NLL을 그대로 집계하면 분산이 큰 과제 쪽으로 결과가 치우친다는 문제가 있다. 그래서 척도 불변의 전역 평가를 위해 각 방법을 토너먼트 참가자로 보는 Elo 체계로 성능을 옮긴다. 초기 레이팅은 R = 1500.0이다.

두 단계로 계산한다. 먼저 경험적 승률 행렬 W를 만든다. 방법 i와 j에 대해 W_{ij}는 i가 j보다 엄격히 낮은 NLL을 얻은 평가 과제의 비율이다.

자기 비교는 일률적으로 0.5로 둔다. 다음으로 Bradley-Terry 틀에서 기대 승률을 잠재 레이팅의 로지스틱 함수로 모형화하고, 관측 승률과 기대 승률의 제곱오차 합을 최소화해 레이팅을 추정한다.

최적화는 L-BFGS-B(Byrd et al., 1995)로 수행한다. 논문은 집계된 Elo와 별도로 모든 베이스라인·과제의 원시 NLL을 부록에 싣는다.

---

7. 결과

7.1 정답 소스 관계가 알려진 경우: Composite-SNI

Composite-SNI 15개 메타테스트 과제의 Elo는 그림 2와 같다. 두 국면이 한 그래프에 섞여 있어 읽는 순서에 주의가 필요하다. 빗금 친 막대는 타깃 데이터로 훈련(미세조정)한 방법, 민무늬 막대는 그렇지 않은 방법이다.

그림 2. Composite-SNI 15개 메타테스트 과제에서 각 방법의 Elo. 빗금은 타깃 데이터로 훈련한 방법을 뜻한다. 원 논문 Figure 3에서 crop. 출처: Dery et al. (2026), arXiv:2607.27497.

주요 값을 정리하면 다음과 같다(모두 저자 보고).

방법	국면	Elo
SkillSmith (정답 소스)	미세조정	2627
[ICL-Init-Train] Prefix-Tuning	미세조정	2243
SVD_SEQ_AXIS	미세조정	2060
Direct Training	미세조정	2047
LERP	미세조정	2007
ICL	훈련 없음	1942
Concat	미세조정	1936
SkillSmith (정답 소스)	제로샷	1800
LERP	제로샷	692
Concat	제로샷	625
[ICL-Init] Prefix-Tuning	제로샷	617
SVD_EMBED_AXIS	제로샷	491

제로샷 국면에서 SkillSmith(1800)는 모든 가중치 병합 기법(491~692)을 큰 차이로 앞선다. 논문 자신이 덧붙이듯 ICL(1942)은 이 국면에서 여전히 경쟁력이 있으며, 실제로 SkillSmith보다 높다. 저자들은 이를 "기반 모델이 아무 적응 없는 제로샷 파라메트릭 생성보다 우위를 유지한다"고 표현한다. 부록의 원시 NLL로 확인하면 승패는 더 구체적이다. 15개 과제 중 ICL이 11개에서 더 낮은 NLL을 기록한다(SkillSmith가 이기는 넷은 31_91, 79_411, 330_736, 625_640이다). 15개 과제 평균 NLL도 ICL 0.92 대 SkillSmith 1.14로 ICL이 낮다(부록 표 3의 값을 평균한 것).

미세조정을 허용하면 순위가 뒤집힌다. SkillSmith가 만든 prefix에서 출발해 타깃 데이터로 이어 훈련하면 2627로, 가장 강한 비조합 베이스라인인 ICL 초기화 prefix-tuning(2243)과 산술 병합 후 이어 훈련한 방법들(1936~2060)을 모두 앞선다. 원시 NLL로 보면 SkillSmith는 15개 중 13개 과제에서 최저 NLL을 기록하고, 지는 두 과제(79_411, 330_736)는 공교롭게도 Direct Training이 유독 잘하는 과제들이다. 15개 평균 NLL은 SkillSmith 0.451, ICL 초기화 prefix-tuning 0.608, Direct Training 0.623이다(부록 표 4의 값을 평균한 것).

7.2 야생에서: SNI

SNI에서는 정답 소스 매핑이 없으므로 검색 파이프라인으로 각 과제에 부모 쌍을 붙인다. 메타 훈련 과제의 소스는 자기 자신을 제외한 훈련 풀에서, 메타 평가 과제의 소스도 훈련 집합에서만 뽑아 훈련과 평가 집합이 겹치지 않게 한다. 메타 과제가 부족한 국면(SNI 800개 남짓, MMLU-ProX 250개 남짓)을 다루기 위해 Composite-SNI로 훈련한 SkillSmith를 초기화로 삼는 부트스트랩도 함께 시험한다.

10개 SNI 메타테스트 과제에서 제로샷 순위는 부트스트랩의 값을 잘 보여준다. CSNI 체크포인트를 SNI 데이터로 이어 훈련한 판이 1341로 가장 높고, SNI 메타 훈련을 전혀 하지 않은 원본 CSNI 체크포인트가 1122, ICL이 1058, SNI 데이터만으로 훈련한 판이 980이다. 즉 합성 조합 데이터에서 얻은 조합 능력이 유기적 과제 분포로 그대로 옮겨 가며, 오히려 SNI만으로 훈련하는 것보다 낫다는 것이 저자들의 해석이다.

미세조정 국면에서는 상위권이 뭉친다. 상위 세 방법은 ICL 초기화 prefix-tuning 2853, SNI 메타 훈련 없는 SkillSmith 2845, 검색 소스를 쓴 SkillSmith 2821로 격차가 미미하며, 논문은 이들 사이의 승률이 0.5로 수렴해 유의한 성능 차이가 없다고 적는다. 원인으로 두 가지를 든다. SNI 과제는 과제당 인스턴스 수가 O(1000)으로 Composite-SNI보다 훨씬 많고, 2022년에 만들어진 벤치마크라 단순 감성 분류나 문자 이어붙이기처럼 요즘 기반 모델에는 사실상 사소한 원시적 NLP 과제가 주를 이룬다는 것이다. 이 두 효과가 미세조정 계열을 같은 성능 천장 주위로 몰아넣는다.

7.3 야생에서: MMLU-ProX

MMLU-ProX는 Composite-SNI와 계보상 아무 관계가 없다. 그럼에도 결과의 방향은 SNI와 같다.

그림 3. MMLU-ProX 6개 메타테스트 과제에서 각 방법의 Elo. 빗금은 타깃 데이터로 훈련한 방법, 점무늬는 Composite-SNI로 사전훈련한 SkillSmith를 뜻한다. 원 논문 Figure 5에서 crop. 출처: Dery et al. (2026), arXiv:2607.27497.

방법	국면	Elo
SkillSmith (CSNI 부트스트랩, 검색 소스)	미세조정	2515
SkillSmith (MMLU 단독 훈련)	미세조정	2337
SkillSmith (CSNI 부트스트랩, 검색 소스)	제로샷	2092
Concat	미세조정	2014
LERP	미세조정	2000
Direct Training	미세조정	1765
Concat	제로샷	1748
LERP	제로샷	1741
SkillSmith (MMLU 단독 훈련)	제로샷	1736
[ICL-Init] Prefix-Tuning	제로샷	443
ICL	훈련 없음	357

부트스트랩한 SkillSmith는 제로샷(2092)만으로 모든 제로샷 베이스라인은 물론 미세조정을 허용한 베이스라인 전부(최고 Concat 2014)를 넘는다. 미세조정하면 2515로 올라가, 부트스트랩하지 않은 변형(2337)과 가장 강한 가중치 병합 베이스라인(Concat 2014) 모두에 여유를 유지한다. 부트스트랩의 효과는 제로샷 비교에서 뚜렷하다. MMLU-ProX 과제만으로 훈련한 판의 제로샷 Elo는 1736에 그친다. 본문은 이 값을 "왼쪽에서 두 번째 열"이라고 가리키는데, 그림에서 두 번째 막대는 같은 변형의 미세조정판(2337)이고 1736은 열두 번째 막대다.

이 데이터셋에서 눈에 띄는 뒤집힘이 하나 있다. Composite-SNI에서 1942로 상위권이던 ICL이 여기서는 357로 주저앉고, 반대로 제로샷 가중치 병합(Concat 1748, LERP 1741)이 상위권으로 올라온다. 부록의 원시 NLL을 보면 이유가 보인다. MMLU-ProX 제로샷에서 ICL의 NLL은 2.62~3.42인 반면 Concat·LERP·부모 평균은 1.06~1.23 구간에 몰려 있다. 저자들은 이 데이터셋의 성격을 과제가 어렵고 인스턴스가 부족한 희소 환경으로 설명한다. 그런 환경에서는 표준 경사하강이 나쁜 초기화를 쉽게 벌충하지 못하므로, 좋은 초기화를 합성해 주는 쪽의 이득이 상쇄되지 않고 남는다는 것이다.

---

8. 분석: 가중치를 쓰는가, 이득은 어디서 오는가, 일반화하는가

8.1 K-V 캐시를 실제로 쓰는가

소스 prefix 캐시를 입력으로 주더라도 모델이 그것을 무시할 수 있다. 그러면 "텍스트와 가중치를 함께 추론한다"는 목표 자체가 흔들린다. 그래서 입력의 각 부분을 떼어 낸 변형들을 Composite-SNI 메타 평가 과제에서 비교한다.

입력 구성	Elo
입력 없음	1209
K-V 캐시만	1455
K-V 캐시를 제외한 전부	1622
전부	1714

텍스트만 쓰는 편이 가중치만 쓰는 편보다 낫고, 둘을 함께 넣을 때가 가장 낫다는 결과다. 논문은 'K-V 캐시만' 항목이 ATTEMPT(Asai et al., 2022)를 모사한다고 덧붙인다. 평균이나 연결 같은 단순 산술 대신 파라메트릭 함수로 PEFT 모듈을 결합하는 데 해당하기 때문이다. 다만 이 Elo는 이 네 변형만으로 이룬 토너먼트의 값이므로 7장의 Elo와 같은 눈금으로 읽을 수 없다.

8.2 이득이 텍스트 문맥 덕분만은 아닌가

두 번째 질문은 더 날카롭다. SkillSmith의 우위가 모달리티를 합성하는 구조에서 오는가, 아니면 그저 더 풍부한 텍스트 문맥을 받았기 때문인가. LERP나 Concat 같은 가중치 전용 베이스라인은 텍스트를 아예 못 받으므로, 이 비교는 공평하지 않을 수 있다.

이를 분리하기 위해 SkillSmith가 받는 텍스트 정보 전부(소스 텍스트 w_i와 Combination Text)를 타깃 과제 입력 예시 앞에 직접 붙이고, 그 텍스트 증강 데이터셋에서 표준 prefix 캐시를 훈련했다. 결과는 Figure 6의 스파이더 플롯으로 제시되는데, 보조 텍스트를 주면 Direct Training 베이스라인이 대체로 나아지지만 과제 전반에서 SkillSmith에는 미치지 못한다는 것이 저자들의 요약이다. 즉 이득이 텍스트 메타데이터의 존재만으로 설명되지는 않는다는 논증이다.

8.3 훈련 분포를 넘어 일반화하는가

Composite-SNI 15개 메타테스트 과제는 세 하위 분할에서 5개씩 뽑은 것이다. 그래서 분할별로 평가를 다시 계산한다.

그림 4. Composite-SNI 메타테스트 과제를 Both-Seen·One-Seen·Neither-Seen 세 분할로 나눠 다시 계산한 Elo. 방법들은 4.3절의 묶음으로 집계했다. 원 논문 Figure 7에서 crop. 출처: Dery et al. (2026), arXiv:2607.27497.

세 분할 모두에서 미세조정한 SkillSmith가 1위이며, 부모 과제가 메타 훈련 조합 과제 구성에 전혀 쓰이지 않은 Neither-Seen에서도 큰 차이로 최고 Elo를 얻는다. 저자들은 이를 훈련 분포를 넘어서는 일반화의 증거로 든다. 같은 그림에서 제로샷 SkillSmith(분홍 막대)는 Both-Seen 1680, One-Seen 1540, Neither-Seen 1487로, 세 분할 모두에서 ICL(각각 1867, 1761, 1599)보다 낮다. 소스 과제가 낯설수록 제로샷 값이 내려가는 추세도 함께 보인다.

8.4 소스 과제 선택의 품질에 얼마나 민감한가

부록에는 검색 품질에 대한 민감도 실험이 있다. 검색 단계를 무작위 과제쌍 표집으로 바꾼 "Random + LLM Selection"을, 정답 소스를 쓰는 상한과 표준 direct prefix-tuning 베이스라인과 함께 비교한다. 저자들의 결론은 정답 없이도 SkillSmith가 direct training 대비 상당한 우위를 유지한다는 것이고, 근거로 per-task 수치를 든다. 무작위 선택은 15개 중 3개 과제에서 Direct Training보다 나빠지는 반면, 검색 기반 선택은 15개 과제 전부에서 베이스라인보다 낫다는 것이다. 부록 표 2의 값을 직접 대조하면 두 진술 모두 정확하다.

같은 표에서 함께 읽히는 사실이 두 가지 더 있다. 검색 기반과 무작위 기반의 격차가 매우 작아서, 무작위 쪽이 오히려 더 낮은 NLL을 내는 과제가 7개(1_450, 100_870, 101_269, 583_850, 869_873, 96_721, 96_827)이고 한 과제(330_736)는 동률이다. 그리고 "예측대로 가장 강하다"고 서술된 정답 소스 조건도 15개 중 5개 과제(43_122, 79_411, 91_595, 96_721, 330_736)에서 검색 기반보다 높은 NLL을 낸다. 논문은 Elo 기준으로 검색이 무작위보다 약간 낫다고만 적고 검색 메커니즘 개선을 향후 과제로 남긴다.

---

9. 논문의 주장과 근거 범위

주장은 네 갈래이고, 각각 근거가 닿는 범위가 다르다.

"가중치를 네이티브 모달리티로 다룰 수 있다." 근거는 8.1절의 절제다. K-V 캐시를 빼면 1714에서 1622로 내려가고, 텍스트를 다 빼고 캐시만 남기면 1455가 된다. 즉 모델이 두 입력을 모두 쓴다는 것은 확인되지만, 두 입력의 무게는 대칭이 아니다. 텍스트 쪽이 조종의 주축이고 가중치는 그 위에 얹히는 신호에 가깝다.

"단모달 베이스라인을 크게 앞선다." 가중치 전용 베이스라인 대비로는 모든 국면에서 성립한다. 텍스트 전용 베이스라인(ICL) 대비로는 국면을 나눠 읽어야 한다. Composite-SNI 제로샷에서는 ICL이 1942로 SkillSmith 1800보다 높고, 15개 과제 중 11개에서 더 낮은 NLL을 낸다. SkillSmith가 ICL을 앞서는 것은 타깃 데이터로 이어 훈련한 뒤이며, 이때 ICL은 훈련되지 않는 비교군이다. MMLU-ProX에서는 순서가 반대로, 제로샷만으로도 ICL(357)을 크게 앞선다. 다만 그 데이터셋에서는 ICL 자체가 무너져 있어 병합 베이스라인(1741~1748)에도 크게 뒤진다. 요컨대 "텍스트 전용을 앞선다"는 주장은 데이터셋과 국면에 따라 성립 여부가 갈린다.

"우수한 파라미터 초기화를 제공한다." 이 주장이 가장 넓게 뒷받침된다. Composite-SNI 미세조정 2627 대 2243, MMLU-ProX 미세조정 2515 대 2014가 그 근거다. 반례는 SNI로, 상위 세 방법의 승률이 0.5로 수렴해 1위가 베이스라인(ICL 초기화 prefix-tuning 2853)이고 SkillSmith 변형이 2845·2821로 뒤따른다. 논문은 이를 과제가 쉽고 인스턴스가 많아 천장에 몰린 탓으로 설명한다.

"합성 데이터에서 얻은 조합 능력이 유기적 분포로 전이된다." 근거는 두 가지다. SNI 제로샷에서 CSNI 체크포인트를 그대로 평가한 값(1122)이 ICL(1058)보다 높다는 것, 그리고 계보상 무관한 MMLU-ProX에서 CSNI 부트스트랩판(제로샷 2092)이 부트스트랩 없는 판(1736)을 크게 앞선다는 것이다. 다만 SNI 쪽 근거에는 유보가 붙는다. Figure 4의 캡션은 이 10개 과제가 엄격히 heldout이라면서 동시에 CSNI 구성에 "did feature"라고 적어, 이 과제들이 합성 데이터 생성에 쓰였는지 여부가 문장 그대로는 모호하다. 전이 주장의 강도는 이 지점의 해석에 달려 있다.

---

10. 학술적 한계와 비평

10.1 생성된 가중치가 스킬을 담았는지 직접 재지 않는다

논문의 서사는 조합이다. 번역 스킬과 법률 분석 지식을 합쳐 트위어 법률 분석 가중치를 만든다는 그림에서 시작한다. 그러나 측정되는 것은 단 하나, 생성된 캐시를 꽂은 하류 모델이 타깃 heldout 집합에서 내는 NLL이다. 생성된 prefix가 소스 스킬 각각을 실제로 담고 있는지, 조합의 어느 부분이 어느 소스에서 왔는지를 확인하는 실험은 없다. 예컨대 합성된 캐시를 소스 과제에 다시 적용해 보거나, 소스 하나를 바꿔치기했을 때 생성 캐시의 행동이 예측된 방향으로 변하는지 보는 식의 검사가 가능했을 텐데 그런 절차가 없다.

훈련 목적함수가 이 공백을 키운다. SkillSmith는 조합을 감독받지 않고 타깃 NLL만 최소화하도록 학습된다. 그러면 조합처럼 보이는 어떤 것을 배웠을 수도 있고, 입력에 들어 있는 타깃 과제 신호를 캐시로 압축하는 법을 배웠을 수도 있다. 후자의 가능성은 구조상 열려 있다. Combination Text는 "문맥에 놓인 타깃 과제의 예시"를 포함할 수 있다고 3.3절이 명시하고, 부록의 실제 훈련 예시도 타깃 과제 시연 3개로 끝난 뒤 "이제 이 과제를 풀 수 있는 K-V 캐시를 생성하라"로 마무리된다. 즉 SkillSmith는 최소한 ICL 예시를 prefix 캐시로 증류하는 장치로 작동할 수 있다. 논문에는 이 성분을 분리하는 절제, 곧 소스 번들 없이 타깃 텍스트만 주고 훈련한 코프로세서와의 비교가 없다. 표 1의 '입력 없음'(1209)이나 'K-V 캐시를 제외한 전부'(1622)는 각 구성이 정확히 무엇을 남기는지 정의되지 않아 그 자리를 대신하기 어렵다.

부록의 소스 민감도 결과가 이 의심에 힘을 보탠다. 무작위로 뽑은 과제쌍에 LLM 선택만 얹은 조건이 검색 기반 조건과 사실상 동률이고(15개 중 7개 과제에서는 무작위 쪽 NLL이 더 낮다), 정답 소스 조건조차 5개 과제에서 검색 조건에 진다. 조합할 재료의 정체성이 결과를 그리 크게 바꾸지 않는다면, 이득의 상당 부분은 "무엇을 조합했는가"보다 "타깃 과제에 맞춘 캐시를 코프로세서가 생성했다"는 사실 자체에서 온다고 보는 편이 자연스럽다.

10.2 Elo가 효과 크기를 지운다

지표 선택은 두 가지 문제를 함께 안고 있다.

첫째, 이 Elo는 차이만 의미가 있다. 목적함수의 E_{ij}가 R_j - R_i에만 의존하므로 모든 레이팅에 상수를 더해도 목적값이 변하지 않는다. 절대 수준을 고정하는 것은 초기값 1500뿐이다. 따라서 "1736"이나 "2627" 같은 값은 그 자체로는 뜻이 없고 같은 그림 안의 다른 막대와의 간격으로만 읽어야 한다. 8.1절의 표가 7장의 그림과 다른 눈금인 것도 같은 이유다. SNI 그림에 음수 레이팅(-46에서 -319까지)이 등장하는 것도 이 성질의 부산물이다.

둘째, 승패를 세는 방식이 효과 크기를 지운다. 두 방법이 0.01 nat 차이로 갈려도, 10 nat 차이로 갈려도 승수는 똑같이 1이다. MMLU-ProX가 이 문제를 잘 보여준다. 부록 표 8에서 미세조정 후 Concat과 부모 평균의 NLL 차이는 과제당 0.003~0.032 수준이고 6개 중 4개에서 Concat이 이기는데, Elo로는 2014 대 1885, 곧 129점 차이가 된다. 같은 표에서 가장 큰 이득인 CSNI 부트스트랩 SkillSmith와 Direct Training의 6개 과제 평균 NLL 차이는 1.024 대 1.126으로 약 0.10 nat이다(부록 표 8의 값을 평균한 것). 실질적인 개선이지만, Elo 격차 750점(2515 대 1765)이 주는 인상과는 크기가 다르다.

여기에 표본 수가 겹친다. 평가 과제가 Composite-SNI 15개, SNI 10개, MMLU-ProX 6개다. 승률의 해상도가 각각 1/15, 1/10, 1/6이므로, MMLU-ProX에서 7점 차이(Concat 1748 대 LERP 1741)는 승률 벡터가 사실상 같다는 뜻에 가깝다. 분산이나 신뢰구간, 시드 반복은 어느 표에도 없다.

10.3 베이스라인의 강도가 비대칭이다

가중치 전용 베이스라인이 약한 데에는 구조적 이유가 있다. 서로 다른 과제에서 독립적으로 학습된 prefix K-V 캐시는 공유된 선형 공간에 놓여 있지 않으므로 원소별 평균이나 SVD가 의미 있는 결과를 낼 이유가 별로 없다. 부록 표 3에서 제로샷 병합의 NLL은 0.94에서 13.84까지 흩어지고, 90개 값 중 77개가 2를 넘는다. 논문은 prefix-tuning용 병합 베이스라인을 정리한 것을 기여로 내세우는데, 이는 정직한 서술이면서 동시에 이 비교군이 애초에 넘기 쉬운 상대였다는 뜻이기도 하다. LoRA 계열에서 발전한 병합 기법들(Prabhakar et al., 2025; Zhao et al., 2024)이 인용은 되지만 prefix 설정으로 이식되어 비교되지는 않는다.

텍스트 전용 쪽은 반대 방향의 비대칭이 있다. ICL은 어떤 훈련도 받지 않는 반면 SkillSmith는 메타 훈련 전체를 받는다. 이 둘을 미세조정 국면에서 나란히 놓는 비교는 성립하기 어렵다. 그나마 대응이 되는 것은 ICL 초기화 prefix-tuning과 6.2절의 텍스트 증강 direct training인데, 후자는 스파이더 플롯으로만 제시되고 Elo 표에는 들어가지 않아 다른 방법들과 같은 눈금으로 비교되지 않는다.

10.4 조합의 일반화 범위가 좁다

N = 2가 모든 실험에서 고정이다. 셋 이상의 스킬을 조합하는 설정은 시험되지 않으며, 논문 도입부의 예시(번역 + 트위어 언어모델링 + 법률 분석)는 세 스킬의 결합인데 정작 실험은 두 개짜리다. 조합 폭이 늘어날 때 고정 길이 32의 출력 캐시가 견디는지도 알 수 없다.

백본도 하나다. 코프로세서와 하류 모델이 모두 Gemma 3 4B이고, prefix 캐시는 정의상 특정 얼어붙은 기반 모델에 종속된다. 스킬 라이브러리를 다른 모델로 옮기는 문제, 코프로세서와 하류 모델을 다르게 두는 문제, 크기를 키웠을 때의 거동은 모두 열려 있다. 게다가 캐시는 기반 모델의 글로벌 레이어에만 붙는다.

Neither-Seen 분할의 우위도 표본 5개 위에서 읽어야 한다. 그리고 그 "본 적 없음"은 소스 과제가 메타 훈련 조합 과제 구성에 쓰이지 않았다는 뜻이지, 과제 유형이나 도메인이 낯설다는 뜻이 아니다. 소스는 여전히 같은 SNI 과제 풀에서 온다.

10.5 하이퍼네트워크 선행과의 차별성

논문이 스스로 밝히듯 'K-V 캐시만' 구성은 ATTEMPT와 같은 성격이다. 즉 학습된 파라메트릭 함수로 PEFT 모듈을 결합한다는 발상 자체는 새롭지 않다. 훈련 방식도 선행을 잇는다. 생성된 캐시를 얼어붙은 모델에 통과시켜 타깃 손실을 종단간 최소화하는 절차를 논문은 Liu et al.(2024)을 따른 것이라고 명시한다. 새로움은 두 재료를 한 열에 넣었다는 배치에 있다. 가중치를 텍스트와 같은 시퀀스 안에 제어 토큰으로 끼워 넣고, 자연어 지시로 조합의 축을 조종한다는 구상이다.

그렇다면 이 배치가 얼마를 벌어 주는가. 논문 안에서 그 값을 읽을 수 있는 곳은 표 1뿐이다. ATTEMPT류 구성(1455)에 텍스트를 더하면 1714, 텍스트만 쓰면 1622다. 텍스트가 더해 주는 몫이 259점, 가중치가 더해 주는 몫이 92점이다. 모달리티 간극을 메운다는 표제에 비해 가중치 쪽 기여를 재는 저울은 이 하나뿐이고, 그마저 네 변형만의 토너먼트 안에서 매겨진 값이다.

10.6 계산 비용이 보고되지 않는다

파이프라인은 가볍지 않다. 소스 과제마다 prefix 캐시를 격자 탐색(스텝 3개 × 학습률 구간)으로 훈련해야 하고, 평가 시 공정성을 위해 소스 prefix를 길이 32로 다시 훈련한다. Composite-SNI 데이터 자체도 Gemini 2.5 Pro로 대략 35만 개 과제를 생성하고 여러 단계의 LLM 필터를 돌려 만든다. SkillSmith 훈련은 4B 코프로세서를 얼어붙은 4B 하류 모델을 통과해 역전파하며 Composite-SNI 기준 10,000 스텝을 돈다. 이 모든 과정의 시간·연산량·메모리 수치가 논문에 없다.

배치 시점의 비용 논변도 정량화되지 않았다. 원리상 SkillSmith는 길이 32의 캐시 하나를 만들어 두면 되는 반면 ICL은 매 질의마다 16~64개 예시를 문맥에 실어야 하므로, 질의가 쌓일수록 유리해지는 구조다. 논문은 텍스트 전용 전략이 "계산적으로 비싸다"고 반복해 말하지만 지연시간이나 토큰 수 비교를 제시하지 않는다. 제로샷 Composite-SNI에서 ICL이 더 나은 NLL을 낸다는 사실과 합치면, "언제 이 파이프라인이 값을 하는가"는 미해결로 남는다.

10.7 평가 대상 자체가 합성이라는 점

Composite-SNI의 타깃과 정답은 Gemini 2.5 Pro가 만들었고, 품질·정확성 필터도 같은 계열 모델이 수행했다. 따라서 이 데이터셋에서 재는 것은 Gemma 3 4B + 생성 prefix가 Gemini가 만든 출력 분포를 얼마나 잘 예측하느냐다. 조합 과제라는 구성적 성격은 설계로 보장되지만, 라벨의 타당성은 생성기와 필터의 신뢰도에 걸려 있다. 부록의 필터 프롬프트는 절대적 정확성을 최우선 기준으로 두고 실패 사례까지 예시로 넣는 등 공을 들인 편이지만, 사람 검증은 필터 설계를 위한 무작위 표본 검토에 그치고 최종 데이터셋의 정확도 추정치는 보고되지 않는다.

MMLU-ProX 쪽에서는 다른 종류의 아쉬움이 있다. 이 벤치마크는 객관식이라 정확도가 자연스러운 지표인데도 모든 결과가 NLL로만 보고된다. 생성된 prefix가 정답을 실제로 더 자주 맞히는지, 아니면 정답 토큰의 로그 가능도만 조금 올리는지 구별할 수 없다.

10.8 보고의 자잘한 불일치

본문은 최종 Composite-SNI를 대략 21K개 과제(메타 훈련 17K)로 적고, 부록은 필터링 뒤 "최종 데이터셋 크기"를 O(90K)로 적는다. 정확성 필터 이후의 수치가 없어 두 값이 이어지지 않는다. MMLU-ProX 절에서 부트스트랩 없는 변형의 제로샷 Elo 1736을 "왼쪽에서 두 번째 열"로 지시하지만, 그림에서 두 번째 막대는 같은 변형의 미세조정판(2337)이다. 그림 4에는 SNI 제로샷 SkillSmith 변형이 셋 있는데 부록 표 5는 그중 둘만 싣는다(미세조정 쪽 표 6은 셋을 모두 싣는다). 열 이름(Retrieved, CSNI-Pre, CSNI-Pre-Ret)이 본문 변형 이름과 대응되지 않아 독자가 추론해야 한다. 부록 F는 코프로세서를 "official pre-trained Gemma-4B"로 적어 본문의 Gemma 3 4B와 표기가 다르다. 어느 것도 결론을 바꾸지 않지만, 수치를 추적하는 독자에게는 마찰이다.

---

11. 결론

SkillSmith의 제안은 한 문장으로 요약된다. 에이전트가 쌓아 온 가중치를 텍스트와 같은 열에 넣어 언어모델에게 읽히고, 그 모델이 새 가중치를 직접 쓰게 하자는 것이다. prefix K-V 캐시를 스킬의 그릇으로 고른 선택이 이 구상을 구현 가능하게 만든다. 텍스트는 순전파 한 번으로 K-V가 되므로, 두 모달리티가 같은 표면에서 만난다. 나머지는 어댑터 두 개(입력·출력 MLP), 제어 토큰 몇 개, 그리고 얼어붙은 하류 모델을 통과하는 종단간 손실이다.

성과 중 가장 견고한 것은 초기화 주장이다. Composite-SNI에서 미세조정 후 Elo 2627 대 2243, MMLU-ProX에서 2515 대 2014로, 생성된 prefix에서 출발하는 편이 ICL 초기화나 산술 병합에서 출발하는 편보다 낫다. 데이터가 희소하고 과제가 어려운 MMLU-ProX에서 격차가 가장 크게 벌어진다는 관찰도 설득력이 있다. 경사하강이 나쁜 출발점을 벌충할 여지가 적은 곳에서 좋은 출발점의 값이 남는다는 설명은 결과와 맞는다.

함께 붙여 읽어야 할 조건들도 분명하다. 제로샷 Composite-SNI에서는 텍스트 전용 ICL이 더 낫고, 세 하위 분할 어디에서도 제로샷 SkillSmith는 ICL 위로 올라가지 못한다. 조합할 소스를 무작위로 골라도 검색으로 골랐을 때와 결과가 거의 같으며, 생성된 가중치가 소스 스킬을 담았는지는 어떤 실험으로도 직접 확인되지 않는다. 모든 결론이 heldout NLL의 승패를 집계한 Elo 위에 서 있고, 그 값은 차이만 의미가 있으며 6~15개 과제 위에서 계산된다. 계산 비용은 어느 축으로도 보고되지 않았다.

항목	내용
확실한 기여	가중치(prefix K-V)를 텍스트와 한 열에 실어 LLM이 읽고 새 가중치를 출력하게 하는 구체적 구조, prefix-tuning용 병합 베이스라인의 정리, 정답 조합 관계가 알려진 합성 데이터셋과 그 생성·필터 절차, 합성 조합 데이터로 사전훈련한 뒤 과제가 적은 도메인으로 옮기는 부트스트랩 전략
조건부 기여	"단모달을 앞선다"는 결론(제로샷 Composite-SNI에서는 ICL이 앞선다), "합성에서 유기적 분포로 전이된다"는 결론(SNI 메타테스트 과제와 CSNI 구성의 관계가 캡션상 모호하다), 소스 조합의 기여(무작위 소스와 차이가 작다)
읽는 법	Elo는 같은 그림 안의 간격으로만 읽고, 절대값과 그림 간 비교는 피한다. 부록의 원시 NLL로 효과 크기를 함께 확인한다. 제로샷과 미세조정 국면을 반드시 나눠 읽는다
남은 질문	생성된 prefix가 목표 스킬을 발현하는지 직접 재는 평가, 소스 번들 없이 타깃 텍스트만 받은 코프로세서와의 대조, N \ge 3 조합과 다른 백본으로의 이식, 파이프라인 전체의 계산 비용

References

Agrawal, L. A., Tan, S., Soylu, D., Ziems, N., Khare, R., Opsahl-Ong, K., Singhvi, A., Shandilya, H., Ryan, M. J., Jiang, M., Potts, C., Sen, K., Dimakis, A., Stoica, I., Klein, D., Zaharia, M., & Khattab, O. (2026). GEPA: Reflective prompt evolution can outperform reinforcement learning. The Fourteenth International Conference on Learning Representations. https://openreview.net/forum?id=RQm2KQTM5r

Asai, A., Salehi, M., Peters, M. E., & Hajishirzi, H. (2022). ATTEMPT: Parameter-efficient multi-task tuning via attentional mixtures of soft prompts. arXiv. https://arxiv.org/abs/2205.11961

Byrd, R. H., Lu, P., Nocedal, J., & Zhu, C. (1995). A limited memory algorithm for bound constrained optimization. SIAM Journal on Scientific Computing, 16(5), 1190–1208. https://doi.org/10.1137/0916069

Chhikara, P., Khant, D., Aryan, S., Singh, T., & Yadav, D. (2025). Mem0: Building production-ready AI agents with scalable long-term memory. arXiv. https://arxiv.org/abs/2504.19413

Dery, L. M., Tjandra, B. A., Samiei, S., Kuncoro, A., Yahav, Z., Shen, J., & Szlam, A. (2026). SkillSmith: Learning to compose parametric skills and textual knowledge. arXiv. https://arxiv.org/abs/2607.27497

Google. (2025). Gemma 3 technical report. arXiv. https://arxiv.org/abs/2503.19786

Houlsby, N., Giurgiu, A., Jastrzebski, S., Morrone, B., de Laroussilhe, Q., Gesmundo, A., Attariyan, M., & Gelly, S. (2019). Parameter-efficient transfer learning for NLP. arXiv. https://arxiv.org/abs/1902.00751

Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2021). LoRA: Low-rank adaptation of large language models. arXiv. https://arxiv.org/abs/2106.09685

Huang, C., Liu, Q., Lin, B. Y., Pang, T., Du, C., & Lin, M. (2023). LoRAHub: Efficient cross-task generalization via dynamic LoRA composition. arXiv. https://arxiv.org/abs/2307.13269

Ilharco, G., Ribeiro, M. T., Wortsman, M., Gururangan, S., Schmidt, L., Hajishirzi, H., & Farhadi, A. (2023). Editing models with task arithmetic. arXiv. https://arxiv.org/abs/2212.04089

Lee, J., Chen, F., Dua, S., Cer, D., Shanbhogue, M., Naim, I., … Duerig, T. (2025). Gemini embedding: Generalizable embeddings from Gemini. arXiv. https://arxiv.org/abs/2503.07891

Li, X. L., & Liang, P. (2021). Prefix-tuning: Optimizing continuous prompts for generation. arXiv. https://arxiv.org/abs/2101.00190

Liu, L., Pfeiffer, J., Wu, J., Xie, J., & Szlam, A. (2024). Deliberation in latent space via differentiable cache augmentation. arXiv. https://arxiv.org/abs/2412.17747

Madaan, A., Tandon, N., Gupta, P., Hallinan, S., Gao, L., Wiegreffe, S., Alon, U., Dziri, N., Prabhumoye, S., Yang, Y., Gupta, S., Majumder, B. P., Hermann, K., Welleck, S., Yazdanbakhsh, A., & Clark, P. (2023). Self-refine: Iterative refinement with self-feedback. arXiv. https://arxiv.org/abs/2303.17651

Pfeiffer, J., Rücklé, A., Poth, C., Kamath, A., Vulić, I., Ruder, S., Cho, K., & Gurevych, I. (2020). AdapterHub: A framework for adapting transformers. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 46–54.

Prabhakar, A., Li, Y., Narasimhan, K., Kakade, S., Malach, E., & Jelassi, S. (2025). LoRA soups: Merging LoRAs for practical skill composition tasks. Proceedings of the 31st International Conference on Computational Linguistics: Industry Track, 644–655.

Shenaj, D., Bohdal, O., Ozay, M., Zanuttigh, P., & Michieli, U. (2025). LoRA.rar: Learning to merge LoRAs via hypernetworks for subject-style conditioned image generation. Proceedings of the IEEE/CVF International Conference on Computer Vision, 16132–16142.

Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: Language agents with verbal reinforcement learning. Advances in Neural Information Processing Systems, 36, 8634–8652.

Stoica, G., Ramesh, P., Ecsedi, B., Choshen, L., & Hoffman, J. (2024). Model merging with SVD to tie the knots. arXiv. https://arxiv.org/abs/2410.19735

Vu, T., Lester, B., Constant, N., Al-Rfou, R., & Cer, D. (2022). SPoT: Better frozen model adaptation through soft prompt transfer. arXiv. https://arxiv.org/abs/2110.07904

Wang, X., Li, C., Wang, Z., Bai, F., Luo, H., Zhang, J., Jojic, N., Xing, E., & Hu, Z. (2024). PromptAgent: Strategic planning with language models enables expert-level prompt optimization. The Twelfth International Conference on Learning Representations. https://openreview.net/forum?id=22pyNMuIoa

Wang, Y., Mishra, S., Alipoormolabashi, P., Kordi, Y., Mirzaei, A., Naik, A., … Khashabi, D. (2022). Super-NaturalInstructions: Generalization via declarative instructions on 1600+ NLP tasks. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 5085–5109.

Xuan, W., Yang, R., Qi, H., Zeng, Q., Xiao, Y., Feng, A., … Li, I. (2025). MMLU-ProX: A multilingual benchmark for advanced large language model evaluation. arXiv. https://arxiv.org/abs/2503.10497