SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge

Paper: Lucio M. Dery; Benedict Aaron Tjandra; Siavash Samiei; Adhiguna Kuncoro; Zohar Yahav; Jiajun Shen; Arthur Szlam (2026). "SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge." arXiv:2607.27497v1. PDF

1. 문제: 설명은 읽지만, 이미 배운 스킬은 어떻게 읽을까

에이전트가 남기는 재사용 자산은 반성 기록·과제 설명 같은 텍스트 지식과 특정 하위 과제에 맞춘 PEFT(parameter-efficient fine-tuning) 모듈 같은 파라메트릭 스킬로 나뉜다. 전자는 언어모델이 잘 읽지만 문맥을 차지하고, 후자는 작은 가중치 묶음이지만 다른 과제의 가중치와 어떤 의미 관계를 갖는지 말로 다루기 어렵다.

SkillSmith는 prefix-tuning의 key/value(K/V) cache를 스킬의 표현으로 택한다. prefix는 입력 앞에 붙는 학습 가능한 내부 상태로, 기반 언어모델 자체는 고정한 채 과제별 행동만 바꾼다. 예를 들어 번역 prefix와 법률 분류 prefix가 있을 때, “트위어(Twi) 법률 문서를 분류한다”는 목표 설명을 두 prefix와 함께 주고 새 prefix를 합성하겠다는 발상이다. 논문은 텍스트로 설명된 조합 관계가 새 가중치 스킬을 만들게 할 수 있는가를 묻는다. 좋은 프롬프트 작성 자체가 질문은 아니다.

그림 1. Dery et al., Figure 1, arXiv:2607.27497v1 PDF p. 2의 원도판이다. 소스 텍스트와 기존 prefix K/V를 코프로세서가 읽어 새 K/V prefix를 내보내고, 이를 고정된 하류 모델에 장착하는 순서를 보라. 이 그림은 구조 설명이며, 각 입력 성분의 성능 기여나 비용을 측정한 결과는 아니다.

2. 방법: K/V를 문장 옆에 놓고, 빈 슬롯을 새 스킬로 읽는다

각 소스 과제는 짧은 설명·예시와 해당 과제의 K/V cache로 이루어진다. SkillSmith는 K/V를 작은 MLP 어댑터로 언어모델의 표현 공간에 투영하고 소스 텍스트 → 투영된 K/V를 번갈아 입력열에 놓는다. 이어 목표 과제를 설명하는 combination text와 여러 placeholder token을 붙인다. 코프로세서 LLM을 한 번 통과한 뒤 placeholder 위치의 K/V를 추출해 위치 정보를 보정하고 출력 어댑터를 거쳐 목표 과제의 새 prefix로 쓴다(§3, Fig. 1).

생성된 K/V를 정답 K/V에 맞추지는 않는다. 새 prefix를 고정된 하류 모델에 꽂아 목표 instruction의 다음 토큰 손실이 작아지도록 종단간 학습한다(§3.4). 그래서 “두 스킬의 의미 있는 합성”은 관찰 가능한 중간 정답이 아니라 하류 과제 성능으로만 간접 감독된다. 과제 설명과 기존 작업 매뉴얼을 함께 보고 새 단축키 모음을 만드는 편집기로 생각할 수 있다. 단축키가 어떤 규칙을 담았는지는 최종 작업이 잘되는지로만 판정한다.

3. 무엇과 비교했나: 조합 능력과 적응 기회를 구분해야 한다

Composite-SNI는 저자들이 Super-Natural Instructions에서 만든 합성 과제다. 메타테스트 15개 과제에서 소스 관계를 알고 주거나 검색해 고른다. 비교군은 입력 예시를 그대로 쓰는 ICL, 타깃 과제만 새로 학습하는 prefix-tuning, K/V를 연결·선형 보간·SVD로 합치는 방법이다. 점수는 held-out negative log-likelihood의 방법 간 승패를 Elo로 요약한다(§4–5). Elo는 같은 표 안의 상대 순위에는 편리하지만, 개선 크기 자체는 숨긴다.

그림 2. Dery et al., Figure 3, arXiv:2607.27497v1 PDF p. 11의 원도판이다. 빗금 막대는 목표 과제 데이터로 추가 미세조정한 조건임을 먼저 확인해야 한다. Elo 막대의 높이는 절대 정확도나 서로 다른 실험 그림 사이의 효과 크기를 뜻하지 않는다.

4. 결과: 미세조정에는 강하지만 제로샷 결론은 더 좁다

Composite-SNI에서 SkillSmith는 추가 미세조정 시 Elo 2627로 ICL로 초기화한 prefix-tuning의 2243보다 높았다(Fig. 3). 반면 목표 과제 데이터 없이 바로 쓰는 제로샷에서는 SkillSmith 1800, ICL 1942였다. 가중치 병합 계열보다 강했지만 텍스트 ICL까지 항상 이긴 것은 아니다.

입력 절제(Table 1)도 두 모달리티가 모두 유용하다는 제한적 근거를 준다. K/V만 준 조건은 Elo 1455, 텍스트만 준 조건은 1622, 둘 다 준 조건은 1714다. 하지만 이 표는 Composite-SNI의 한 토너먼트이며, 생성 prefix가 인간이 의도한 각각의 소스 스킬을 보존했다는 직접 검사는 아니다.

MMLU-ProX 여섯 과제에서는 Composite-SNI로 먼저 학습한 검색 기반 변형이 제로샷 Elo 2092, 추가 미세조정 Elo 2515를 보고했다(Fig. 5). 이 수치는 여섯 과제와 해당 Gemma 3 4B 설정의 결과다. 다른 백본·세 개 이상 스킬 조합·실제 에이전트 라이브러리에도 같은 폭으로 전이된다고 읽을 근거는 아직 없다.

그림 3. Dery et al., Figure 5, arXiv:2607.27497v1 PDF p. 13의 원도판이다. CSNI 사전학습 여부, 검색 소스 여부, 추가 미세조정 여부를 범례로 분리해 보아야 한다. 서로 다른 조건의 Elo 차이를 일반적인 정확도 차이로 환산할 수는 없다.

5. 적용할 때 확인할 조건

이 방법은 (a) 이미 학습한 prefix가 쌓여 있고, (b) 목표 스킬을 자연어로 비교적 분명히 설명할 수 있으며, (c) 생성 prefix를 검증할 held-out 과제가 있을 때 가장 설득력 있다. 운영 환경이라면 소스 스킬 검색이 틀렸을 때의 성능, 생성 prefix의 안전성, 생성·미세조정 비용도 따로 기록해야 한다. 논문은 두 소스 과제의 조합과 단일 백본을 중심으로 평가하며 전체 계산 비용을 보고하지 않는다.

성능이 좋아진 사실은 어떤 지식이 원인인지까지 뜻하지 않는다. 타깃 예시를 담은 combination text가 K/V로 압축됐을 가능성과 소스 K/V의 재조합이 기여했을 가능성이 함께 있다. 더 강한 검증은 소스 번들 없이 타깃 텍스트만 준 코프로세서, 세 개 이상 조합, 원본 스킬 기능을 별도로 시험하는 평가를 포함해야 한다.

6. 정리

SkillSmith는 가중치를 단순 산술로 섞지 않고 텍스트와 같은 입력열에 넣어 LLM이 조건부로 새 prefix를 생성하게 하는 인터페이스를 제시한다. 저자 보고 실험에서는 합성 조합 과제와 일부 전이 설정의 미세조정에서 강하다. 다만 제로샷 Composite-SNI에서는 ICL이 높았고, 가중치 스킬의 의미 보존은 직접 측정되지 않았다. 현재 근거는 텍스트와 prefix를 함께 조건으로 삼는 hypernetwork가 유망하다는 데까지다.

상세 읽기

References

Dery, L. M., Tjandra, B. A., Samiei, S., Kuncoro, A., Yahav, Z., Shen, J., & Szlam, A. (2026). SkillSmith: Learning to compose parametric skills and textual knowledge (arXiv:2607.27497v1). https://arxiv.org/abs/2607.27497