TTPO: Test-Time Policy Optimization
다수결 유사라벨이 자주 틀려도 '반대하는 롤아웃을 벌하는 일'은 대체로 옳다는 비대칭 관찰에서 출발하는 TTPO의 설계를 설명하고, 절제 실험을 따라가며 이득의 주인이 유사라벨인지 사고모드 증류인지 검토합니다.
Paper: Aozhe Wang; Zhengxi Lu; Jianze Wang; Shangke Lv; Ying Liu; Weiming Lu; Jun Xiao; Yueting Zhuang; Hua Yang; Qianglong Chen; Yongliang Shen (2026). "TTPO: Test-Time Policy Optimization". https://arxiv.org/abs/2608.27448v1 · arXiv:2608.27448v1. 이 글은 2026년 8월 27일 공개된 17쪽의 v1을 기준으로 한다. 분류는 cs.CL이고 소속은 저장대학교와 알리바바 그룹이다. PDF · 공식 코드.
Abstract: 시험 시점 학습에서는 정답 라벨이 오지 않는다. 롤아웃을 여러 개 뽑아 다수결로 유사라벨을 만드는 것이 자연스러운 대안이지만, 경쟁 수준 수학 문제에서는 그 유사라벨이 자주 틀린다. 보상이 틀리면 궤적당 한 번 잘못 인도하고, 교사가 틀리면 토큰마다 잘못 인도한다. TTPO는 여기서 비대칭을 찾는다. 유사라벨에 동의하는 롤아웃은 교사가 그 롤아웃 자신의 답으로 조건화되므로 최악의 경우에도 사고모드를 비사고모드로 옮기는 증류로 축소되고, 반대하는 롤아웃은 유사라벨의 내용을 쓰지 않고 "다수 군집이 아니다"라는 사실만 쓰므로 유사라벨이 틀려도 벌점이 대체로 옳다. 두 갈래에 각각 토큰 가중과 토큰 마스킹을 얹어 목적함수를 구성한다. 라벨 없이 학습한 TTPO는 다섯 경쟁 벤치마크에서 라벨을 쓰는 OPSD와 대등하거나 앞서고, Qwen3-1.7B를 순수 시험 시점 학습에서 38.0%에서 45.2%로 올린다. 이 글은 두 갈래의 정의와 경계를 정리한 뒤, 논문의 절제 실험을 따라가며 이득이 어느 구성요소에서 오는지, 그리고 어떤 수치가 프로토콜에 의존하는지 검토한다. 논문 §§3–4
Executive Summary
| 항목 | 설명 |
|---|---|
| 연구 질문 | 정답 라벨 없이, 자주 틀리는 다수결 유사라벨만으로 조밀한 토큰 단위 지도를 안전하게 쓸 수 있는가? |
| 핵심 관찰 | 유사라벨이 틀려도 그에 반대하는 롤아웃은 대체로 틀리다. 벌점은 유사라벨의 내용을 쓰지 않는다. |
| 목적함수 | 동의 롤아웃 \mathcal P에 OPSD 순방향 KL, 반대 롤아웃 \mathcal N에 GRPO 벌점. \lambda=0.1로 두 갈래의 크기를 맞춘다. |
| 토큰 선택 | 증류 쪽은 \hat H(t)+\hat\Delta(t)-\hat H(t)\hat\Delta(t)로 수렴한 위치를 낮추고, RL 쪽은 -\log p\cdot(1-\hat H) 상위 50%만 벌한다. |
| 라벨 데이터 결과 | OpenThoughts 학습에서 5개 벤치마크 평균 40.1 / 58.6 / 62.6으로 라벨을 쓰는 OPSD의 39.7 / 58.4 / 61.7과 대등하거나 앞선다. |
| 시험 시점 학습 | 1.7B 38.0→45.2, 4B 57.4→61.1, 8B 60.7→65.3. TTRL과 OPSD-TTT를 모두 앞선다. |
| 비사고 평가 | 사고모드를 끈 평가에서 +25.2 / +30.6 / +36.4점으로 OPSD의 +7.1 / +5.8 / +3.5보다 훨씬 크다. |
| 핵심 한계 | 보고값은 모두 체크포인트 최댓값이고, 보고된 정확도에는 산포가 붙지 않으며 문항 수·유의성 검정도 없다. 절제 실험을 보면 이득의 대부분은 유사라벨이 아니라 사고모드 교사에서 온다. |
수치와 평가 범위는 논문 Tables 1–3, 7 및 Figures 3, 5, 6에 따른다.
목차
- 라벨 없이 시험 문제로 학습한다
- 비대칭이 성립하는 근거
- 두 갈래 목적함수와 토큰 선택
- 실험 설계에서 먼저 확인할 것들
- 라벨 있는 데이터: OPSD와 대등한가
- 라벨 없는 시험 시점 학습
- 절제 실험: 이득의 주인은 누구인가
- 정답 라벨보다 나은 결과와 자기진화
- 한계, 재현 조건과 결론
1. 라벨 없이 시험 문제로 학습한다
RLVR은 궤적 하나에 스칼라 보상 하나를 준다. 그 보상은 모든 토큰에 똑같이 퍼지므로 추론의 각 단계는 지도받지 못한 채 남는다. 이를 메우는 계열이 on-policy self-distillation(OPSD)이다. 같은 모델을 정답으로 조건화해 교사로 삼고, 학생 자신의 롤아웃을 토큰 단위로 다시 채점한다. 문제는 두 계열 모두 정답을 전제한다는 것이다. 보상은 검증에 정답이 필요하고 교사는 특권 정보로 정답이 필요하다. 모델이 풀어야 할 바로 그 문제 위에서 개선해야 하고 라벨이 끝내 오지 않는 시험 시점 학습에서는 어느 쪽도 쓸 수 없다. 논문 §1
라벨이 없으면 지도는 모델 자신에게서 와야 한다. 문제마다 롤아웃을 여러 개 뽑아 다수 답을 유사라벨로 삼는 방식이다. TTRL이 이를 보상으로 쓰지만 보상은 여전히 궤적당 스칼라 하나이고, 다수가 틀리면 학습이 오답을 강화한다. 다음 단계는 유사라벨을 OPSD의 정답 자리에 넣는 것인데, 여기서 문제가 커진다. 보상이 오염되면 궤적당 한 번 잘못 인도하지만, 교사가 오염되면 토큰마다 잘못 인도한다.
원논문 Figure 1. (a)는 동기, (b)는 방법 개요, (c)는 성능이다. (a)의 도식은 동의 13%·반대 87%로 나눈 뒤 반대 쪽을 정답 21%·오답 79%로 다시 나누지만, 같은 패널의 선 그래프는 두 계열을 "Disagreeing"과 "Disagreeing & Wrong"으로 표기한다. 두 표기는 79%를 조건부 비율로 읽을지 결합 비율로 읽을지를 다르게 가리킨다. (c)의 막대는 AIME 2026·HMMT 2026·BRUMO 2025 세 벤치마크 평균이며, Table 1의 다섯 벤치마크 평균과 다른 집계다. Wang et al. (2026), PDF p. 1. 원본 도판 영역 직접 추출.
그림을 누르면 원본 해상도로 볼 수 있다. 아래 도판도 같은 방식으로 확대할 수 있다.
2. 비대칭이 성립하는 근거
2.1 세 개의 서로 다른 비율
논문이 제시하는 수치는 세 가지이고 분모가 각각 다르다. 첫째, 경쟁 수준 문제에서 유사라벨이 틀린 문항의 비율이 약 85%다. 둘째, 롤아웃 가운데 유사라벨에 동의하는 것이 13%, 반대하는 것이 87%다. 셋째, 유사라벨이 틀렸을 때 반대 롤아웃 중 약 79%는 유사라벨도 정답도 아닌 답을 낸다. 앞의 두 수치는 Figure 1(a)에 표기되고, 셋째는 §3.2 본문에 적힌다. 논문 §1, §3.2 · Figure 1
세 번째 수치가 비대칭 논증의 핵심이다. 반대 롤아웃에 벌을 주는 연산은 유사라벨의 내용을 쓰지 않고 "다수 군집에 속하지 않는다"는 사실만 쓴다. 그래서 유사라벨이 맞든 틀리든 벌점은 대체로 옳은 곳에 떨어진다. 반면 유사라벨을 향한 증류에는 그런 여유가 없다. 틀린 답이 교사의 조건에 들어가면 모든 토큰이 그 답 쪽으로 끌린다. 논문은 이 구조를 잡음 라벨에서의 negative learning, 곧 "이것이 무엇이 아닌지"를 말하는 편이 라벨이 틀려도 안전하다는 결과와 연결한다.
다만 79%를 뒤집으면 나머지 반대 롤아웃은 실제로 정답이다. 그 몫이 21%인지 9%인지는 다음 절에서 보듯 논문 안에서 갈리지만, 어느 쪽이든 유사라벨이 틀린 문항에서 벌점의 일부는 옳은 추론에 떨어진다. 논문도 이를 §3.4에서 False Penalties on Negative Samples 문제로 부르고 토큰 마스킹으로 완화하지만, 마스킹은 궤적 안에서 벌할 토큰을 고르는 장치이지 궤적 전체가 정답일 때 그것을 구제하는 장치는 아니다.
2.2 도식과 그래프가 같은 수를 다르게 부른다
Figure 1(a)의 도식은 반대 롤아웃을 정답 21%와 오답 79%로 가른다. 조건부 비율, 곧 반대 롤아웃 중 오답의 비중으로 읽힌다. 그런데 같은 패널의 선 그래프는 두 계열을 "Disagreeing"과 "Disagreeing & Wrong"으로 적는다. 뒤쪽 이름은 전체 롤아웃 중 반대이면서 오답인 것의 결합 비율로 읽힌다.
두 읽기는 양립하지 않는다. 조건부로 읽으면 반대 롤아웃의 21%가 정답이고, 결합으로 읽으면 0.79/0.87 ≈ 0.91이 되어 정답은 9%에 그친다. 거짓 벌점 비율이 21%냐 9%냐는 방법의 안전 여유를 가르는 수치다.
도판 쪽 근거가 조금 더 무겁다. 두 계열은 하나의 "Fraction" 축 위에 함께 그려지고 각각 약 0.87과 0.79에 놓인다. 같은 분모를 공유하는 두 비율로 읽는 것이 자연스럽고, 그렇다면 도식의 "Correct (21%)"는 성립하지 않는다. 조건부로 읽으려면 회색 곡선이 0.87×0.79 ≈ 0.69 부근에 있어야 하는데 그렇지 않다. 반면 본문 §3.2는 "반대 표본의 약 79%"라고 적어 조건부를 가리킨다. 논문은 두 표기를 조정하지 않으며, 어느 쪽을 택하든 나머지 하나가 틀린 것이 된다.
한 가지 더. 본문은 85%라는 문항 단위 비율의 근거로 Figure 1(a)를 인용하지만, 그 그림에 85%는 나타나지 않는다. 그림에 있는 것은 13/87과 21/79다.
3. 두 갈래 목적함수와 토큰 선택
원논문 Figure 2. 왼쪽에서 K개 궤적을 유사라벨 일치 여부로 나누고, 오른쪽 위에서 양성 표본에 교사–학생 토큰별 발산과 토큰 가중을 적용하며, 오른쪽 아래에서 음성 표본에 그룹 이점과 토큰 마스킹을 적용한다. 식 (1)(2)에서 교사와 학생은 같은 \pi_\theta에 프롬프트 접두부만 달리 넣은 두 분포다. 다만 구현에서는 교사가 LoRA를 끈 기반 가중치에 고정되므로, 가중치가 실제로 같은 것은 학습 이전뿐이다. Wang et al. (2026), PDF p. 4. 원본 도판 영역 직접 추출.
3.1 분할과 교사
문제 x에 대해 K개 궤적을 뽑고 답을 수학적 동치로 군집화한다. 가장 큰 군집이 유사라벨 \hat a이고, 이에 일치하는 궤적이 \mathcal P, 불일치하는 궤적이 \mathcal N이다. 교사는 같은 모델을 \hat a로 조건화해 만든다. §3.1은 두 분포가 프롬프트 접두부만 다르다고 적고 식 (1)(2)도 둘 다 \pi_\theta로 쓴다.
q^{(\hat a)}_t = \pi_\theta(\cdot \mid [x;\hat a]_{\text{teacher}}, y_{<t}), \qquad
p_t = \pi_\theta(\cdot \mid x_{\text{student}}, y_{<t})교사 쪽에는 기울기가 흐르지 않는다. 논문 §3.1, Eqs. 1–2
다만 부록 A는 다른 구성을 적는다. 교사는 LoRA 어댑터를 끈 기반 모델 가중치로 학습 내내 고정되고 학생만 LoRA로 갱신된다. 그렇다면 두 분포가 "프롬프트 접두부만" 다른 것은 1스텝 이전뿐이고, 이후에는 가중치도 갈라진다. 명칭에도 영향을 준다. 학생이 움직이는 동안 교사가 고정된 기반 모델이라면 이는 엄밀히 자기증류가 아니라 고정된 기반 모델로부터의 증류다. 8.3절에서 다룰 "자기진화"의 범위도 이 구분 위에 놓인다. 논문 Appendix A
3.2 양성 갈래: 순방향 KL과 토큰 가중
\mathcal L_{\mathrm{OPSD}}(k)=\frac{1}{T_k}\sum_{t=1}^{T_k} w(t)\cdot \mathrm{KL}\!\left(q^{(\hat a)}_t \,\|\, p_t\right)가중치는 학생 엔트로피 \hat H(t)와 교사–학생 발산 \hat\Delta(t)를 표본별 최소–최대 정규화한 뒤 Soft-OR로 결합한다.
w(t)=\hat H(t)+\hat\Delta(t)-\hat H(t)\cdot\hat\Delta(t)둘 중 하나라도 높으면 가중치가 높아지고, 둘 다 낮을 때만 0에 가까워진다. 학생이 이미 확신하며 교사와 일치하는 위치를 덜어내려는 설계다. 논문 §3.3, Eqs. 3–4
여기서 양성 갈래가 유사라벨 오류를 견디는 이유가 중요하다. 양성 표본은 정의상 자기 답이 \hat a와 같다. 따라서 \hat a가 틀려도 교사는 학생 자신이 낸 답으로 조건화된 것이고, 갱신은 임의의 오답 쪽으로 끌려가는 대신 사고모드의 추론을 비사고모드로 옮기는 증류로 축소된다. 부록의 분해가 이를 형식화한다. 양성 표본에서 순방향 KL은 사고·비사고 차이만 남고, 음성 표본에서는 교사가 답을 바꾸라고 미는 비음수 충돌항 \Delta_{\mathrm{conflict}}(t)가 더해진다. 논문 Appendix E.2, Eqs. 10–11
3.3 음성 갈래: 그룹 이점과 토큰 마스킹
음성 표본에는 GRPO를 적용한다. 보상은 유사라벨 일치 여부의 이진값이고 이점은 K개 롤아웃 전체에 대해 그룹 상대적으로 계산되므로 음성 표본의 A_k는 음수가 되어 벌점이 된다.
\mathcal L_{\mathrm{GRPO}}(k)=-\frac{A_k}{T_k}\sum_{t=1}^{T_k} m(t)\cdot \log \pi_\theta\!\left(y^{(t)}_k \mid x, y^{(<t)}_k\right)표준 GRPO에서는 양의 이점을 받는 갱신이 실패 궤적 안의 국소적으로 옳은 토큰에 대한 잘못된 벌점을 상쇄한다. TTPO는 GRPO를 음성에만 적용하므로 그 상쇄가 사라진다. 그래서 마스킹이 필요해진다.
s(t)=-\log \pi_\theta\!\left(y^{(t)}_k \mid x, y^{(<t)}_k\right)\cdot\left(1-\hat H(t)\right),\qquad
m(t)=\mathbb 1\!\left[s(t)\ge \mathrm{median}\right]정규화하지 않은 -\log p를 주 순위 기준으로 두어 확률이 높은 국소적 정답 토큰이 자연히 빠지게 하고, 확신을 가지고 낮은 확률의 내용을 낸 위치를 앞세운다. 상위 50%만 벌한다. 논문 §3.4, Eqs. 5–7
최종 목적함수는 두 갈래를 \lambda로 묶는다. 부록에 따르면 원시 GRPO 손실이 순방향 KL보다 대략 한 자릿수 크므로 \lambda=0.1이 두 기울기 크기를 맞춘다.
\mathcal L_{\mathrm{TTPO}}=\frac{1}{|B|}\left(\sum_{k\in\mathcal P}\mathcal L_{\mathrm{OPSD}}(k)+\lambda\sum_{k\in\mathcal N}\mathcal L_{\mathrm{GRPO}}(k)\right)4. 실험 설계에서 먼저 확인할 것들
결과를 읽기 전에 프로토콜 네 가지를 확인해야 한다. 모두 부록과 §4.1에 적혀 있지만 수치의 의미를 크게 바꾼다.
보고값은 체크포인트 최댓값이다. OPSD와 TTPO는 100스텝 학습하고 25스텝마다 저장한 체크포인트 중 최고 성능을 보고한다. GRPO와 TTRL은 500스텝 학습하고 모든 체크포인트 중 최고를 보고한다. 시험 시점 학습 설정에서는 학습 집합이 곧 시험 집합이므로, 이는 시험 성능을 보고 체크포인트를 고르는 절차다. 뒤에서 보듯 TTPO의 AIME26 곡선은 75스텝에서 48.9로 정점을 찍고 100스텝에서 47.8로 내려온다. 논문 §4.1
학생은 사고모드를 끄고, 교사는 켠다. 부록 A는 "사고모드 off 학생 / 사고모드 on 교사" 구성을 쓰고 교사는 LoRA를 끈 기반 모델 가중치로 고정한다고 적는다. 그런데 §4.1은 "학습–추론 일관성을 위해 평가는 사고모드를 켜고 수행한다"고 적는다. 학생이 사고모드를 끄고 학습했다면 사고모드를 켠 평가는 일관성을 맞추는 방향이 아니다. 두 서술은 조정되지 않는다. 논문 §4.1, Appendix A
이 구성은 결과 해석에도 영향을 준다. 학습이 직접 겨냥하는 것은 학생의 비사고 분포다. 그래서 부록 D.2의 비사고 평가에서 나타나는 +25.2에서 +36.4점이 학습의 직접 효과이고, 본문 Table 1의 사고모드 수치는 그 전이 효과다. 비사고 평가는 OpenThoughts 설정에만 있으므로 시험 시점 학습의 Table 2에는 짝이 되는 수치가 없다. 초록이 앞세우는 순서와 반대다.
기울기는 앞 1,024 토큰에만 걸린다. 표집 최대 길이는 16,000 토큰이지만 갱신은 첫 1,024 토큰에만 적용된다. 부록 D.3에서 Ktrain 선택 전략으로 "가장 짧은 궤적"이 최고인 이유도 논문 자신이 이 창으로 설명한다. 긴 궤적에서는 첫 1,024 토큰이 예비 탐색에 그치고 결정적 추론은 창 밖에서 일어난다는 것이다. 반대로 교사–학생 발산이 가장 큰 표본을 고르는 "Top signal" 전략은 더 낮다. 논문 Appendix A, Table 10
연산량이 맞춰져 있지 않다. TTPO는 문제마다 K=64개 궤적을 뽑아 투표하고 그중 8개를 양·음 50:50으로 골라 갱신한다. TTRL과 GRPO의 학습 롤아웃은 8개다. 표집 비용이 같지 않으므로 비교는 동일 연산 조건이 아니다. 다만 스텝 수는 TTRL·GRPO 쪽이 다섯 배 많고 최댓값을 고를 체크포인트도 더 많다.
5. 라벨 있는 데이터: OPSD와 대등한가
첫 설정은 OpenThoughts로 학습하되 TTPO만 라벨을 쓰지 않는다. 라벨은 라벨 의존 기준선과의 비교를 위해서만 존재한다.
| 모델 | 방법 | AIME25 | HMMT25 | AIME26 | HMMT26 | BRUMO25 | 평균 |
|---|---|---|---|---|---|---|---|
| Qwen3-1.7B | Base | 36.9 | 21.9 | 37.8 | 28.8 | 47.5 | 34.6 |
| +GRPO† | 37.3 | 23.6 | 40.3 | 29.3 | 48.1 | 35.7 | |
| +OPSD† | 40.3 | 28.1 | 46.4 | 31.4 | 52.5 | 39.7 | |
| +TTPO | 41.7 | 26.1 | 46.5 | 31.6 | 54.7 | 40.1 | |
| Qwen3-4B | Base | 66.1 | 41.9 | 65.8 | 42.4 | 64.0 | 56.0 |
| +GRPO† | 66.7 | 45.0 | 66.6 | 43.2 | 66.1 | 57.5 | |
| +OPSD† | 68.3 | 44.2 | 68.1 | 44.4 | 67.2 | 58.4 | |
| +TTPO | 69.4 | 43.6 | 68.1 | 44.7 | 67.2 | 58.6 | |
| Qwen3-8B | Base | 66.7 | 44.2 | 67.5 | 45.5 | 69.2 | 58.6 |
| +GRPO† | 70.3 | 46.7 | 69.2 | 48.0 | 71.9 | 61.2 | |
| +OPSD† | 70.8 | 46.4 | 72.5 | 47.2 | 71.4 | 61.7 | |
| +TTPO | 71.4 | 46.1 | 74.2 | 48.0 | 73.1 | 62.6 |
†는 정답 라벨을 사용한다. 논문 Table 1
평균으로 보면 TTPO가 세 규모 모두에서 OPSD†를 앞선다. 다만 차이는 +0.4, +0.2, +0.9다. 칸 단위로 보면 15개 중 10승 3패 2무이고, 세 패배가 모두 HMMT25에서 나온다. 1.7B에서 26.1 대 28.1, 4B에서 43.6 대 44.2, 8B에서 46.1 대 46.4다. 4B와 8B의 HMMT25에서는 GRPO†에도 진다. 논문은 "개선이 규모 전반에서 일관적"이라고 적는데, 평균에는 맞고 이 열에는 맞지 않는다.
+0.2라는 차이를 어떻게 읽을지는 별도 문제다. 평가는 문제마다 12개 표본을 뽑은 Avg@12이고, 이 대회 벤치마크들은 문항 수가 적다. 논문은 각 벤치마크의 문항 수를 밝히지 않는다. 보고된 정확도에는 어떤 산포도 붙지 않고, 본문 어디에도 시드 반복·표준편차·신뢰구간·유의성 검정에 해당하는 서술이 없다. Figure 1(a)와 Figure 8의 곡선에 음영 띠가 그려져 있지만 그 정의는 밝혀지지 않으며, 표의 수치에는 대응물이 없다. 한 문항의 정오가 평균에 미치는 영향이 보고된 차이보다 클 수 있는 규모에서, "대등하다"는 결론은 지지되지만 "앞선다"는 방향까지 읽기는 어렵다.
6. 라벨 없는 시험 시점 학습
두 번째 설정에서는 어떤 방법도 라벨을 쓰지 않고, 모델이 시험 문제 위에서 직접 학습한다.
| 모델 | 방법 | AIME26 | HMMT26 | BRUMO25 | 평균 |
|---|---|---|---|---|---|
| Qwen3-1.7B | Base | 37.8 | 28.8 | 47.5 | 38.0 |
| +TTRL | 39.2 | 30.6 | 50.9 | 40.2 | |
| +OPSD-TTT | 44.7 | 30.3 | 50.8 | 41.9 | |
| +TTPO | 48.9 | 33.6 | 53.1 | 45.2 | |
| Qwen3-4B | Base | 65.8 | 42.4 | 64.0 | 57.4 |
| +TTRL | 66.4 | 43.2 | 66.7 | 58.8 | |
| +OPSD-TTT | 67.8 | 43.4 | 66.9 | 59.4 | |
| +TTPO | 70.8 | 45.7 | 66.9 | 61.1 | |
| Qwen3-8B | Base | 67.5 | 45.5 | 69.2 | 60.7 |
| +TTRL | 70.8 | 48.0 | 70.1 | 63.0 | |
| +OPSD-TTT | 71.7 | 47.2 | 72.2 | 63.7 | |
| +TTPO | 73.9 | 48.5 | 73.6 | 65.3 |
여기서는 차이가 훨씬 크다. 1.7B에서 TTPO는 OPSD-TTT보다 +3.3, TTRL보다 +5.0 높고 기반 모델 대비 +7.2점이다. 본문 §4.2는 같은 문장에서 이를 "+3.3 over OPSD-TTT and +5.4 over TTRL, representing a 7.2-point absolute gain"으로 적는데, 세 수치 중 가운데만 어긋난다. 45.2와 40.2의 차이는 5.0이다. 비교 가능한 12칸 가운데 11칸에서 두 기준선을 모두 앞서고, 4B의 BRUMO25만 OPSD-TTT와 66.9로 동률이다. 진 칸은 없다.
원논문 Figure 4. 각 소그림은 학습 벤치마크 하나에 대응하고, 그 안의 묶음은 서로 다른 평가 대상이다. 세 경우 모두 학습하지 않은 두 벤치마크에서도 기반 모델보다 높다. Wang et al. (2026), PDF p. 8. 원본 도판 영역 직접 추출.
교차 평가는 이 설정에서 특히 중요하다. 시험 집합 위에서 학습하는 방법은 그 문제들을 외웠을 가능성을 먼저 배제해야 하기 때문이다. AIME 2026에서 학습한 모델이 HMMT 2026에서 28.8→32.3, BRUMO 2025에서 47.5→51.9로 오르는 식으로 세 경우 모두 전이가 나타난다. 다만 이 실험은 1.7B에서만 수행됐다.
7. 절제 실험: 이득의 주인은 누구인가
원논문 Figure 3. 각 막대는 양성 집합 \mathcal P와 음성 집합 \mathcal N에 적용한 손실의 조합이다. 초록은 순방향 KL, 분홍은 GRPO, 흰색은 갱신 없음이다. 첫 막대 안의 검은 점선은 교사를 답으로 조건화하지 않은 변형이다. 도판을 가로지르는 회색 파선은 기반 모델이다. 각 막대 가운데의 세로 파선은 \mathcal P와 \mathcal N의 구분선이다. Wang et al. (2026), PDF p. 8. 원본 도판 영역 직접 추출.
이 그림이 논문에서 가장 많은 것을 말한다. 아래 여덟 조합은 모두 AIME26 시험 시점 학습 설정이다. 뒤이어 인용하는 Table 3과 Table 4는 OpenThoughts 설정이므로 같은 축에 놓고 비교할 수 없다.
\mathcal P에 적용 |
\mathcal N에 적용 |
Avg@12 | 비고 |
|---|---|---|---|
| 순방향 KL | 갱신 없음 | 46.7 | 특권 정보 없는 변형은 45.7 |
| 갱신 없음 | 순방향 KL | 43.9 | |
| GRPO | 갱신 없음 | 37.2 | 기반 모델 37.8보다 낮다 |
| 갱신 없음 | GRPO | 40.6 | |
| 순방향 KL | 순방향 KL | 46.3 | 다수결을 쓴 OPSD |
| GRPO | GRPO | 39.2 | TTRL |
| GRPO | 순방향 KL | 37.2 | 역배치 |
| 순방향 KL | GRPO | 48.9 | TTPO |
논문의 해석은 정확하다. 양성 전용 KL(46.7)이 전체 KL(46.3)과 음성 전용 KL(43.9)을 앞선다. 논문이 "가장 나쁘다"고 적은 역배치는 37.2인데, 양성에만 GRPO를 걸고 음성을 갱신하지 않는 변형도 같은 37.2이므로 최하위는 두 조합의 동률이다. 두 변형의 공통점이 양성에 GRPO를 건다는 것이므로, 비대칭 배치가 옳다는 주장 자체는 이 표로 지지된다.
동시에 이 표는 이득의 크기 분해도 보여준다. 기반 모델이 37.8이므로 양성 갈래 하나가 +8.9를 만들고, 거기에 음성 GRPO 갈래를 얹어 얻는 몫은 +2.2다. 그리고 양성 갈래 안에서도 교사를 유사라벨로 조건화해 얻는 몫은 46.7 − 45.7 = +1.0뿐이다. 나머지 +7.9는 사고모드 교사를 비사고모드 학생에게 증류하는 데서 온다.
Table 4의 별도 절제도 같은 방향이다. 설정이 OpenThoughts로 바뀌므로 값 자체를 위 표와 잇지는 않는다. 사고모드 교사에서 특권 정보를 주지 않으면 45.8, 답을 주면 46.5로 +0.7이다. 교사의 사고모드를 끄면 같은 두 조건이 41.7과 33.6으로 내려간다. 특권 정보가 없을 때보다 답을 줄 때 더 크게 떨어지므로, 유사라벨은 사고모드 교사와 짝을 이룰 때만 도움이 된다. 논문 Table 4
즉 논문의 제목과 서술은 유사라벨을 다루는 비대칭 목적함수에 놓여 있지만, 절제 실험이 가리키는 이득의 주된 원천은 사고모드에서 비사고모드로의 증류다. 유사라벨 조건화와 음성 GRPO 갈래는 그 위에 각각 1점과 2점을 얹는다. 이 순서는 부록 D.2의 비사고 평가에서 나타나는 큰 폭과도 맞아떨어진다. 논문이 이 분해를 숨기지는 않지만 앞세우지도 않는다.
토큰 단위 선택의 몫은 Table 3이 보여준다. 이것도 OpenThoughts 설정이다. 양성 가중을 빼면 AIME26 46.5→43.3, 음성 마스킹을 빼면 45.4가 된다. 두 장치 모두 기여하며 서로 다른 실패 양상을 겨냥한다는 설명은 수치와 맞는다. 논문 Table 3
8. 정답 라벨보다 나은 결과와 자기진화
원논문 Figure 5. 왼쪽은 유사라벨과 정답 라벨의 비교다. TTPO w/ GT는 비대칭 목적함수와 토큰 선택을 그대로 두고 유사라벨만 정답으로 바꾼 변형이고, OPSD (Leakage)는 표준 OPSD를 AIME26 위에서 직접 학습시킨 것이다. 오른쪽은 학습 중 정책 엔트로피이며 TTRL의 스텝 수는 괄호로 병기된다. Wang et al. (2026), PDF p. 9. 원본 도판 영역 직접 추출.
8.1 정답 라벨을 넣으면 두 갈래가 굶는다
정답 라벨로 바꾼 변형이 오히려 낮다. TTPO는 75스텝에서 48.9, TTPO w/ GT는 100스텝에서 44.4, OPSD (Leakage)는 100스텝에서 47.5다. 논문의 설명은 라우팅 관점이다. 어려운 문제에서는 정답과 일치하는 롤아웃이 거의 없어 |\mathcal P_{\mathrm{GT}}|\approx 0이 되고, 그러면 순방향 KL 항이 사라지는 동시에 그룹 이점도 0에 가까워져 GRPO 벌점까지 약해진다. 부록 E.3이 이를 식으로 적고, Figure 8의 손실 곡선이 실제로 두 갈래가 거의 움직이지 않음을 보여준다. 논문 §4.4, Appendix E.3
이 설명은 설득력이 있다. 다만 결론을 옮길 때 주의가 필요하다. 이 실험이 보이는 것은 "유사라벨이 정답보다 나은 지도"가 아니라 **"다수결에 맞춰 설계된 라우팅 규칙을 정답으로 바꾸면 굶는다"**는 것이다. 정답 라우팅이 굶지 않도록 고친 변형, 이를테면 |\mathcal P_{\mathrm{GT}}|=0일 때 전체를 음성으로 돌리거나 이점 정규화를 바꾸는 설계는 시험되지 않았다. 라벨의 품질과 라우팅의 설계가 한 변수로 묶여 있다.
8.2 엔트로피 해석의 범위
오른쪽 패널에서 TTRL만 엔트로피가 내려가고 증류 계열은 모두 올라간다. 논문은 "다수결과 증류가 함께 탐색을 촉진한다"고 적는다. 그런데 같은 그림에서 OPSD-TTT와 OPSD (Leakage)도 TTPO와 거의 겹치는 궤적으로 올라간다. OPSD-TTT는 다수결이 아니라 탐욕적 사고모드 출력을 특권 정보로 쓰는 방법이다. 따라서 엔트로피 상승은 증류 갈래의 성질로 보이고, 다수결의 몫을 이 그림에서 분리하기는 어렵다.
8.3 자기진화가 가리키는 것과 그 상한
원논문 Figure 6. 회색 가로 파선은 기반 모델의 Maj@12다. 학습이 진행되며 단일 표본 정확도와 12표본 다수결 정확도가 함께 오른다. Wang et al. (2026), PDF p. 9. 원본 도판 영역 직접 추출.
다수결이 학습 신호를 만들므로 기반 모델의 Maj@12가 유사라벨 품질의 초기 상한이 된다. 논문은 그 상한이 고정되지 않음을 보인다. HMMT26에서 Avg@12는 28.8에서 33.6으로, Maj@12는 33.3에서 42.4로 함께 오른다. 모델이 좋아지면 롤아웃이 좋아지고, 유사라벨이 정확해지고, 다음 스텝의 상한이 올라가는 순환이다.
두 가지를 덧붙일 수 있다. 첫째, 여기서 진화하는 것은 정책과 유사라벨이지 교사가 아니다. 부록 A에 따르면 교사는 LoRA를 끈 기반 모델 가중치로 학습 내내 고정된다. 교사의 추론 능력 자체는 올라가지 않는다.
둘째, 최종 Avg@12 33.6은 기반 모델의 Maj@12 33.3과 거의 같다. 논문이 "다수결에 담긴 집단 지식이 단일 표본 성능으로 증류된다"고 적은 그대로다. 이는 정확한 서술이면서 동시에 이득의 성격을 규정한다. 이 벤치마크에서 Avg@12 상승분만 놓고 보면, 학습 없이 추론 시점에 12표본 다수결을 쓰는 것으로도 비슷한 지점에 닿는다. 학습이 추가로 준 것은 그 성능을 단일 표본에서 얻는다는 점과, 다수결 자체가 33.3에서 42.4로 올라갔다는 점이다.
9. 한계, 재현 조건과 결론
9.1 논문이 밝힌 한계
- 다수결 품질에 의존한다. 표본 예산
K가 매우 작거나 문제가 너무 어려워 어떤 롤아웃도 정답을 내지 못하면 두 갈래 모두 잡음 지도를 받는다. 논문 Appendix F - 실험은 최종 답을 자동 검증할 수 있는 수학 추론에 한정된다. 코드 생성이나 열린 추론으로의 확장은 시험되지 않았다.
- 비대칭 목적함수의 균형이 학습 내내 고정되어 있다. 모델이 좋아지고 유사라벨 정확도가 오르면 최적 균형이 달라질 수 있다.
- 음성 표본에만 GRPO를 적용하면 양의 이점이 주는 상쇄가 사라져 국소적으로 옳은 토큰에 잘못된 벌점이 걸린다. 논문 §3.4
9.2 해설자 관점
이득의 주된 원천은 유사라벨이 아니라 사고모드 증류다. Figure 3에서 기반 37.8 → 특권 정보 없는 양성 KL 45.7 → 유사라벨 조건화 46.7 → 음성 GRPO 추가 48.9다. 유사라벨 조건화의 몫은 +1.0, 비대칭 GRPO 갈래의 몫은 +2.2이고, 나머지 +7.9는 사고모드 교사를 비사고모드 학생에게 옮기는 데서 온다. Table 4의 45.8 대 46.5도 같은 크기를 가리킨다. 논문이 이 분해를 감추지는 않지만, 제목과 초록은 +1.0과 +2.2를 담당하는 장치를 앞세운다.
보고 수치가 프로토콜에 의존한다. 모든 값이 체크포인트 최댓값이고, 시험 시점 학습에서는 그 선택이 시험 집합 위에서 이뤄진다. Figure 5에서 TTPO는 75스텝 48.9에서 100스텝 47.8로 내려오고, 같은 100스텝에서 OPSD (Leakage)는 47.5다. 최댓값끼리 비교하면 1.4점 차이지만 같은 스텝에서는 0.3점이다.
해상도를 넘는 차이와 그렇지 않은 차이를 구분해야 한다. 라벨 있는 설정의 OPSD† 대비 우위는 평균 +0.2에서 +0.9이고 HMMT25에서는 세 규모 모두 진다. 문항 수·분산·신뢰구간·시드 반복이 제시되지 않아 이 폭을 판정할 근거가 없다. 시험 시점 학습 설정은 그보다 넓지만 규모에 따라 갈린다. OPSD-TTT 대비 평균 차이가 1.7B에서 +3.3인 반면 4B에서 +1.7, 8B에서 +1.6이고, TTRL 대비로는 +5.0·+2.3·+2.3이다. 판정 근거 없이도 방향이 분명한 것은 비사고 평가의 +25.2에서 +36.4이며, 그 아래 구간은 같은 미제시 문제를 공유한다.
거짓 벌점 비율이 두 가지로 읽힌다. 도식은 반대 롤아웃의 21%가 정답이라고 읽히고, 선 그래프 범례는 9%로 읽힌다. 방법의 안전 여유를 가르는 수치인데 논문은 두 표기를 조정하지 않는다. 85%라는 문항 단위 비율도 근거로 인용된 그림에 나타나지 않는다.
"정답보다 낫다"는 결과는 라벨이 아니라 라우팅의 문제다. 정답 라벨 변형이 낮은 이유를 논문 스스로 |\mathcal P_{\mathrm{GT}}|\approx0으로 설명한다. 그렇다면 비교된 것은 지도의 품질이 아니라 다수결에 맞춘 라우팅 규칙을 정답에 그대로 적용했을 때의 퇴화다. 굶지 않도록 고친 정답 라우팅은 시험되지 않았다.
하이퍼파라미터가 평가 벤치마크 위에서 선택됐다. \lambda 스윕(Table 8), Ktrain 양·음 비율(Table 9), 선택 전략(Table 10)이 모두 AIME26·HMMT26·BRUMO25에서 비교된다. 본문 결과가 보고되는 바로 그 벤치마크들이다.
본문 서술과 도판이 어긋나는 곳이 있다. 부록 D.3은 "모델이 정답을 더 많이 내면서 양성 표본 비율이 학습 중 증가한다"고 적지만, 그 근거로 든 Figure 8의 오른쪽 패널에서 TTPO의 양성 비율은 0.5 부근에 평평하다. 이는 §4.1이 명시한 Ktrain 50:50 고정 분할과 일치하는 모양이고, 같은 패널의 정답 라벨 변형은 오히려 내려간다.
9.3 공개된 것과 확인하지 못한 것
2026년 9월 14일 조회 기준으로 공식 저장소 ZJU-REAL/TTPO는 공개되어 있고 내용이 충실하다. TTPO·OPSD·OPSD-TTT·GRPO·TTRL의 학습 스크립트가 모두 있으며, 그중 규모별로 나뉜 것은 TTPO뿐이고(1B·4B·8B) 나머지 넷은 각각 하나씩이다. 다수결 모듈, 두 트레이너, 사고·비사고 평가 스크립트, 논문 도판 원본이 함께 들어 있다. 저장소는 논문 공개일에 만들어졌고 이튿날 갱신됐다. 라이선스 파일은 없다.
논문에 없어 재현에 필요한 것은 각 벤치마크의 문항 수, 결과의 분산과 시드 반복 횟수, Figure 1(a)의 세 비율을 산출한 정확한 정의와 집계 구간, 그리고 다섯 벤치마크 가운데 AIME25·HMMT25에 대한 시험 시점 학습 결과다. 하드웨어는 TTPO가 4×H20, 나머지가 8×H20으로 적혀 있으나 총 연산량이나 소요 시간은 제시되지 않는다.
9.4 적용을 검토할 때 확인할 것
| 설계 질문 | 확인할 대상 |
|---|---|
| 무엇을 얻으려 하는가? | 이득의 대부분은 사고모드를 비사고모드로 옮기는 데서 온다 |
| 사고모드 구분이 있는 모델인가? | 교사–학생 모드 차이가 없으면 +7.9에 해당하는 몫이 사라진다 |
| 표본 예산을 얼마나 쓸 수 있는가? | 문제당 K=64 롤아웃, 최대 16,000 토큰 |
| 추론 사슬이 얼마나 긴가? | 기울기는 앞 1,024 토큰에만 걸리고, 짧은 궤적 선택이 최선인 이유가 여기에 있다 |
| 정답 검증이 자동인가? | 실험 범위는 최종 답을 동치 판정할 수 있는 수학에 한정된다 |
| 다수결만으로 충분하지 않은가? | 기반 Maj@12가 이미 주는 몫과 학습이 추가로 주는 몫을 나누어 보아야 한다 |
| 언제 멈출 것인가? | 보고값은 체크포인트 최댓값이고 AIME26 곡선은 정점 뒤 내려온다 |
9.5 결론
TTPO의 기여는 유사라벨을 더 정확하게 만드는 데 있지 않고, 유사라벨이 틀렸을 때 무엇이 여전히 옳은가를 구분한 데 있다. 동의하는 롤아웃에서는 교사가 학생 자신의 답으로 조건화되므로 최악의 경우에도 모드 간 증류로 축소되고, 반대하는 롤아웃에서는 유사라벨의 내용을 쓰지 않는 벌점만 남는다. 이 구분은 형식적으로도 정리되고 절제 실험으로도 지지된다. 다만 논문이 "가장 나쁘다"고 짚은 역배치는 단독 최하위가 아니라 동률이고, 그 동률이 오히려 설명을 요구한다. 음성 전용 순방향 KL은 단독으로 43.9로 기반 모델을 크게 웃도는데, 양성에 GRPO를 건 배치에 얹으면 아무것도 더하지 못한다. 두 갈래의 효과가 더해지지 않는다는 뜻이고, 논문의 가산적 서술은 이 지점을 다루지 않는다.
동시에 이 논문의 수치를 옮길 때는 세 가지를 함께 옮겨야 한다. 라벨 있는 설정에서 OPSD와의 차이는 판정 근거가 제시되지 않은 폭이고, 라벨 없는 설정의 우위도 1.7B를 벗어나면 +1.6에서 +1.7로 좁아져 같은 문제를 공유한다. 판정 근거 없이도 방향이 분명한 것은 비사고 평가뿐이다. 보고값은 모두 체크포인트 최댓값이다. 그리고 절제 실험이 가리키는 이득의 주인은 비대칭 라우팅이 아니라 사고모드 교사다. 마지막 항목은 이 방법을 다른 환경에 옮길 때 가장 먼저 확인할 조건이기도 하다.
원논문 Figures 1–6을 도판 영역만 추출해 인용하고 한국어 해설을 덧붙였다. 원본 그래프·축·범례·수치는 유지했다. 이 글은 v1의 원문 검토이며, 모델을 새로 학습하거나 벤치마크를 재현한 것은 아니다.
References
Dekoninck, J., Jovanović, N., Gehrunger, T., Rögnvaldsson, K., Petrov, I., Sun, C., & Vechev, M. (2026). Beyond benchmarks: MathArena as an evaluation platform for mathematics with LLMs (arXiv:2605.00674). arXiv. arXiv 논문
Kim, Y., Yim, J., Yun, J., & Kim, J. (2019). NLNL: Negative learning for noisy labels. In Proceedings of the IEEE/CVF International Conference on Computer Vision. IEEE.
Liu, S., He, Z., Zhan, G., Tao, L., Zheng, Z., Wu, J., Wang, Y., Guan, Y., Sheng, K., Zhang, B., et al. (2026). STAPO: Stabilizing reinforcement learning for LLMs by silencing rare spurious tokens (arXiv:2602.15620). arXiv. arXiv 논문
Shao, Z., Wang, P., Zhu, Q., Xu, R., Song, J., Bi, X., Zhang, H., Zhang, M., Li, Y. K., Wu, Y., et al. (2024). DeepSeekMath: Pushing the limits of mathematical reasoning in open language models (arXiv:2402.03300). arXiv. arXiv 논문
Sun, Y., Wang, X., Liu, Z., Miller, J., Efros, A., & Hardt, M. (2020). Test-time training with self-supervision for generalization under distribution shifts. In International Conference on Machine Learning (pp. 9229–9248). PMLR.
Wang, A., Lu, Z., Wang, J., Lv, S., Liu, Y., Lu, W., Xiao, J., Zhuang, Y., Yang, H., Chen, Q., & Shen, Y. (2026). TTPO: Test-time policy optimization (arXiv:2608.27448v1). arXiv. arXiv 논문
Wu, Y., Ma, L., Xiao, L., Li, M., Wang, X., Zhang, Y., & Nie, J.-Y. (2026). Rethinking groups in critic-free RLVR (arXiv:2606.17250). arXiv. arXiv 논문
Xu, Y., Sang, H., Zhou, Z., He, R., Wang, Z., & Geramifard, A. (2026). TIP: Token importance in on-policy distillation (arXiv:2604.14084). arXiv. arXiv 논문
Yang, A., Li, A., Yang, B., Zhang, B., Hui, B., Zheng, B., Yu, B., Gao, C., Huang, C., Lv, C., et al. (2025). Qwen3 technical report (arXiv:2505.09388). arXiv. arXiv 논문
Zhao, S., Xie, Z., Liu, M., Huang, J., Pang, G., Chen, F., & Grover, A. (2026). Self-distilled reasoner: On-policy self-distillation for large language models (arXiv:2601.18734). arXiv. arXiv 논문
Zuo, Y., Zhang, K., Sheng, L., Qu, S., Cui, G., Zhu, X., Li, H., Long, X., Hua, E., Qi, B., et al. (2026). TTRL: Test-time reinforcement learning. Advances in Neural Information Processing Systems, 38, 131459–131483.