Is Attention Interpretable?

Paper

Serrano, S., & Smith, N. A. (2019). Is attention interpretable? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (pp. 2931–2951). Association for Computational Linguistics. https://doi.org/10.18653/v1/P19-1282

Abstract

Attention layer는 입력 성분의 표현에 명시적으로 가중치를 주기 때문에, 그 가중치가 곧 "모델이 중요하게 본 정보"를 가리킨다고 흔히 가정한다. 이 논문은 학습이 끝난 텍스트 분류 모델에서 attention weight를 직접 조작하고, 그로 인한 예측 변화를 관찰해 그 가정을 검증한다. 방법은 사후 상관이나 적대적 분포 탐색이 아니라, 중간 표현에서 특정 attention weight를 지우는(erasure) 개입이다. 저자들은 높은 attention이 모델 예측에 더 큰 영향을 주는 방향으로 어느 정도 상관하는 경우를 관찰하지만, 그 관계가 성립하지 않는 경우도 많이 발견한다. 특히 gradient 기반 순위가 magnitude 기반 순위보다 attention weight의 실제 효과를 더 잘 예측한다. 결론적으로 attention은 입력 성분의 전반적 중요도를 잡음 섞인 방식으로 예측할 뿐, 결코 신뢰할 만한 지표(fail-safe indicator)는 아니다.

Executive Summary

• 가장 큰 attention을 받은 토큰 i^*를 지워도 대부분의 사례에서 예측(argmax)은 바뀌지 않는다.
• 두 개입(최고 attention 토큰 vs 무작위 토큰)을 Jensen–Shannon divergence 차이 \Delta\text{JS}로 비교하면, 값은 대체로 양수지만 attention 차이가 큰데도 0에 가까운 경우가 흔하다.
• 다중 weight를 순위대로 지워 decision flip까지 필요한 비율을 재면, 인코더가 있는 모든 모델에서 gradient 기반 순위가 attention 기반 순위보다 더 빨리 예측을 뒤집는다.
• 문맥화 인코더(특히 biRNN)가 소수 토큰의 신호를 여러 표현에 분산시켜, 위치별 attention weight와 원 토큰의 대응을 흐트러뜨린다.
• 논문의 최소 주장은 "attention은 중요도 순위로서 모델 결정을 설명하지 못한다"이며, attention이 다른 방식으로 해석 가능할 여지는 남긴다.

TL;DR

• Attention erasure 검증은 학습이 끝난 텍스트 분류 모델에서 attention weight를 중간 표현에서 0으로 지우고 출력 분포 변화(Jensen–Shannon divergence·decision flip)로 성분의 실제 중요도를 측정하는 개입 방법이다.
• Attention erasure 검증에서 가장 큰 attention을 받은 토큰을 지워도 대부분(데이터셋별 약 84–90%) 예측이 유지됐고, 인코더가 있는 16개 모델 전부에서 gradient 기반 순위가 attention 순위보다 최소 1.6배 자주 더 적은 삭제로 예측을 뒤집었다.
• Attention erasure 검증은 attention을 중요도 순위로 신뢰할 수 있는지 반증하는 데 유용하지만, 결과는 가법 softmax attention·텍스트 분류·argmax decision flip 설정에 한정되며 gradient가 참 중요도임을 보이거나 multi-head/self-attention으로 일반화되지는 않는다.

Table of Contents

1. 문제 설정: attention을 중요도 지표로 읽으려면
2. 방법: 중간 표현 erasure와 두 척도
3. 실험 설계: 데이터, 모델, 단일/다중 weight 프로토콜
4. 결과
5. 논문의 주장과 근거 범위
6. 학술적 한계와 비평
7. 결론

1. 문제 설정: Attention을 중요도 지표로 읽으려면

Attention 시각화는 토큰마다 숫자를 내놓기 때문에 "모델이 무엇을 보았는가"의 그림처럼 읽히기 쉽다. 이 논문은 그 읽기가 성립하려면 무엇이 참이어야 하는지를 개입 실험으로 묻는다. 핵심 질문은 단순하다. 어떤 attended 성분이 높은 weight를 받았다면, 그 성분을 모델에서 제거했을 때 예측이 실제로 크게 흔들리는가?

이 질문은 상관을 재는 것과 다르다. 저자들은 attention weight를 학습이 끝난 모델의 중간 계산에서 직접 지우고(erasure), 출력 분포가 얼마나 달라지는지를 본다. 어떤 성분이 "중요하다"는 말을 이 논문은 그 성분을 지웠을 때 출력이 크게 바뀐다는 조작적 정의로 고정한다. 그런 다음 attention magnitude가 이 조작적 중요도를 얼마나 잘 예측하는지를, gradient 같은 대안 순위와 비교한다.

여기서 검증 대상은 attention 계층 자체에 들어오는 입력들의 상대적 중요도다. 즉 전체 모델을 통과하는 완전한 attribution이 아니라, attention이 가중치를 주는 문맥화된 표현들 사이의 중요도다. 저자들은 이 좁은 범위 안에서도 attention magnitude가 신뢰할 대리물인지 물을 수 있다고 본다.

2. 방법: 중간 표현 erasure와 두 척도

2.1 Attention 모델과 erasure

모델은 각 입력 성분 i에 대해 문맥화된 표현 h_i를 만들고, 가법(additive) softmax attention으로 가중치를 계산한다.

여기서 c_\ell은 학습된 문맥 벡터다. Erasure는 이 가중치 중 부분집합 \mathcal{U}'의 값을 0으로 만드는 개입이다. 0으로 만든 뒤 남은 가중치를 다시 정규화해 합이 1이 되도록 한다. 이 재정규화는 표현이 인위적으로 영벡터 쪽으로 수축하는 것을 막고, 순수하게 "그 성분이 빠졌을 때"의 효과만 남기기 위한 장치다. 이렇게 바뀐 가중합으로 분류기를 다시 통과시켜 새 출력 분포를 얻는다.

원 논문 Figure 1에서 crop. 출처: Serrano & Smith (2019), ACL material, CC BY 4.0.

2.2 Jensen–Shannon 기반 중요도

원래 출력 분포를 \mathbf{p}, 부분집합 \mathcal{U}'를 지운 뒤의 분포를 \mathbf{q}_{\mathcal{U}'}라 한다. 두 분포의 거리는 대칭이고 유계인 Jensen–Shannon divergence로 잰다.

또 하나의, 더 거친 척도는 decision flip이다. \mathbf{p}와 \mathbf{q}_{\mathcal{U}'}의 argmax가 달라지는지, 즉 예측 라벨 자체가 바뀌는지를 본다. JS divergence가 연속적인 출력 이동을 재는 반면, decision flip은 결정 경계를 실제로 넘었는지를 이진으로 판정한다.

2.3 대안 순위: gradient와 gradient×attention

Attention magnitude가 중요도를 얼마나 잘 예측하는지 재려면 비교 대상이 필요하다. 저자들은 세 가지 대안 순위를 둔다. 첫째는 gradient 기반 순위다. 실수값 결정 함수

를 각 attention weight \alpha_i로 미분한 값 \partial d/\partial \alpha_i의 크기로 성분을 내림차순 정렬한다. 둘째는 gradient×attention 곱 순위로, 이 gradient에 해당 attention weight 크기를 곱한 값으로 정렬한다. 셋째는 무작위 순위로, 대조군이다. Attention magnitude 순위는 이 대안들과 나란히 놓여, "가장 큰 weight를 먼저 지우는" 전략이 얼마나 효율적으로 예측을 뒤집는지로 평가된다.

3. 실험 설계: 데이터, 모델, 단일/다중 weight 프로토콜

실험은 네 개의 텍스트 분류 데이터셋에서 이뤄진다. Yahoo Answers(주제 10분류), IMDB(영화 평점), Amazon(상품 평점), Yelp(음식점 평점)로, 문서 길이와 클래스 수(5–10)가 서로 다르다. 문서 길이가 수십에서 수백 토큰에 이르러, attention이 분산되는 정도를 관찰하기에 적합하다.

모델은 두 계열, 여섯 변형이다. HAN(Hierarchical Attention Network)은 단어→문장→문서로 두 단계 attention을 쌓고, FLAN(Flat Attention Network)은 전체 단어 위에 단일 attention을 둔다. 각 계열은 인코더를 biRNN(rnn), 합성곱(conv), 없음(noenc)으로 바꾼 세 변형을 갖는다. 인코더가 있는 조합은 네 아키텍처(HANrnn, HANconv, FLANrnn, FLANconv)이고, 데이터셋 넷과 곱하면 인코더가 있는 모델이 16개, 인코더 없는 모델이 8개다. 테스트 정확도는 데이터셋과 아키텍처에 따라 대략 45.4%에서 75.5% 사이에 분포한다.

검증 절차는 두 갈래다. 단일 weight(Section 4)에서는 각 사례마다 가장 큰 attention을 받은 성분 i^*와 무작위로 고른 성분 r을 각각 하나씩 지워, 두 개입의 효과를 \Delta\text{JS}와 decision flip으로 비교한다.

\Delta\text{JS}가 양수라면 최고 attention 성분을 지운 쪽이 무작위 성분을 지운 쪽보다 출력을 더 많이 흔든다는 뜻이다.

다중 weight(Section 5)에서는 네 순위(attention, gradient, gradient×attention, random) 각각에 대해, 순위 상위부터 성분을 차례로 지우면서 매번 남은 가중치를 재정규화하고, 예측이 처음 뒤집히는 지점까지 지운 성분 수의 비율(fraction removed)을 기록한다. 순위 방식이 좋을수록 더 적게 지우고도 decision flip에 도달한다. 모든 성분을 지워도 결정이 뒤집히지 않는 사례와 성분이 하나뿐인 사례는 제외한다.

4. 결과

4.1 단일 weight: 최고 attention을 지워도 대개 안 바뀐다

단일 weight 실험의 가장 두드러진 관찰은, 압도적 다수의 사례에서 i^(최고 attention 성분)를 지워도 예측이 바뀌지 않는다는 것이다. 저자들은 이를 "다소 놀랍다"고 표현한다. Decision flip을 기준으로 보면 i^를 지웠을 때든 무작위 r을 지웠을 때든 둘 다 결정을 바꾸지 못하는 사례가 대부분(데이터셋에 따라 대략 84–90%)을 차지한다.

연속 척도인 \Delta\text{JS}로 보면 그림은 조금 더 미묘하다. 값은 대체로 양수여서, 평균적으로는 최고 attention 성분을 지운 쪽이 무작위 성분을 지운 쪽보다 출력을 더 흔든다. 방향으로는 attention magnitude가 중요도와 상관한다는 뜻이다. 그러나 두 성분의 attention 차이 \Delta\alpha가 큰데도 \Delta\text{JS}가 0 근처에 머무는 사례가 흔하고, \Delta\text{JS}가 음수인 경우는 대개 \Delta\alpha가 아주 작을 때(두 성분의 weight가 거의 같을 때)로 몰린다. 즉 큰 weight가 큰 영향을 보장하지는 않는다.

원 논문 Figure 3에서 crop. 출처: Serrano & Smith (2019), ACL material, CC BY 4.0.

4.2 다중 weight: gradient 순위가 더 빨리 뒤집는다

다중 weight 실험은 순위 방식 사이의 효율을 직접 겨룬다. 인코더가 있는 모델에서 결과는 일관된다. 저자들이 시험한 인코더 보유 모델 전부에서, gradient 기반 순위가 attention 기반 순위보다 더 빨리 decision flip에 도달한 사례가, 그 반대인 사례보다 최소 1.6배 많았다. 또한 16개 인코더 보유 모델 중 10개에서는, gradient로 지우는 쪽이 그 모델 테스트셋의 절반이 넘는 사례에서 더 작은 decision-flipping 집합을 찾아냈다. gradient×attention 곱 순위는 순수 gradient 순위보다 대체로 조금 더 나았다.

이것이 핵심 반증이다. Attention magnitude가 중요도의 좋은 대리물이라면, magnitude 순위로 지우는 것이 가장 효율적으로 예측을 뒤집어야 한다. 그러나 gradient가 참조하는 순위가 더 적은 삭제로 같은 목표에 도달한다. Attention이 가리키는 상위 성분이 실제로 결정을 떠받치는 성분과 어긋나 있다는 뜻이다.

원 논문 Figure 5에서 crop. 출처: Serrano & Smith (2019), ACL material, CC BY 4.0.

4.3 문맥화 인코더의 효과

Attention과 gradient 순위의 격차는 인코더 종류에 따라 달라진다. 인코더가 없는 모델(noenc)에서는 decision flip까지 필요한 비율이 전반적으로 크게 낮아지고, attention 순위가 gradient 순위와 비슷하거나 오히려 나은 경우가 생긴다. 합성곱 인코더는 국소 문맥만 섞기 때문에 biRNN보다 결정이 빨리 뒤집힌다. biRNN 인코더는 결정이 가장 늦게 뒤집힌다.

저자들은 그 이유를, 양방향 순환 구조가 소수의 정보성 토큰의 신호를 여러 문맥화 표현에 걸쳐 재분배하기 때문이라고 본다. 그 결과 한 문맥화 표현에 대한 attention weight가 원래 토큰으로 깔끔하게 되짚어지지 않는다. 표현과 집계가 뒤섞인 이 구조에서는, 위치별 attention 크기와 토큰별 실제 기여의 대응 자체가 흐려진다. 이 관찰은 낮은 상관을 모델의 결함이 아니라 문맥화 구조의 성질로 읽게 한다.

5. 논문의 주장과 근거 범위

논문이 직접 지지하는 결론은 절제되어 있다. 저자들의 표현으로, 이들이 살핀 설정에서 attention은 어떤 attended 성분이 출력을 책임지는지 식별하는 최적의 방법이 아니다. Attention이 다른 방식으로 해석 가능할 여지는 남지만, 중요도 순위로서는 모델 결정을 설명하지 못한다. 초록의 표현을 빌리면 attention은 중요도를 잡음 섞인 방식으로 예측할 뿐 신뢰할 지표는 아니다.

이 주장의 근거는 비교적이다. 저자들은 gradient 순위가 최적이라고 주장하지 않는다. 다만 attention magnitude보다 낫다는 사실이, magnitude가 그 자체로 신뢰할 대리물이 아님을 보이기에 충분하다고 본다. 단일 weight 실험은 방향으로는 attention이 중요도와 상관함을 인정하고, 다중 weight 실험은 그 상관이 순위로서 신뢰하기엔 약하다는 것을 보인다. 두 결과가 합쳐져 "잡음 섞인 예측이나 신뢰할 지표는 아니다"라는 균형 잡힌 명제를 이룬다.

저자들은 이 작업을 동시대의 독립 연구인 Jain과 Wallace(2019)와 나란히 놓는다. 그 연구는 attention이 전체 모델에 대한 입력의 상대적 중요도를 식별할 수 있는지를 사후 상관과 적대적 분포 탐색으로 살펴, attention이 매우 불안정한 예측자임을 발견했다. 이 논문은 대신 중간 표현 erasure에 기반한 다른 분석을 써서, attention weight가 attention 계층 자체에 대한 입력의 상대적 중요도를 설명할 수 있는지를 묻는다. 접근이 다른데도 저자들은 "비슷한 우려의 근거"를 발견한다고 적는다.

6. 학술적 한계와 비평

논문은 스스로 범위를 좁게 긋는다. 가장 중요한 한계는 텍스트 분류에 한정된다는 점이다. Decision flip은 출력 공간이 작을 때 자연스러운 척도지만, 기계 번역이나 언어 모델링처럼 출력 공간이 큰 과제에서는 argmax가 쉽게 바뀌어 같은 정의를 그대로 옮기기 어렵다. 다른 모델군으로 이 분석을 확장하려면 출력 변화의 유의미한 문턱을 새로 정해야 한다고 저자들은 지적한다.

둘째, attention 함수의 종류가 제한적이다. 실험은 가법 softmax attention만 다룬다. Multi-headed attention, scaled dot-product attention, 하나의 attention 계층이 둘 이상의 표현을 만드는 self-attention 같은 경우는 검증하지 않는다. 현대 Transformer의 모든 head에 그대로 일반화할 수 없다.

셋째, 중요도의 정의가 argmax 변화에 묶여 있다. 예측 클래스가 아니라 임의의 출력 클래스에 대한 영향처럼 완화된 정의를 쓰면 결론이 달라질 수 있다. 넷째, 검증 대상은 최종 attention 계층에 대한 입력들의 중간 중요도이지, 모든 계층을 관통하는 전체 모델 중요도가 아니다. 낮은 계층의 attention은 다르게 행동할 수 있다.

비평의 각도에서 보면, gradient 순위가 attention보다 낫다는 결과 자체가 gradient를 참 중요도로 확정하지는 않는다. gradient도 국소 민감도일 뿐 완전한 attribution이 아니다. 논문의 논리는 "attention이 최선이 아니다"라는 상대적 명제에서 멈추며, 어떤 순위가 참인지에는 답하지 않는다. 이 절제는 약점이 아니라 근거가 지지하는 만큼만 주장하는 태도로 읽는 편이 정확하다. 또한 재정규화와 erasure는 입력 분포를 벗어난 상태를 만들 수 있어, 관찰된 출력 변화가 순수하게 "그 성분의 기여"만 반영한다고 단정하기는 어렵다.

7. 결론

이 논문은 "attention은 해석 가능한가"라는 질문을, attention weight를 중간 표현에서 지우고 출력이 얼마나 바뀌는지를 재는 개입 실험으로 바꾼다. 단일 weight를 지우는 실험은 최고 attention 성분을 없애도 예측이 대개 그대로임을 보이고, 다중 weight를 순위대로 지우는 실험은 gradient 기반 순위가 magnitude 기반 순위보다 더 적은 삭제로 예측을 뒤집음을 보인다. 문맥화 인코더, 특히 biRNN은 소수 토큰의 신호를 여러 표현에 분산시켜 attention 크기와 토큰 기여의 대응을 흐린다. 종합하면 attention은 중요도를 잡음 섞인 방식으로 가리킬 뿐, 별도 검증 없이 신뢰할 중요도 순위로 삼을 수는 없다.

References

Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. In Proceedings of the 3rd International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1409.0473

Jain, S., & Wallace, B. C. (2019). Attention is not explanation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (pp. 3543–3556). Association for Computational Linguistics. https://doi.org/10.18653/v1/N19-1357

Lipton, Z. C. (2018). The mythos of model interpretability. Queue, 16(3), 31–57. https://doi.org/10.1145/3236386.3241340

Serrano, S., & Smith, N. A. (2019). Is attention interpretable? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (pp. 2931–2951). Association for Computational Linguistics. https://doi.org/10.18653/v1/P19-1282

Yang, Z., Yang, D., Dyer, C., He, X., Smola, A., & Hovy, E. (2016). Hierarchical attention networks for document classification. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (pp. 1480–1489). Association for Computational Linguistics. https://doi.org/10.18653/v1/N16-1174