How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings

Paper: Kawin Ethayarajh (2019). "How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings." Proceedings of EMNLP-IJCNLP 2019, 55–65. PDF · ACL · arXiv:1909.00512

1. 같은 단어가 문장마다 달라진다는 말을 측정한다

문맥화 모델은 bank 같은 단어가 문장에 따라 다른 벡터가 된다고 말한다. 이 논문은 그 말을 성능표가 아니라 표현 공간의 기하로 시험한다. 서로 다른 문맥에서 나온 같은 단어 벡터가 얼마나 닮았는지, 무작위 단어 벡터들이 평균적으로 비슷한 방향을 향하는지, 정적 벡터 하나가 문맥별 분산을 얼마나 설명하는지를 BERT·ELMo·GPT-2의 층별로 비교한다. 이 지표는 단어 뜻의 정답이나 언어 이해 성능을 직접 재는 것이 아니다.

논문은 사전학습된 ELMo(2개 층), BERT-base-cased(12개 층), GPT-2(12개 층)와 각각의 입력층을 조사했다. 문장은 SemEval STS 2012–2016 자료에서 가져왔고, 고유 문맥이 다섯 개 미만인 단어는 제외했다(원논문 §3). 따라서 결과는 이 모델·영어 문장 표본·표본 추출 조건에서의 비교다.

2. 먼저 이방성을 빼야 한다

그림 1. Ethayarajh (2019), EMNLP-IJCNLP 최종본 Figure 1, PDF 5쪽·인쇄 59쪽. 무작위 출현 벡터 쌍의 평균 코사인이 양수로 커질수록 표본 공간에 공통 방향이 강하다는 뜻이다. 모든 벡터가 같은 방향이라는 뜻은 아니다.

상위층은 대체로 이방성이 크다. 논문은 무작위로 고른 단어 출현 벡터 1,000개로 평균 코사인 기준값을 추정했다(§3.1). ELMo의 입력층은 예외이고, BERT의 마지막 층도 바로 앞 층보다 덜 이방적이다. 모든 층이 일률적으로 한 방향으로만 몰린다는 식으로 읽을 수 없다.

같은 단어의 코사인이 높아도 공간의 공통 방향 때문일 수 있다. 가령 두 bank 출현의 코사인이 0.8이고 무작위 출현 쌍 평균이 0.6이라면, 보정한 자기 유사도는 0.2다. 이는 계산을 설명하는 가상 예시이며 논문 실측값이 아니다. 논문은 이렇게 공간 전체의 기준값을 빼고 동일 단어의 문맥별 변화를 읽는다. bank가 금융기관인지 강둑인지는 이 코사인 숫자만으로 판정하지 않는다.

3. 상위층일수록 같은 단어도 덜 닮는다

그림 2. Ethayarajh (2019), EMNLP-IJCNLP 최종본 Figure 2, PDF 6쪽·인쇄 60쪽. 이방성을 보정한 동일 단어의 평균 자기 유사도다. 낮을수록 표본 문맥별 표현이 더 갈라진다.

논문은 최대 설명 분산(MEV)도 측정했다. 한 단어의 여러 문맥 벡터에서 첫 주성분이 설명하는 분산 비율을 구하고 무작위 출현 벡터의 기준값을 뺀 뒤 단어들에 걸쳐 평균낸 값이다. 그 이방성 보정 평균이 조사한 각 모델·층에서 5% 미만이었다(§4.4, Figure 4). 개별 단어마다 MEV가 반드시 5% 아래라는 상한이 아니다. GPT-2의 2–11층 원시 MEV 평균은 보정 전 약 30%였다.

이 결과는 문맥화 표현을 정적 벡터 하나에 작은 잡음만 더한 것으로 보기 어렵다는 근거다. 그러나 첫 주성분이라는 한 가지 측정에 관한 결론이다. 여러 대표 벡터를 두는 방식이나 별도 의미 모델의 가능성까지 부정하지는 않는다. 코사인 자기 유사도는 두 출현이 얼마나 같은 방향인지, MEV는 여러 출현에서 한 축이 분산을 얼마나 설명하는지 묻는다.

세 지표를 함께 읽으면 해석이 분명해진다. 무작위 출현도 서로 닮는 공간에서는 같은 단어의 높은 원시 코사인이 별 정보를 주지 못한다. 기준값을 뺀 자기 유사도가 낮다면 같은 단어의 출현들이 문맥에 따라 다른 방향으로 놓였다는 근거가 된다. MEV 평균이 낮다면 그 출현들을 정적인 한 축만으로 압축하기도 어렵다. 어느 하나만으로 단어 의미를 판정하는 대신, 공간의 편향과 단어별 흩어짐을 차례로 점검해야 한다. 이 순서는 논문 §4의 지표를 쉬운 말로 연결한 해석이다.

4. 하위층은 쓸모없는가

그렇지 않다. 논문은 하위층에서 추출한 정적 임베딩을 SimLex999·RW·MEN·WS353에 시험했다. BERT 첫 층은 일부 벤치마크에서 GloVe·fastText를 앞섰지만 모두에서 이기지는 않았다(Table 1). 문맥별로 크게 갈라지지 않는 표현도 정적 의미 유사도에는 가치가 있다. 이 과제의 순위를 문장 이해 성능의 순위로 바꿔 읽을 수는 없다.

층의 역할은 평가 목적에 따라 달라진다. 문장의 특정 출현을 구별하려면 더 문맥에 민감한 표현이 유리할 수 있지만, 단어 자체의 평균적 유사도를 묻는 시험은 다른 신호를 요구한다. 논문 Table 1은 두 과제를 하나의 점수로 합치지 않는다. 상위층의 문맥 민감도 결과로 하위층이 불필요하다고 결론 내리거나, 정적 벤치마크 결과로 상위층의 문장 처리 능력을 평가해서는 안 된다.

5. 읽는 법

이 논문은 representation을 평가할 때 cosine과 이방성을 함께 보라고 권한다. ‘어느 모델이 최고인가’를 가리는 데 초점을 두지 않는다. 후속 작업에서 다른 모델·언어·tokenization을 쓴다면 같은 보정과 표본 조건을 기록해야 한다. 상위층의 낮은 self-similarity는 문맥 의존성의 기하학적 지표이지, 곧바로 모든 언어 이해 과제의 우월성을 뜻하지 않는다.

심층 보기

References

Ethayarajh, K. (2019). How contextual are contextualized word representations? Comparing the geometry of BERT, ELMo, and GPT-2 embeddings. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 55–65. https://doi.org/10.18653/v1/D19-1006