A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change

Paper: Francesco Periti; Nina Tahmasebi (2024). "A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change." NAACL 2024, pp. 4262–4282. PDF · ACL Anthology · arXiv:2402.12011v3 · DOI

1. ‘변했다’는 말에는 세 가지 질문이 있다

예전의 cloud가 주로 하늘의 구름이었다가 오늘날 컴퓨팅 인프라를 가리키는 경우를 생각해 보자. lexical semantic change(LSC)는 이런 단어 사용의 시간에 따른 변화를 찾는다. 하지만 변화량 순위만 맞히면 충분할까? 기존 비교는 전처리, Transformer layer, 추가 학습, 집계 방식이 서로 달랐다. 그래서 점수만으로 결론을 내리기 어렵다.

저자들은 같은 조건에서 네 인코더(BERT, mBERT, XLM-R, XL-LEXEME)와 네 변화 계산법을 비교하고 문제를 세 층으로 나눈다. WiC는 두 사용례가 비슷한 뜻인지, WSI는 사용례를 뜻별로 잘 묶는지, GCD는 단어별 변화량 순위를 잘 맞히는지 묻는다. 마지막 점수가 높다고 앞의 두 단계를 자동으로 통과하는 것은 아니다.

2. 변화량을 재는 방법과 ‘뜻’을 찾는 방법은 다르다

그림 1. Periti & Tahmasebi (2024), Figure 1, PDF 2쪽·인쇄 4263쪽의 독일어 Eintagsfliege 사용 그래프다. 노드는 사용례, 선은 의미 관련성, 색은 군집이다. 논문은 Laicher et al. (2021)을 그림 출처로 인용한다. ACL Anthology CC BY 4.0 조건의 도판을 그대로 사용했다.

APD(Average Pairwise Distance)는 서로 다른 시기의 모든 사용례 쌍 거리를 평균하고, PRT(Prototype Distance)는 시기별 평균 embedding 두 개의 거리를 잰다. 둘은 변화량을 곧장 내지만 “어느 뜻이 늘고 줄었는가”를 직접 보여 주지는 않는다.

반대로 AP+JSD는 **AP(Affinity Propagation)**로 두 시기의 사용례를 함께 군집화한 뒤 군집 비율 차이를 잰다. WiDiD는 별도의 APP(A Posteriori affinity Propagation) 변형으로 시간별 의미 중심을 구한다. 두 방법은 군집 절차가 같지 않다. 군집 기반 방법은 의미 변화 경로를 보려 하지만 군집 오류에도 영향을 받는다. 변화 순위화와 의미 해석은 서로 다른 평가 대상이다.

3. 같은 조건에서 나온 결과: XL-LEXEME와 APD

기본 비교는 12층 base model의 마지막 층을 쓰고 실험 중 추가 fine-tuning은 하지 않는다. 여덟 언어 벤치마크를 썼지만 러시아어는 세 시기쌍, 노르웨이어는 두 시기쌍이라 Table 1에는 11개 언어–시기 비교가 있다. Spearman 상관은 표적 단어들의 변화량 순위를 얼마나 비슷하게 매겼는지 재는 값이다. Avgw는 언어를 똑같이 평균 낸 값이 아니라 표적어 수로 가중한 값이다.

방법	BERT	mBERT	XLM-R	XL-LEXEME
APD	.449	.371	.316	.751
PRT	.406	.395	.381	.693
AP+JSD	.179	.077	.142	.223
WiDiD	.239	.181	.314	.422

표 1. 원논문 Table 1, PDF 6쪽·인쇄 4267쪽의 Avgw만 정리했다. BERT 네 행은 모두 라틴어 값이 없어 10개 언어–시기 비교를 가중 평균했고, 나머지 세 모델의 각 행은 11개를 썼다. 같은 표의 평균도 평가 범위가 완전히 같지 않다.

이 설정에서 XL-LEXEME+APD가 .751로 가장 높았다. 하지만 XL-LEXEME는 XLM-R에 WiC 지도 신호를 더해 학습한 인코더다. 따라서 이 표만으로 “WiC 지도 신호 하나의 효과”나 “모든 언어·전처리에서 APD가 최선”을 증명했다고 읽을 수는 없다.

4. 사람의 판단을 흉내 내는가도 따로 시험했다

저자들은 computational annotator 실험에서 embedding cosine similarity가 사람의 사용례 근접도와 얼마나 맞는지(WiC), 그 판단으로 만든 군집이 인간 DWUG 군집과 얼마나 맞는지(WSI), 그리고 그 군집 또는 러시아어 COMPARE로 계산한 변화량 순위가 맞는지(GCD)를 분리했다. XL-LEXEME의 가중 평균은 WiC .568, WSI ARI .339·Purity .810, GCD .754였다(Table 2, PDF 7쪽·인쇄 4268쪽). 이 표는 모든 모델에서 라틴어를 제외하고 러시아어 WSI에는 빈칸이 있는 별도 평가다. 따라서 GCD .754를 표 1의 .751과 같은 모집단의 반복 측정처럼 비교할 수 없다.

숫자를 한 줄로 합치면 오해가 생긴다. ARI는 우연한 일치를 보정한 군집 일치도이고, Purity는 각 군집에서 가장 많은 정답 뜻의 비율을 모은 값이다. Purity는 작고 균질한 군집을 많이 만들면 높아질 수 있다. 논문은 WSI 성능이 높은 이유로 정답과 계산 주석에 같은 correlation clustering 계열을 썼을 가능성, 또는 그 군집기가 더 미묘한 관계를 잡았을 가능성을 함께 든다. 어느 쪽이 원인인지는 확정하지 않았다.

그림 2. Periti & Tahmasebi (2024), Figure 2, PDF 19쪽·인쇄 4280쪽. EN·LA·DE·SV·ES에서 길이 2–4의 Transformer layer 조합별 GCD Spearman 분포다. ACL Anthology CC BY 4.0 자산을 그대로 사용했다.

그림 3. Periti & Tahmasebi (2024), Figure 3, PDF 20쪽·인쇄 4281쪽. RU의 세 시기쌍, NO의 두 시기쌍, ZH의 layer 조합 분석이다. ACL Anthology CC BY 4.0 자산을 그대로 사용했다.

예를 들어 ZH의 BERT+APD는 Table 4에서 layer 4가 .747, 마지막 layer가 .656이었다. 특정 layer가 보편적으로 최선이라는 뜻은 아니지만, 마지막 층이라는 기본 설정 자체도 점수에 영향을 준다는 직접적인 증거다.

5. 이 결과를 어디까지 써야 하나

이 논문은 LSC 비교를 세분화하라고 요구한다. 변화 후보를 넓게 순위화한다면 APD와 XL-LEXEME를 강한 기준선으로 둘 수 있다. 반면 “무슨 뜻이 어떻게 바뀌었나”를 설명하려면 WiC와 WSI를 따로 점검해야 한다.

GPT-4 평가는 비용과 API 제약으로 영어에서만 했고, 영어 GCD는 GPT-4 .818과 XL-LEXEME .801이었다. 이는 다언어 GPT-4 성능이나 인간 수준 의미 이해의 증거가 아니다. 또 공통 절차는 언어별 lemmatization 최적화, tokenizer의 subword 분할, 긴 문맥의 truncation 영향을 평가하지 않았다. 그러므로 .751은 이 논문의 통제된 benchmark 설정의 기준점이다.

심층 보기

References

Periti, F., & Tahmasebi, N. (2024). A systematic comparison of contextualized word embeddings for lexical semantic change. Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), 4262–4282. Association for Computational Linguistics. https://doi.org/10.18653/v1/2024.naacl-long.240

Laicher, S., Kurtyigit, S., Schlechtweg, D., Kuhn, J., & Schulte im Walde, S. (2021). Explaining and improving BERT performance on lexical semantic change detection. Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Student Research Workshop, 192–202. Association for Computational Linguistics. https://aclanthology.org/2021.eacl-srw.25/