Analysing Lexical Semantic Change with Contextualised Word Representations

Paper: Mario Giulianelli; Marco Del Tredici; Raquel Fernández (2020). "Analysing Lexical Semantic Change with Contextualised Word Representations." ACL 2020, pp. 3960–3973. PDF · ACL Anthology · arXiv:2004.14118 · DOI

1. 단어 하나가 아니라 용법들을 본다

같은 disk라도 접시, 자동차 부품, 광학 디스크, 컴퓨터 저장장치를 뜻할 수 있다. 시기별 단어 벡터 하나만 비교하면 어떤 용법이 늘었는지 알기 어렵다. 이 논문은 COHA에서 같은 단어가 실제 문장 안에 쓰인 각 사용례를 BERT로 표현하고 비슷한 사용례를 usage type으로 묶는다. usage type은 자동 군집이지 사전의 완성된 sense label은 아니다.

그림 1. Giulianelli et al. (2020), ACL PDF p. 3962의 Figure 1을 인용했다. COHA의 atom 사용례를 BERT 공간에서 군집화한 예다. 왼쪽은 usage representation의 2차원 투영, 오른쪽은 시기별 usage type 분포다. 색은 자동 유도한 usage type이며, 그림 자체가 고정된 사전 의미 수를 주장하지는 않는다.

절차는 세 단계다. 문맥별 representation을 만들고, 같은 단어의 사용례를 군집으로 나누며, 시기별 군집 분포와 사용례 간 거리를 바탕으로 변화 점수를 만든다. 그래서 ‘얼마나 달라졌나’와 ‘어떤 용법이 새로 생겼나’를 한 분석 안에서 볼 가능성이 생긴다.

2. 세 지표가 서로 다른 변화를 본다

ED(Entropy Difference)는 시기별 usage type 분포의 엔트로피 차이를 본다. 용법이 더 고르게 퍼지면 양수, 한 유형으로 집중되면 음수가 될 수 있다. JSD(Jensen–Shannon divergence)는 두 시기의 usage type 분포가 얼마나 다른지 잰다. APD(Average Pairwise Distance)는 서로 다른 시기의 모든 사용례 embedding 쌍 사이 거리를 평균하며, 군집을 거치지 않는다.

세 지표는 서로 다른 질문에 답한다. ED는 다양성의 증감에, JSD는 분포 재배치에, APD는 문맥 표현의 전체 이동에 민감하다. 특히 APD가 군집 없이도 강하게 나올 수 있다는 결과는 ‘의미를 설명하려면 반드시 군집 점수가 최고여야 한다’는 생각을 깨뜨린다.

3. 정량 결과는 겸손하게 읽어야 한다

GEMS의 인간 변화 점수와 비교한 Table 1에서 세 지표는 모두 약 .28 수준의 Spearman 상관을 냈고, 유클리드 거리와 시기별 점수의 최댓값을 쓰는 설정에서 APD는 .285였다. ED와 JSD의 최고값은 각각 .278과 .276이었다. 참고로 같은 표에 실린 Gulordava & Baroni는 .386, Frermann & Lapata의 SCAN은 .377이다. 선행 두 값은 다른 원 연구의 코퍼스·설정에서 보고된 참고 비교이므로 동일 조건 재실험은 아니다. 이 논문은 문맥화 표현과 usage type을 유용한 분석 도구로 보였지만, 그 벤치마크의 변화 순위에서 선행 두 방법을 넘어섰다고 보고하지는 않는다.

사용례 유사도 검증도 범위를 가진다. 16개 단어 중 10개에서 BERT 기반 유사도 행렬과 사람 판단 사이에 유의한 양의 Mantel 상관이 나왔고, 계수 범위는 .13–.45였다(§5.1). 이는 일부 단어에서 관계가 있다는 근거이지, 모든 군집이 사람의 의미 구분을 복원한다는 증거는 아니다.

4. 정성 분석이 보여 주는 값

그림 2. Giulianelli et al. (2020), ACL PDF p. 3967의 Figure 2를 인용했다. 1910–2009년 COHA에서 네 단어의 usage type 분포가 어떻게 변했는지 보인다. coach의 일부 용법 감소, disk의 1950년대 이후 새 용법 출현, curtain의 은유적 용법 사례를 읽는 데 쓰인다. 원도판을 인용했다.

이 접근은 순위 점수만으로 보이지 않는 변화의 모양을 보여 준다. 논문은 coach에서 특정 용법의 점진적 감소를 narrowing의 사례로, disk의 새 usage type을 broadening의 사례로 읽는다. 하지만 curtain의 새 용법이 일부 시기에 드물면 APD는 낮게 줄 수 있다. 변화가 있어도 변화 점수가 높게 매겨지는 것은 아니다.

5. 적용 조건과 한계

사용례 수준의 설명이 필요한 연구에는 유용하다. 다만 군집 개수, BERT layer, 거리, 시간 구간을 바꾸면 결과도 바뀔 수 있다. 변화량 순위 평가는 GEMS 표적어 99개, 사용례 유사도의 인간 판단 검증은 별도의 16개 단어에 근거한다. 이 논문은 COHA와 GEMS의 제한된 영어 조건에 기대며, 결과가 언어·도메인·대규모 후보어로 그대로 옮겨진다는 실험은 아니다.

또한 usage type은 사람이 정의한 의미와 일대일 대응하지 않는다. 하나의 해석이 여러 군집으로 나뉘거나 서로 다른 해석이 한 군집에 섞일 수 있다. 따라서 실무에서는 APD 같은 후보 탐지 점수와 용법 군집의 정성 점검을 같이 두고, 최종 의미 해석은 원문 사용례와 사람 검토로 확인해야 한다.

심층 보기

References

Giulianelli, M., Del Tredici, M., & Fernández, R. (2020). Analysing lexical semantic change with contextualised word representations. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 3960–3973. https://doi.org/10.18653/v1/2020.acl-main.365