A Survey on Contextualised Semantic Shift Detection

Paper: Montanelli, Stefano; Periti, Francesco. (2024). "A Survey on Contextualised Semantic Shift Detection." ACM Computing Surveys. doi:10.1145/3672393. arXiv:2304.01666.

---

Executive Summary

항목	설명
연구 질문	BERT·RoBERTa·ELMo처럼 출현마다 다른 벡터를 내주는 문맥화 임베딩에 기반한 의미 변화 탐지 연구를 어떤 축으로 조직할 수 있는가? 어떤 계열이 성능이 좋고, 그 대가로 무엇을 잃는가?
핵심 기여	문맥화 임베딩 기반 연구만 따로 모아 CSSDetection(Contextualised Semantic Shift Detection)으로 명명·정의하고, 임베딩→집계(선택적)→평가의 3단계 워크플로와 의미 표현(형태 기반/의미 기반)·시간(time-oblivious/time-aware)·학습(supervised/unsupervised)의 3차원 분류 틀로 분야를 조직했다. 정적 임베딩을 다룬 선행 서베이가 놓친 지형을 채운다.
분류 틀	형태 기반은 한 단어의 출현들을 의미별로 나누지 않은 채(프로토타입 평균의 CD·PRT, 집계 없는 쌍별 거리 APD) 변화 크기를 재고, 의미 기반은 출현을 의미별로 군집해 의미 분포의 변화(Jensen-Shannon 발산 등)를 재서 어느 의미가 변했는지 설명한다. time-aware 계열은 시간 정보를 모델에 직접 주입한다(Time-diff 등).
종합 결과	SemEval-2020 Task 1·RuShiftEval·LSCDiscovery 등 등급 변화 탐지 벤치마크 종합(Table 6)에서 형태 기반 측도(APD·CD·PRT)가 의미 기반·앙상블을 대체로 앞선다. 단, 표의 값은 논문별 자기 설정 최고치이고, 단어당 점수 하나로 채점하는 테스트셋 구조가 형태 기반에 유리하다고 서베이 스스로 단서를 단다.
핵심 한계	성능 우위(형태)와 해석성(의미)이 갈리는 역설이 방법의 본질인지 평가 방식의 산물인지 끝까지 가르지 않고, 코사인 측도를 직접 교란하는 임베딩 공간의 이방성을 다루지 않으며, 실험 대부분이 소수의 미리 고른 대상 단어와 라틴 문자권+러시아어에 머문다.

TL;DR — (1) Montanelli & Periti(ACM Computing Surveys 2024)는 문맥화 임베딩 기반 의미 변화 탐지(CSSDetection)를 임베딩→집계→평가 워크플로와 의미 표현·시간·학습의 3차원으로 조직한 서베이다. (2) 등급 변화 탐지 벤치마크 종합에서 형태 기반 측도(APD·CD·PRT)가 의미 기반을 대체로 이기지만, 어느 의미가 변했는지 설명하는 해석성은 의미 기반에만 있다 — 성능과 해석성이 갈리는 역설이 이 분야의 중심 긴장이다. (3) 서베이 스스로 그 순위가 논문별 최고치 취합과 단어당 점수 하나로 채점하는 벤치마크 구조에 좌우된다고 단서를 달아, "형태 기반이 정말 더 나은가"는 열린 물음으로 남는다.

---

목차

1. 서론
2. 개념 틀: 워크플로와 3차원 분류
3. 세 접근 계열: 형태·의미·시간
4. 성능 비교와 트레이드오프
5. 서베이가 그리는 다음 연구
6. 주의해서 읽을 점
7. 결론

---

1. 서론

1.1 서베이의 배경과 범위

단어의 의미 변화를 자동으로 잡는 연구는 오랫동안 정적 임베딩을 써 왔다. 한 단어에 벡터 하나를 두고 시대별로 학습해 비교하는 방식이다. 지난 몇 년 사이 이 판이 문맥화 임베딩으로 옮겨 갔다. BERT 같은 모델은 같은 단어라도 문맥에 따라 다른 벡터를 내주므로, 한 단어의 여러 용법을 벡터 여럿으로 담을 수 있다. 이 서베이는 그 문맥화 기반 연구만 따로 떼어 정리한다.

1.2 학술적 위치

서베이는 자신의 범위를 좁게 못박는다. 정적 임베딩을 다룬 선행 서베이(Tang, Kutuzov 등, Tahmasebi 등)와 갈라, 지난 몇 년간 거의 전적으로 문맥화 임베딩에 기반한 진전만 다룬다고 밝힌다. 언어학적 관점보다 계산적 관점을 앞세우는 것도 차별점으로 든다. 이 좁힘의 산물이 CSSDetection이라는 용어이고, 서베이는 이를 통시 코퍼스에서 문맥화 임베딩으로 대상 단어의 의미 변화를 평가하는 과제로 정의한다.

서베이가 다루는 평가 유형도 명시한다. 실수 값으로 변화 정도를 매기는 등급 변화 탐지(SemEval 서브태스크 2 계열), 변했는가 아닌가만 가리는 이진 변화 탐지, 그리고 의미의 등장·소멸을 짚는 의미 획득·상실 탐지다. 서베이는 가장 흔한 등급 변화 탐지에 무게를 둔다.

---

2. 개념 틀: 워크플로와 3차원 분류

세 단계 워크플로

문맥화 SSD의 공통 뼈대를 서베이는 세 단계로 정형화한다(§2).

문맥화 의미 변화 탐지의 일반 워크플로(원논문 Figure 1). 임베딩 단계에서 각 출현을 문맥화 모델로 벡터화하고, 집계 단계에서 그 벡터들을 묶어 정리하며(선택적), 평가 단계에서 측도로 변화량을 잰다.

임베딩 단계에서는 대상 단어 w의 각 출현을 BERT·RoBERTa·ELMo 같은 모델로 벡터화한다. 시점 j 코퍼스에서 w가 나온 모든 벡터를 모은 집합이 \Phi^j_w다. 이때 모델의 어느 층(들)에서 벡터를 뽑느냐가 방법마다 다른 설계 선택이고, 서베이의 비교표들도 층 선택을 따로 한 열로 둔다. 집계 단계는 선택적이다. 벡터들을 군집하거나 평균 내어 정리한다. 평가 단계에서 측도를 적용해 두 시점 \Phi^1_w와 \Phi^2_w 사이의 변화량을 낸다. 집계가 선택이라는 점이 중요하다. 어떤 방법은 집계 없이 원 벡터 집합에 직접 측도를 건다.

세 차원의 분류

서베이의 뼈대는 방법을 세 차원으로 좌표화한 분류 틀이다(§3, Table 2).

차원	한쪽	다른 쪽
의미 표현	형태 기반(단어를 의미별로 나누지 않음: 지배적 의미·다의성 같은 고수준 속성)	의미 기반(의미별 클러스터: 개별 용법)
시간	time-oblivious(시간 정보 안 넣음)	time-aware(시간 정보 명시 주입)
학습	supervised(사전·주석 등 외부 지식)	unsupervised(코퍼스만)

첫 번째 차원이 이 서베이의 중심축이다. 형태 기반은 한 단어의 출현들을 의미별로 가르지 않고 통째로 본다. 프로토타입 벡터 하나로 평균 내든, 아예 묶지 않은 출현 집합의 흩어짐을 재든, 단어를 나뉘지 않은 한 덩어리로 다룬다는 점은 같다. 지배적 의미나 다의성 같은 고수준 속성만 담긴다. 의미 기반은 출현을 의미별 클러스터로 나눠 각 의미를 따로 표현한다. 두 번째 차원은 시간을 모델에 명시적으로 넣느냐다. time-oblivious는 시점 문서가 이미 그 시대의 언어를 담고 있다고 보고 사전학습 모델을 그대로 쓰고, time-aware는 모델에 시간 정보를 주입한다. 세 번째 차원은 사전이나 주석 같은 외부 지식을 쓰느냐다.

의미 기반의 군집

의미 기반이 출현을 의미별로 나누는 방식은 코퍼스가 어떻게 주어지느냐에 달렸다. 두 시점을 한꺼번에 군집하는 joint 방식(정적 코퍼스, Martinc 등), 시점별로 따로 군집한 뒤 정렬해야 하는 separate 방식(Kanjirangat 등), 시간 순서로 점진적으로 군집을 갱신해 정렬을 피하는 incremental 방식(Periti 등)이다.

군집이 담을 수 있는 세 구성(원논문 Figure 2). (A) 앞 시점에만 있던 의미, (B) 두 시점에 공통인 의미, (C) 뒤 시점에 새로 생긴 의미. joint·incremental은 세 경우를 다 낳지만, 정렬 전의 separate 군집은 한 시점씩만 보므로 A와 C만 낳는다.

---

3. 세 접근 계열: 형태·의미·시간

서베이는 방법을 계열별로 종합하며(§4), 각 계열이 어떤 측도로 변화를 재는지를 표로 정리한다.

형태 기반

형태 기반(§4.1)은 단어를 의미별로 나누지 않은 채 변화를 잰다. 대표 측도는 세 가지다. CD는 두 시점 프로토타입 사이의 코사인 거리다. PRT는 코사인 유사도의 역수로, CD를 개선하려 Kutuzov와 Giulianelli가 제안했다. 그리고 APD는 집계 없이 두 시점 출현 벡터들의 쌍별 거리를 평균한다. APD는 프로토타입으로 뭉치지 않고 벡터들의 흩어짐을 그대로 봐서 다의성의 변화를 잡는다는 점이 다르다. 셋 다 출현을 의미별로 가르지 않으므로, 변화의 크기는 재도 어느 의미가 변했는지는 말하지 못한다.

의미 기반

의미 기반(§4.2)은 출현을 군집해 의미별 분포를 만든 뒤 그 분포의 변화를 잰다. 가장 흔한 측도는 두 시점의 의미 분포 사이 Jensen-Shannon 발산이다. 그 밖에 최적 수송 거리(Wasserstein)나 엔트로피 차이 같은 측도도 쓰인다. 군집에는 K-평균이나 Affinity Propagation이 자주 쓰인다.

시간 기반과 앙상블

time-aware 계열은 시간 정보를 모델에 직접 넣는다. 이 계열의 측도로 서베이는 Time-diff(TD, Rosin 등 2022)를 든다. TD는 모델이 문서의 시점을 얼마나 잘 맞히는지로 변화를 읽는다. 한 단어의 문서들에 대한 예측 시점 분포가 고르면 시점과 단어의 결합이 약해 변화의 근거가 없고, 분포가 한쪽으로 쏠리면 변화의 증거가 있다고 본다. 앙상블(§4.3)은 여러 측도를 결합하거나, 문맥화 임베딩에 정적 임베딩이나 문법 프로파일을 함께 쓰는 방법들이다.

모델 쪽에서는 BERT와 XLM-R가 가장 많이 쓰이고 ELMo·RoBERTa는 소수이며, 통시 코퍼스로 도메인 적응 파인튜닝을 하는 경우가 흔하다(§4.4).

---

4. 성능 비교와 트레이드오프

형태 기반이 이긴다

서베이는 여러 벤치마크의 성능을 한 표로 모은다(§5, Table 6). SemEval-2020 Task 1, RuShiftEval, LSCDiscovery 같은 등급 변화 탐지 과제에서 영어·독일어·라틴어·스웨덴어·러시아어·스페인어·노르웨이어에 걸쳐 방법들의 Spearman 상관을 비교한다(DIACR-Ita는 이탈리아어 이진 과제라 이 등급 표에는 들지 않는다). 결과의 요지는 형태 기반 측도(APD·CD·PRT)가 의미 기반과 앙상블보다 대체로 높다는 것이다. 의미 기반이 이긴 것은 세 벤치마크(GEMS-영어·COHA-영어·LSCD-스페인어)뿐인데, 서베이는 그마저 형태 기반 실험이 적었던 탓으로 돌린다.

서베이 자신이 다는 단서

서베이는 이 순위를 여러 겹으로 깎아 내린다. 우선 표에 실은 값이 논문마다 자기 설정에서 낸 최고 Spearman이라고 밝힌다. 다음으로, 두 형태 측도인 APD와 PRT 중 어느 쪽이 이길지는 벤치마크 정답 점수의 분포에 달렸다고 적는다(Kutuzov와 Giulianelli). 이건 형태 안에서의 우열이라 형태 대 의미의 순위와는 다른 층위다.

가장 무거운 단서는 형태 대 의미 자체에 걸린다. 등급 변화 탐지의 테스트셋은 대상 단어마다 변화 점수를 하나만 준다. 서베이는 형태 기반이 바로 이 구조에서 득을 본다고 명시한다. 단어당 점수 하나로 채점하는 판이 프로토타입 측도에 유리하게 기울어 있다는 것이다. 그렇다면 형태 기반의 승리에는 방법의 우수함과 함께 벤치마크의 생김새도 작용한 셈이다.

성능과 해석성의 역설

이 서베이가 남기는 핵심 긴장은 여기서 나온다. 성능이 가장 좋은 형태 기반은 어느 의미가 변했는지를 원리적으로 말할 수 없다. 출현을 의미별로 가르지 않기 때문이다. 어느 의미가 새로 생기고 사라졌는지를 설명하려면 의미 기반이 필요한데, 그것은 성능이 뒤진다. 서베이는 그럼에도 의미 기반을 유망한 방향으로 옹호한다.

확장성·해석성·강건성

서베이는 세 실무 이슈를 따로 다룬다(§6). 확장성(§6.1)에서는 모든 출현 벡터를 저장하는 기본 구현이 코퍼스가 커지면 메모리와 시간이 폭증한다고 짚는다. 그래서 실험 대부분이 소수의 대상 단어에만 돌고, 코퍼스에서 가장 많이 변한 단어를 찾는 과제는 막힌다. 형태 기반의 프로토타입 측도는 값싸서 확장성이 낫고, 무작위 표집이나 차원 축소가 완화책으로 쓰인다. 해석성(§6.2)에서는 의미 기반조차 완전하지 않다고 인정한다. 의미를 어떻게 나누고(군집 파라미터에 민감), 어떻게 이름 붙이고, 시간대별 의미를 어떻게 잇는가가 다 열린 문제다. 강건성(§6.3)에서는 최근 시기에 문서가 몰리는 불균형, 사전학습 모델의 현대 편향, 그리고 철자·어형 정보가 임베딩(특히 상위 BERT 층)에 스며드는 편향을 든다.

---

5. 서베이가 그리는 다음 연구

서베이의 §7은 결론이라기보다 연구 의제 목록이다. 굵직한 갈래만 추린다.

의미 기반을 밀어붙이는 방향이 첫째다. 성능은 형태 기반에 뒤지지만, 어느 의미가 변했는지를 설명하는 값어치 때문에 서베이는 의미 기반을 유망하다고 본다. 이 방향에서 SSD를 단어 의미 유도(WSI)·단어 의미 중의성 해소(WSD)·문맥 속 단어(WiC) 같은 문제의 통시적 확장으로 놓자고 제안한다. 다만 지금의 군집이 의미(meaning)라기보다 용법(usage)을 담는 데 그친다고 스스로 짚으며, 사전학적 의미를 더 충실히 표현할 연구가 필요하다고 적는다.

둘째는 변화를 탐지하는 데서 그치지 않고 해석하는 방향이다. 서베이는 이를 의미 변화 해석(Semantic Shift Interpretation)이라 부른다. 탐지된 변화를 언어학 이론의 유형(개선·악화·확대·축소·은유화·환유화)으로 분류하고, 나아가 어떤 조건에서 의미가 변하기 쉬운지를 말하는 의미 변화의 법칙을 검증하자는 것이다. Xu와 Kemp, Dubossarsky 등, Hamilton 등이 그런 법칙을 가설로 냈고 뒤에 일부가 반박됐는데, 문맥화 임베딩이 이 법칙들을 시험하고 새로 제안하는 데 쓰일 수 있다고 본다.

셋째는 모델의 폭을 넓히는 방향이다. 거의 모든 실험이 BERT에 걸려 있으니, ELMo나 ALBERT·DistilBERT 같은 경량 모델, seq2seq·생성 모델까지 살펴보자고 한다. 확장성 논의와 이어져, 작은 모델이 성능에서 경쟁력이 있으니 더 탐색하자는 주장도 여기 붙는다. 넷째는 언어의 폭이다. 단일어 모델과 다국어 모델을 체계적으로 견주고, 언어 간 변화 탐지(동족어·차용어의 의미 변화)까지 넓히자고 든다. 끝으로 평가 틀 자체를 한두 시점에서 여러 시점으로 늘려 단기·장기 변화를 함께 다루고, 역사 정보 검색·사전학·사회 분석 같은 실제 응용으로 나가자고 맺는다.

---

6. 주의해서 읽을 점

6.1 형태 기반의 승리는 벤치마크의 생김새이기도 하다 (논문 외 비판)

서베이의 헤드라인은 형태 기반이 이긴다는 것이다. 그런데 그 근거인 순위를 서베이 자신이 상당히 깎는다. 표의 값이 논문마다 다른 설정에서 낸 최고치이고, 무엇보다 단어당 점수 하나로 채점하는 테스트셋 구조가 형태 기반에 유리하다고 서베이가 명시한다. 여기에 한 걸음 더 보태면, 그렇게 채점 방식이 방법의 우열을 상당 부분 정한다면 Table 6의 순위는 통제된 비교로 읽어선 안 된다. 각 논문의 최선값을 이질적 설정에서 긁어 모은 표이므로, 순위 차이를 방법의 본질적 우열로 옮겨 적으면 근거를 넘어선다. 서베이가 스스로 열어 둔 이 단서를 끝까지 밀면, 형태 기반의 승리는 방법의 우수함만이 아니라 벤치마크가 그렇게 생겨서 나온 결과다.

6.2 소수 단어 실험이 순위의 외적 타당도를 갉는다 (논문 외 비판)

서베이가 확장성에서 짚듯, 대부분의 실험이 소수의 미리 고른 대상 단어에만 돈다. 그렇다면 Table 6의 순위는 그 소수 단어 집합에서 나온 결과이고, 코퍼스 전체의 미지 변화로 일반화될지는 구조적으로 제한된다. 성능 리더보드가 곧 실전 성능은 아니다.

6.3 이방성을 다루지 않는다 (논문 외 비판)

강건성 절은 임베딩 공간의 기하를 통째로 다루지 않는다. 문맥화 임베딩은 좁은 원뿔에 몰려 있어 무작위 두 벡터도 코사인 유사도가 높게 나오는 이방성이 있다고 알려져 있는데, 이는 코사인으로 정의된 측도인 CD·PRT를 직접 교란한다(APD도 코사인으로 매개될 때 마찬가지다). 그런데 이 서베이 전문에 이방성이라는 말이 한 번도 나오지 않는다. 성능 순위의 상당 부분이 코사인 측도에 걸려 있는데도, 그 코사인이 사는 공간의 왜곡을 강건성 논의가 다루지 않는 것은 빈칸이다.

6.4 성능·해석성 역설은 평가의 산물일 수 있다 (논문 외 해석)

서베이는 형태 기반의 성능 우위와 의미 기반의 해석성 우위를 트레이드오프로 둔다. 그러나 이 역설이 방법의 본질적 한계인지, 아니면 평가 방식의 산물인지는 서베이가 끝까지 가르지 않는다. 등급 변화 탐지가 단어당 점수 하나만 요구하기 때문에 프로토타입 측도가 이기는 것이라면, 의미별 변화를 정답으로 요구하는 벤치마크에서는 순위가 뒤집힐 수도 있다. 역설을 푸는 길은 더 나은 형태 측도가 아니라 해석성을 채점하는 평가일 수 있는데, 서베이는 그 방향을 열어만 두고 밟지 않는다.

6.5 해석성의 미완과 다국어 (논문 외 비판)

서베이가 의미 기반을 해석성의 답으로 옹호하지만, 정작 의미 기반의 해석성이 세 갈래로 미완이라고 스스로 인정한다. 의미를 나누는 군집이 파라미터에 민감하고, 나눈 의미에 이름 붙이기가 이상치에 취약하며, 시간대별 의미를 잇는 정렬이 또 하나의 난제다. 그렇다면 의미 기반은 해석성의 완성품이라기보다 아직 열린 프로그램이다. 벤치마크와 대상 언어도 라틴 문자권과 러시아어에 머물러, 비서구·비라틴 문자 언어로의 일반화는 이 서베이 밖에 남는다.

---

7. 결론

Montanelli와 Periti의 이 서베이는 문맥화 임베딩 기반 의미 변화 탐지를 CSSDetection이라는 이름으로 묶고, 임베딩·집계·평가라는 워크플로와 형태·시간·학습이라는 세 차원으로 조직한다. 형태 기반과 의미 기반의 갈림이 그 중심이다. 형태 기반은 값싸고 성능이 좋되 어느 의미가 변했는지 못 짚고, 의미 기반은 무겁고 성능이 뒤지되 무엇이 변했는지 설명한다. 정적 임베딩에 머문 선행 서베이가 놓친 지형을 정확히 채운 것이 이 작업의 값이다.

동시에 그 헤드라인 결과는 자기 단서 위에 서 있다. 형태 기반이 이긴다는 순위는 이질적 설정에서 각자 보고한 최고치를 모은 것이고, 서베이 자신이 그 순위가 정답 점수 분포와 테스트셋 구조에 좌우된다고 적는다. 코사인 측도가 사는 공간의 이방성은 다뤄지지 않고, 의미 기반의 해석성은 미완이며, 대상 언어는 좁다. §7이 그리는 다음 연구는 이 빈칸들을 겨눈다. 탐지를 넘어선 해석, BERT 너머의 모델, 다국어와 여러 시점으로의 확장이다. 문맥화 SSD를 조망하려는 독자에게 이 서베이는 "이 분야를 어떤 축으로 나눌 수 있는가"는 명료한 지도로, "그래서 형태 기반이 정말 더 나은가"는 벤치마크의 생김새와 얽혀 아직 열려 있는 물음으로 남긴다.

---

References

• Kanjirangat, V., Mitrović, S., Antonucci, A., & Rinaldi, F. (2020). SST-BERT at SemEval-2020 Task 1: Semantic shift tracing by clustering in BERT-based embedding spaces. In Proceedings of the Fourteenth Workshop on Semantic Evaluation (SemEval-2020) (pp. 214–221).
• Kutuzov, A., & Giulianelli, M. (2020). UiO-UvA at SemEval-2020 Task 1: Contextualised embeddings for lexical semantic change detection. In Proceedings of the Fourteenth Workshop on Semantic Evaluation (SemEval-2020) (pp. 126–134).
• Kutuzov, A., Øvrelid, L., Szymanski, T., & Velldal, E. (2018). Diachronic word embeddings and semantic shifts: A survey. In Proceedings of the 27th International Conference on Computational Linguistics (COLING 2018) (pp. 1384–1397).
• Martinc, M., Montariol, S., Zosa, E., & Pivovarova, L. (2020). Capturing evolution in word usage: Just add more clusters? In Companion Proceedings of the Web Conference 2020 (pp. 343–349).
• Montanelli, S., & Periti, F. (2024). A survey on contextualised semantic shift detection. ACM Computing Surveys. https://doi.org/10.1145/3672393 (PDF 보기)
• Periti, F., Ferrara, A., Montanelli, S., & Ruskov, M. (2022). What is done is done: An incremental approach to semantic shift detection. In Proceedings of the 3rd International Workshop on Computational Approaches to Historical Language Change (LChange 2022) (pp. 33–43).
• Rosin, G. D., Guy, I., & Radinsky, K. (2022). Time masking for temporal language models. In Proceedings of the Fifteenth ACM International Conference on Web Search and Data Mining (WSDM 2022) (pp. 833–841).
• Tahmasebi, N., Borin, L., & Jatowt, A. (2021). Survey of computational approaches to lexical semantic change detection. In Computational approaches to semantic change (pp. 1–91). Language Science Press.
• Tang, X. (2018). A state-of-the-art of semantic change computation. Natural Language Engineering, 24(5), 649–676.