Survey of Computational Approaches to Lexical Semantic Change

Paper: Tahmasebi, Nina; Borin, Lars; Jatowt, Adam. (2021). "Survey of Computational Approaches to Lexical Semantic Change." In Computational Approaches to Semantic Change (Chapter 1, pp. 1–91). Language Science Press. 초기 판: arXiv:1811.06278 (v1 2018 → v2 2019).

---

Executive Summary

항목	설명
연구 질문	단어 의미의 시간적 변화를 계산적으로 다루는 흩어진 연구를 어떤 축으로 조직할 수 있는가? "어떤 단어가 변했는가"(변화의 유무)와 "그 단어의 무엇이 변했는가"(변화의 종류)라는 두 물음에 방법들이 어떻게 답하는가?
핵심 기여	변화 현상을 통시적 개념 변화(의미 변화: 새 의미의 획득·상실, 확대·축소)와 어휘 변화(대체: 의미 기반 대체, 같은 개체의 이름 변화, 같은 유형의 다른 사례, 시간적 유사물의 4유형)로 가르고, 계산 방법을 단어 수준(시기당 벡터 하나, 변화의 유무만)과 의미 구별(의미별 분할 후 등장·소멸 추적, 변화의 내용까지) 두 계열로 조직했다. 계산 방법을 역사언어학의 변화 유형에 정박시킨다.
방법 지형	단어 수준은 공기 기반·신경 임베딩(연구가 가장 몰린 갈래)·동적 임베딩·변화의 법칙·관련 기술의 다섯 갈래, 의미 구별은 주제 기반·WSI 기반·정렬 코퍼스의 세 갈래. 필드 대다수가 단어 수준에 몰려, 이론이 가르는 변화 유형(확대·축소·새 의미)을 지배적 방법이 정작 구분하지 못하는 격차가 드러난다.
평가 처방	필드의 병목을 정답 데이터 부재로 진단하고, 연구들이 암묵적으로 전제하는 세 가정(적용가능성·대표성·반증가능성)을 짚으며, 여덟 항목의 평가 절차(사전 시험셋 비교, 원 텍스트 확인, 외부 자원 대조, 희소 증거 검토, 유형 구분 가능성, 변화 시점 탐지, 시점 수 확장성, 판단 근거 명시)를 권한다.
핵심 한계	2018~2019년의 스냅숏이라 대상 방법이 모두 문맥화 이전 표현에 기반하고(BERT·ELMo·SemEval-2020 부재), 공통 벤치마크가 없어 방법 비교가 성능 순위 없는 정성 대조에 머물며, 영어 편향이 표면에 드러나되 해소되지 않는다.

TL;DR — (1) Tahmasebi et al.(Language Science Press 2021)는 통시적 의미 변화 연구를 의미 변화 대 어휘 대체, 단어 수준 대 의미 구별의 두 축으로 조직한 서베이로, "그 단어가 변했다(that)"와 "무엇이 변했다(what)"라는 두 물음이 조직을 관통한다. (2) 필드의 병목을 정답 데이터 부재로 진단하고, 세 가정(적용가능성·대표성·반증가능성)과 여덟 항목의 평가 절차를 처방한 것이 이 서베이가 오래 남기는 값이다. (3) 다만 2018~2019년 스냅숏이라 문맥화(BERT) 이후의 흐름과 SemEval-2020 표준 벤치마크를 담지 못하고, 방법 비교는 성능 순위 없는 정성 대조에 머문다.

---

목차

1. 서론
2. 개념 틀: 변화를 어떻게 나누나
3. 두 방법 계열: 단어 수준과 의미 구별
4. 평가라는 병목
5. 주의해서 읽을 점
6. 서베이의 사각지대와 확장
7. 결론

---

1. 서론

1.1 서베이의 배경

단어의 의미는 계속 변한다. 새 의미를 얻고 옛 의미를 잃으며, 새 단어가 생기거나 빌려 오고 오래된 단어는 사라진다. 이런 변화를 대규모 텍스트에서 자동으로 잡으려는 연구가 지난 몇 년 사이 빠르게 늘었다. 이 서베이는 그 흩어진 연구를 하나의 틀로 정리하려 한다.

1.2 두 개의 질문

서베이가 다루는 것은 두 개의 물음이다. 하나는 어떤 단어가 시간에 따라 변했는가이고, 다른 하나는 그 단어의 무엇이 변했는가다. 첫 번째는 변화의 유무를, 두 번째는 변화의 종류를 묻는다. 이 서베이의 조직은 이 두 물음에 방법들이 어떻게 답하는지를 따라간다.

1.3 학술적 위치

서베이는 자신을 계산 방법과 주류 역사언어학·어휘유형론을 잇는 자리에 놓는다. 통시 임베딩만 좁게 다룬 선행 서베이(Kutuzov 등)나 비슷한 범위를 다룬 서베이(Tang)와 달리, 언어 변화의 언어학적 분류(§5)에 방법을 정박시킨다. §5는 lexeme와 개념의 단위 구분, 형태가 아니라 의미에서 출발하는 onomasiological 관점, 그리고 계산 연구가 아직 범언어적 일반화에 이르지 못했다는 진단을 담는다. 변화의 계산적 탐지 결과가 문서의 시대 간 비교나 검색·NLP 파이프라인의 부품으로 쓰인다는 응용 맥락도 짚는다. 다만 언어의 역사적 과정을 시뮬레이션하는 계산 연구는 명시적으로 범위 밖에 둔다.

---

2. 개념 틀: 변화를 어떻게 나누나

두 갈래의 변화

서베이는 통시적 어휘의미변화를 두 갈래로 가른다(§2.1, Table 1). 하나는 통시적 개념 변화, 곧 의미 변화다. 한 단어가 새 의미를 얻거나 옛 의미를 잃고, 의미의 폭이 넓어지거나(broadening) 좁아진다(narrowing). 다른 하나는 어휘 변화, 곧 대체다. 같은 개념을 시대에 따라 다른 단어가 나르게 되는 경우다. 한 단어 안에서 뜻이 옮겨 가면 의미 변화이고, 개념을 나르는 단어 자체가 바뀌면 대체다. 이 구분은 임베딩 연구가 흔히 뭉뚱그리는 두 현상을 갈라 준다.

대체의 네 유형

서베이는 통시적 단어 대체를 네 유형으로 나눈다(§4). 첫째는 의미 기반 어휘 대체다. 한 개념의 자리를 다른 단어가 대신하되 의미 정보가 있어야 잡힌다. 옛 단어 "nice"가 지녔던 "어리석다"는 뜻을 이제 "foolish"가 대신하게 된 것이 그 예다("nice"는 그 뜻을 완전히 잃었다). 나머지 세 유형이 Figure 1에 그려진다.

통시적 대체 유형 중 뒤 세 가지(원논문 Figure 1). (위) 같은 개체가 시대에 따라 다른 이름으로 불리는 경우(상트페테르부르크 → 페트로그라드 → 레닌그라드 → 상트페테르부르크), (가운데) 같은 유형에 시대마다 다른 사례가 오는 경우(역대 미국 대통령), (아래) 연속성 가정 없이 역할·기능이 닮은 시간적 유사물(과거의 iPod에 해당하는 축음기·워크맨·디스크맨). 붉은 막대는 시간에 걸쳐 고정된 것을 뜻한다. 첫째 유형인 의미 기반 어휘 대체는 이 그림에 포함되지 않는다.

둘째는 같은 개체의 이름 변화다. 도시 이름처럼 한 대상이 시대에 따라 다른 이름으로 불린다. 셋째는 같은 유형의 다른 사례다. "미국 대통령"이라는 역할에 시대마다 다른 사람이 온다. 넷째는 시간적 유사물이다. 지금의 iPod에 해당하는 과거의 기기처럼, 연속성은 없지만 역할과 기능이 닮은 것을 잇는다. 이 네 유형은 의미 변화와 겹치지 않는 별도의 현상이라 서베이가 §4에서 따로 다룬다.

이 분류가 단순한 목록이 아니라 방법 조직의 뼈대라는 것이 중요하다. 어떤 변화 유형을 겨냥하느냐에 따라 필요한 표현과 방법이 달라지기 때문이다.

---

3. 두 방법 계열: 단어 수준과 의미 구별

서베이의 중심 조직 렌즈는 계산 방법을 두 계열로 나눈 것이다(§3).

단어 수준: 변화가 일어났음을 잡는다

단어 수준 방법(§3.1)은 한 단어에 시기마다 벡터 하나를 두고, 그 벡터가 시간에 따라 얼마나 움직였는지로 변화를 잰다. 서베이는 이 계열을 다섯 갈래로 정리한다.

• 공기 기반(§3.1.1): 문맥 벡터나 점별상호정보로 단어를 표현하고, 그 분포의 변화를 본다. 밀도가 커지면 의미가 넓어진 것으로, 작아지면 좁아진 것으로 읽는 식이다.
• 신경 임베딩(§3.1.2): 가장 많은 연구가 몰린 갈래다. 시기별로 word2vec류 임베딩을 학습하고 시대 간 공간을 정렬한 뒤 변위를 잰다.
• 동적 임베딩(§3.1.3): 시기별로 따로 학습해 사후 정렬하는 대신, 모든 시기를 한 번에 공동 학습해 궤적을 잇는다.
• 변화의 법칙(§3.1.4): 빈도가 높을수록 느리게 변하고 다의성이 높을수록 빨리 변한다는 식의 통계적 규칙을 다룬 연구들이다.
• 관련 기술(§3.1.5): 단어 사용 변화를 다른 각도에서 다룬 작업들이다.

이 계열의 한계는 서베이가 분명히 짚는다. 단어 수준 방법은 변화가 일어났다는 것은 잡지만 무엇이 변했는지는 못 짚는다. 변화한 단어의 최근접 이웃을 제시하는 데 그치는데, 그 이웃은 지배적 의미만 반영할 뿐 다른 의미의 변화나 안정된 부분은 담지 못한다.

의미 구별: 무엇이 변했는지를 잡는다

의미 구별 방법(§3.2)은 먼저 단어를 의미별로 쪼갠 뒤 각 의미의 등장·소멸을 추적한다. 그래서 어느 의미가 새로 생기고 어느 의미가 사라졌는지, 어느 부분이 그대로인지를 짚을 수 있다. 서베이는 이 계열을 세 갈래로 나눈다.

• 주제 기반(§3.2.1): 주제 모형의 주제를 의미로 해석해 그 강도의 변화를 추적한다.
• WSI 기반(§3.2.2): 단어 의미 유도(word sense induction)로 의미를 자동으로 나눈 뒤 각 의미의 변화를 본다.
• 정렬 코퍼스(§3.2.3): 정렬된 코퍼스를 써서 의미를 추적한 작업들이다.

두 계열의 관계가 이 서베이의 핵심 통찰이다. 단어 수준은 값싸고 널리 쓰이지만 "그 단어가 변했다(that)"까지만 말하고, 의미 구별은 무겁지만 "무엇이 변했다(what)"까지 말한다. 필드의 대다수가 단어 수준에 몰려 있어(§3.1.2), 이론적으로 가장 풍부한 변화 유형(확대·축소·새 의미)을 정작 지배적 방법이 구분하지 못한다. 단어 수준은 모든 변화를 한 클래스로 뭉뚱그린다(§6.2.1). 서베이는 §3.3에서 방법들을 두 표로 정리한다. Table 2가 데이터셋과 언어를, Table 3이 각 방법의 평가 방식·시간 범위·시점 수·탐지하는 변화 클래스를 나열한다. 성능 순위는 없다.

---

4. 평가라는 병목

이 서베이에서 가장 처방적인 부분은 평가를 다룬 §6이다. 서베이는 이 필드의 핵심 약점을 정답 데이터의 부재로 진단한다(§6.1). 의미 변화의 정답이 없고 WordNet 같은 자원도 통시 평가에 맞지 않으니, 방법의 우열을 객관적으로 가릴 수 없고 평가는 소수의 손으로 고른 단어나 합성 데이터에 기댄다.

서베이는 연구들이 흔히 암묵적으로 전제하는 세 가정을 짚는다. 적용가능성은 그 방법이 실제로 통시적 의미 변화를 드러낼 수 있는가이고, 대표성은 적용한 데이터가 그 변화를 담고 있는가다(§6.2). 반증가능성은 긍정 증거만으로 충분하다고 여기지 않고 통제 조건으로 반례를 가릴 수 있는가다(§6.4). 특히 세 번째, 긍정 증거만으로 충분하다는 흔한 전제가 지켜지지 않는다고 지적하며 통제 조건을 요구한다. 나아가 여덟 항목의 평가 절차를 권한다(§6.3). 미리 정한 시험셋과 비교할 것, 원 텍스트로 거슬러 확인할 것, 사전 같은 외부 세계에 비춰 볼 것, 증거가 너무 적을 때 무슨 일이 생기는지 따질 것, 변화 유형을 이론과 실제에서 구분할 수 있는지 물을 것, 변화 시점을 찾을 수 있는지 볼 것, 시점 수가 늘 때 어떻게 확장되는지 볼 것, 그리고 평가 판단의 근거를 늘 밝힐 것이다.

데이터셋도 정리한다(표는 §3.3의 Table 2, 산문 논의는 §6.5). 영어가 주류이고 이탈리아어·독일어·라틴어·고대 그리스어·중국어 등 비영어 자원이 얇게 존재한다. 서베이는 자동 탐지 결과를 사람이 검증·탐색하도록 돕는 온라인 시각화 시스템도 정리한다(§7, Google Books Ngram Viewer 등). 이 평가 챕터는 개별 방법 소개보다 필드 전체에 주는 지침으로서 이 서베이가 오래 남기는 값이다.

---

5. 주의해서 읽을 점

5.1 문맥화 이전의 스냅숏이다 (논문 외 비판)

이 서베이의 가장 큰 제약은 시점에서 온다. 2018~2019년 기준이라 대상 방법이 모두 문맥화 이전이다. 본문에 BERT·ELMo 같은 문맥화 임베딩 언급이 없고, 단어 수준 방법은 단어당 벡터 하나에, 의미 구별 방법은 의미별 분할에 기반할 뿐 토큰 수준 문맥 표현으로 가지 않는다. 필드가 곧이어 문맥화·토큰 수준 의미 변화 탐지로 옮겨 간 흐름을 담지 못한다. 지금 이 서베이를 읽는 독자는 arXiv 2019년 판을 기준으로 보되, 2020년 이후의 문맥화 서베이와 함께 봐야 전체 지형이 채워진다.

5.2 방법 비교가 정성에 머문다 (논문 외 비판)

방법 비교(§3.3, Table 3)는 성능 순위가 아니라 각 방법의 설정을 나열하는 정성적 대조다. 이 정성적 대조는 서베이의 한계라기보다 구조적 제약이다. 이 서베이는 SemEval-2020 같은 최초의 표준 다국어 벤치마크보다 앞서서, 공통 데이터 위에서 방법을 맞대 볼 수단이 애초에 없었다. 그래서 독자는 어느 방법이 더 나은지를 이 표에서 읽어 낼 수 없고, 각 방법이 무엇을 하는지만 알 수 있다.

5.3 진단이 서베이 자신에게도 돌아온다 (논문 외 비판)

서베이가 필드의 병목으로 짚은 정답 부재는, 바로 그 서베이 자신의 방법 우열 판정 능력도 제약한다. 정답이 없으니 서베이는 방법을 기술할 수 있어도 순위를 매길 수 없다. 필드의 핵심 약점이 서베이 자신의 비교로 그대로 전이된다. 서베이가 그 약점을 정직하게 인지하고 평가 지침으로 대응한 것은 강점이지만, 지침이 곧 벤치마크는 아니다.

---

6. 서베이의 사각지대와 확장

6.1 두 계열 이분법의 누수

단어 수준과 의미 구별이라는 조직 렌즈는 명료하지만 경계가 새는 곳이 있다. 서베이 자신이 이를 각주에서 인정한다. 어떤 방법은 의미 구별로 볼 수 있으나 편의상 단어 수준에 넣었다고 밝히고, 문서에 K-평균을 적용한 방법은 완전한 의미 구별이 아니라고 적으며, 엔트로피 기반 방법(Tang)은 두 절에 걸쳐 배치된다. 이분법은 필드를 조망하는 데 유용하지만 실제 방법들은 그 경계를 넘나든다. (논문 외 해석) 확장의 방향은 단어 수준과 의미 구별을 잇는 문맥화 표현인데, 이는 바로 이 서베이가 담지 못한 지형이다.

6.2 영어 편향과 이론·방법의 격차 (논문 외 비판)

Table 2가 비영어 데이터셋을 굳이 별도로 표시한다는 사실 자체가 영어를 기본값으로 전제한다. 비영어 자원이 존재하지만 얇아, 대부분의 방법이 영어에서만 검증된 편향이 표면에 드러나되 해소되지는 않는다. 더 근본적으로, 서베이의 이론적 분류(확대·축소·새 의미·대체)가 지배적 방법의 실제 능력을 앞선다. 이론은 여러 변화 유형을 세밀하게 가르지만, 단어 수준 임베딩은 변화의 유무만 잡고 유형은 못 가린다. 유형 추적은 의미 구별 계열로 국한된다. 서베이가 이 격차를 드러낸 것은 값지지만, 격차를 메우는 방법을 제시하지는 않는다.

---

7. 결론

Tahmasebi et al.의 이 서베이는 흩어진 통시 의미 변화 연구를 두 축으로 조직한다. 변화를 의미 변화와 어휘 대체로 나누고, 방법을 단어 수준과 의미 구별로 나눈다. "그 단어가 변했다"와 "무엇이 변했다"라는 두 물음이 그 조직을 관통한다. 계산 방법을 역사언어학의 변화 유형에 정박시키고, 평가의 세 가정을 짚으며 여덟 항목 절차를 처방한 것이 이 서베이가 오래 남기는 값이다.

동시에 그 조직은 한 시점의 지형도다. 문맥화 이전에서 멈춰, 대상 방법이 모두 문맥화 이전 표현에 기반하고 토큰 수준 문맥화·표준 벤치마크 이후의 흐름을 담지 못한다. 방법 비교는 공통 벤치마크의 부재로 정성에 머물고, 필드의 정답 부재라는 진단은 서베이 자신의 순위 판정도 막는다. 필드를 처음 조망하려는 독자에게 이 서베이는 "이 분야를 어떤 축으로 나눌 수 있는가"는 명료한 지도로, "그래서 무엇이 가장 나은가"는 그 시점에는 답할 수 없던 물음으로 남긴다.

---

References

• Bamman, D., & Crane, G. (2011). Measuring historical word sense variation. In Proceedings of the 11th Annual International ACM/IEEE Joint Conference on Digital Libraries (JCDL 2011) (pp. 1–10).
• Kutuzov, A., Øvrelid, L., Szymanski, T., & Velldal, E. (2018). Diachronic word embeddings and semantic shifts: A survey. In Proceedings of the 27th International Conference on Computational Linguistics (COLING 2018) (pp. 1384–1397).
• Mitra, S., Mitra, R., Riedl, M., Biemann, C., Mukherjee, A., & Goyal, P. (2014). That's sick dude! Automatic identification of word sense change across different timescales. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Vol. 1: Long Papers) (pp. 1020–1029).
• Tahmasebi, N., Borin, L., & Jatowt, A. (2021). Survey of computational approaches to lexical semantic change. In N. Tahmasebi, L. Borin, A. Jatowt, Y. Xu, & S. Hengchen (Eds.), Computational approaches to semantic change (pp. 1–91). Language Science Press. (PDF 보기)
• Tang, X. (2018). A state-of-the-art of semantic change computation. Natural Language Engineering, 24(5), 649–676.