Survey of Computational Approaches to Lexical Semantic Change Detection

Tahmasebi 등은 통시적 의미 변화를 의미 변화와 어휘 대체로, 계산 방법을 단어 수준과 의미 구별 방식으로 나눈다. 이 서베이는 성능 순위보다 정답 데이터와 평가 설계를 먼저 살펴야 한다고 진단한다.

Jiphyeonjeon Team2026-09-2312 min read상세 읽기쉬운 읽기
LexicalSemanticChangeSemanticChangeDetectionSurveyDiachronicEmbeddingsPaperReview

Paper: Nina Tahmasebi; Lars Borin; Adam Jatowt (2021). "Survey of Computational Approaches to Lexical Semantic Change Detection". https://langsci-press.org/catalog/view/303/3027/2374-1 · https://doi.org/10.5281/zenodo.5040302 · arXiv:1811.06278

Executive Summary

항목 설명
연구 질문 단어 의미의 시간적 변화를 계산적으로 다루는 흩어진 연구를 어떤 축으로 조직할 수 있는가? "어떤 단어가 변했는가"(변화의 유무)와 "그 단어의 무엇이 변했는가"(변화의 종류)라는 두 물음에 방법들이 어떻게 답하는가?
핵심 기여 변화 현상을 통시적 개념 변화(의미 변화: 새 의미의 획득·상실, 확대·축소)와 어휘 변화(대체: 의미 기반 대체, 같은 개체의 이름 변화, 같은 유형의 다른 사례, 시간적 유사물의 4유형)로 가르고, 계산 방법을 단어 수준(시기당 벡터 하나, 변화의 유무만)과 의미 구별(의미별 분할 후 등장·소멸 추적, 변화의 내용까지) 두 계열로 조직했다. 계산 방법을 역사언어학의 변화 유형에 정박시킨다.
방법 지형 단어 수준은 공기 기반·신경 임베딩(연구가 가장 몰린 갈래)·동적 임베딩·변화의 법칙·관련 기술의 다섯 갈래, 의미 구별은 주제 기반·WSI 기반·정렬 코퍼스의 세 갈래. 필드 대다수가 단어 수준에 몰려, 이론이 가르는 변화 유형(확대·축소·새 의미)을 지배적 방법이 정작 구분하지 못하는 격차가 드러난다.
평가 처방 필드의 병목을 정답 데이터 부재로 진단하고, 연구들이 암묵적으로 전제하는 세 가정(적용가능성·대표성·반증가능성)을 짚으며, 열 항목의 평가 절차(빈도 대응 시험셋, 원 텍스트·외부 자원 대조, 희소 증거, 사전학습 모델의 신호, 변화 유형·시점, 시점 수 확장성, 판단 근거, 반증·통제 조건)를 권한다.
핵심 한계 방법 간 비교는 공통 조건의 순위표보다 연구 문제·표현 방식·평가 가정의 정성적 대조에 초점을 둔다. 데이터와 언어에 따른 평가 차이도 남는다.

TL;DR — (1) Tahmasebi et al.(Language Science Press 2021)는 통시적 의미 변화 연구를 의미 변화 대 어휘 대체, 단어 수준 대 의미 구별의 두 축으로 조직한 서베이로, "그 단어가 변했다(that)"와 "무엇이 변했다(what)"라는 두 물음이 조직을 관통한다. (2) 필드의 병목을 정답 데이터 부재로 진단하고, 세 가정(적용가능성·대표성·반증가능성)과 열 항목의 평가 절차를 처방한 것이 이 서베이가 오래 남기는 값이다. (3) 방법 비교는 단일 성능 순위가 아니라 연구 문제·표현 방식·평가 가정의 정성적 대조에 초점을 둔다.

목차

  1. 서론
  2. 개념 틀: 변화를 어떻게 나누나
  3. 두 방법 계열: 단어 수준과 의미 구별
  4. 평가라는 병목
  5. 결과의 해석 범위
  6. 서베이의 사각지대와 확장
  7. 결론

1. 서론

1.1 서베이의 배경

단어의 의미는 계속 변한다. 새 의미를 얻고 옛 의미를 잃으며, 새 단어가 생기거나 빌려 오고 오래된 단어는 사라진다. 이런 변화를 대규모 텍스트에서 자동으로 잡으려는 연구가 지난 몇 년 사이 빠르게 늘었다. 이 서베이는 그 흩어진 연구를 하나의 틀로 정리하려 한다.

1.2 두 개의 질문

서베이가 다루는 것은 두 개의 물음이다. 하나는 어떤 단어가 시간에 따라 변했는가이고, 다른 하나는 그 단어의 무엇이 변했는가다. 첫 번째는 변화의 유무를, 두 번째는 변화의 종류를 묻는다. 이 서베이의 조직은 이 두 물음에 방법들이 어떻게 답하는지를 따라간다.

1.3 학술적 위치

서베이는 자신을 계산 방법과 주류 역사언어학·어휘유형론을 잇는 자리에 놓는다. 통시 임베딩만 좁게 다룬 선행 서베이(Kutuzov 등)나 비슷한 범위를 다룬 서베이(Tang)와 달리, 언어 변화의 언어학적 분류(§5)에 방법을 정박시킨다. §5는 lexeme와 개념의 단위 구분, 형태가 아니라 의미에서 출발하는 onomasiological 관점, 그리고 계산 연구가 아직 범언어적 일반화에 이르지 못했다는 진단을 담는다. 변화의 계산적 탐지 결과가 문서의 시대 간 비교나 검색·NLP 파이프라인의 부품으로 쓰인다는 응용 맥락도 짚는다. 다만 언어의 역사적 과정을 시뮬레이션하는 계산 연구는 명시적으로 범위 밖에 둔다.

2. 개념 틀: 변화를 어떻게 나누나

두 갈래의 변화

서베이는 통시적 어휘의미변화를 두 갈래로 가른다(§2.1, Table 1). 하나는 통시적 개념 변화, 곧 의미 변화다. 한 단어가 새 의미를 얻거나 옛 의미를 잃고, 의미의 폭이 넓어지거나(broadening) 좁아진다(narrowing). 다른 하나는 어휘 변화, 곧 대체다. 같은 개념을 시대에 따라 다른 단어가 나르게 되는 경우다. 한 단어 안에서 뜻이 옮겨 가면 의미 변화이고, 개념을 나르는 단어 자체가 바뀌면 대체다. 이 구분은 임베딩 연구가 흔히 뭉뚱그리는 두 현상을 갈라 준다.

대체의 네 유형

서베이는 통시적 단어 대체를 네 유형으로 나눈다(§4). 첫째는 의미 기반 어휘 대체다. 한 개념의 자리를 다른 단어가 대신하되 의미 정보가 있어야 잡힌다. 옛 단어 "nice"가 지녔던 "어리석다"는 뜻을 이제 "foolish"가 대신하게 된 것이 그 예다("nice"는 그 뜻을 완전히 잃었다). 나머지 세 유형이 Figure 1에 그려진다.

통시적 대체의 세 유형

통시적 대체 유형 중 뒤 세 가지(원논문 Figure 1). (위) 같은 개체가 시대에 따라 다른 이름으로 불리는 경우(상트페테르부르크 → 페트로그라드 → 레닌그라드 → 상트페테르부르크), (가운데) 같은 유형에 시대마다 다른 사례가 오는 경우(역대 미국 대통령), (아래) 연속성 가정 없이 역할·기능이 닮은 시간적 유사물(과거의 iPod에 해당하는 축음기·워크맨·디스크맨). 붉은 막대는 시간에 걸쳐 고정된 것을 뜻한다. 첫째 유형인 의미 기반 어휘 대체는 이 그림에 포함되지 않는다.

둘째는 같은 개체의 이름 변화다. 도시 이름처럼 한 대상이 시대에 따라 다른 이름으로 불린다. 셋째는 같은 유형의 다른 사례다. "미국 대통령"이라는 역할에 시대마다 다른 사람이 온다. 넷째는 시간적 유사물이다. 지금의 iPod에 해당하는 과거의 기기처럼, 연속성은 없지만 역할과 기능이 닮은 것을 잇는다. 이 네 유형은 의미 변화와 겹치지 않는 별도의 현상이라 서베이가 §4에서 따로 다룬다.

이 분류가 단순한 목록이 아니라 방법 조직의 뼈대라는 것이 중요하다. 어떤 변화 유형을 겨냥하느냐에 따라 필요한 표현과 방법이 달라지기 때문이다.

3. 두 방법 계열: 단어 수준과 의미 구별

서베이의 중심 조직 렌즈는 계산 방법을 두 계열로 나눈 것이다(§3).

단어 수준: 변화가 일어났음을 잡는다

단어 수준 방법(§3.1)은 한 단어에 시기마다 벡터 하나를 두고, 그 벡터가 시간에 따라 얼마나 움직였는지로 변화를 잰다. 서베이는 이 계열을 다섯 갈래로 정리한다.

  • 공기 기반(§3.1.1): 문맥 벡터나 점별상호정보로 단어를 표현하고, 그 분포의 변화를 본다. 밀도가 커지면 의미가 넓어진 것으로, 작아지면 좁아진 것으로 읽는 식이다.
  • 신경 임베딩(§3.1.2): 가장 많은 연구가 몰린 갈래다. 시기별로 word2vec류 임베딩을 학습하고 시대 간 공간을 정렬한 뒤 변위를 잰다.
  • 동적 임베딩(§3.1.3): 시기별로 따로 학습해 사후 정렬하는 대신, 모든 시기를 한 번에 공동 학습해 궤적을 잇는다.
  • 변화의 법칙(§3.1.4): 빈도가 높을수록 느리게 변하고 다의성이 높을수록 빨리 변한다는 식의 통계적 규칙을 다룬 연구들이다.
  • 관련 기술(§3.1.5): 단어 사용 변화를 다른 각도에서 다룬 작업들이다.

이 계열의 한계는 서베이가 분명히 짚는다. 단어 수준 방법은 변화가 일어났다는 것은 잡지만 무엇이 변했는지는 못 짚는다. 변화한 단어의 최근접 이웃을 제시하는 데 그치는데, 그 이웃은 지배적 의미만 반영할 뿐 다른 의미의 변화나 안정된 부분은 담지 못한다.

의미 구별: 무엇이 변했는지를 잡는다

의미 구별 방법(§3.2)은 먼저 단어를 의미별로 쪼갠 뒤 각 의미의 등장·소멸을 추적한다. 그래서 어느 의미가 새로 생기고 어느 의미가 사라졌는지, 어느 부분이 그대로인지를 짚을 수 있다. 서베이는 이 계열을 세 갈래로 나눈다.

  • 주제 기반(§3.2.1): 주제 모형의 주제를 의미로 해석해 그 강도의 변화를 추적한다.
  • WSI 기반(§3.2.2): 단어 의미 유도(word sense induction)로 의미를 자동으로 나눈 뒤 각 의미의 변화를 본다.
  • 정렬 코퍼스(§3.2.3): 정렬된 코퍼스를 써서 의미를 추적한 작업들이다.

두 계열의 관계가 이 서베이의 핵심 통찰이다. 단어 수준은 값싸고 널리 쓰이지만 "그 단어가 변했다(that)"까지만 말하고, 의미 구별은 무겁지만 "무엇이 변했다(what)"까지 말한다. 필드의 대다수가 단어 수준에 몰려 있어(§3.1.2), 이론적으로 가장 풍부한 변화 유형(확대·축소·새 의미)을 정작 지배적 방법이 구분하지 못한다. 단어 수준은 모든 변화를 한 클래스로 뭉뚱그린다(§6.2.1). 서베이는 §3.3에서 방법들을 두 표로 정리한다. Table 2가 데이터셋과 언어를, Table 3이 각 방법의 평가 방식·시간 범위·시점 수·탐지하는 변화 클래스를 나열한다. 성능 순위는 없다.

4. 평가라는 병목

이 서베이에서 가장 처방적인 부분은 평가를 다룬 §6이다. 서베이는 이 필드의 핵심 약점을 정답 데이터의 부재로 진단한다(§6.1). 의미 변화의 정답이 없고 WordNet 같은 자원도 통시 평가에 맞지 않으니, 방법의 우열을 객관적으로 가릴 수 없고 평가는 소수의 손으로 고른 단어나 합성 데이터에 기댄다.

서베이는 평가의 적용가능성·대표성·반증가능성을 논의하고, 열 가지 평가 권고를 제시한다(출판본 §6.3). (1) 빈도가 대응되는 양성·음성 시험셋으로 비교하고, (2) 원 텍스트에서 변화의 근거를 확인하며, (3) 외부 세계의 자료와 대조한다. (4) 희소한 증거에서의 작동을 살피고, (5) 사전학습 모델에서 들어온 신호의 출처와 오염 가능성을 점검한다. 이어 (6) 변화 유형을 구별할 수 있는지, (7) 변화 시점을 탐지하는지, (8) 시점 수가 늘어도 확장되는지를 평가한다. 마지막으로 (9) 각 평가 판단의 근거를 밝히고, (10) 반증 가능한 통제 조건을 포함하도록 권한다.

데이터셋도 정리한다(표는 §3.3의 Table 2, 산문 논의는 §6.5). 영어가 주류이고 이탈리아어·독일어·라틴어·고대 그리스어·중국어 등 비영어 자원이 얇게 존재한다. 서베이는 자동 탐지 결과를 사람이 검증·탐색하도록 돕는 온라인 시각화 시스템도 정리한다(§7, Google Books Ngram Viewer 등). 이 평가 챕터는 개별 방법 소개보다 필드 전체에 주는 지침으로서 이 서베이가 오래 남기는 값이다.

5. 결과의 해석 범위

5.1 문맥화 방법을 포함하는 출판본의 범위

2021년 출판본 §4.3은 deep contextualized embeddings를 별도로 다루며 BERT·ELMo, Hu et al. (2019), Giulianelli et al. (2020), Martinc et al. (2020), SemEval-2020 Task 1을 논의한다. 따라서 출판본을 문맥화 이전 방법만 다룬 서베이로 설명하는 것은 부정확하다. 초기 arXiv 판과 출판본의 범위는 구별해야 한다.

5.2 방법 비교가 정성에 머문다

방법 비교는 동일한 조건에서 재실험한 성능 순위표가 아니라, 각 연구가 사용하는 표현·데이터·평가 가정을 정리한 대조다. 출판본은 SemEval-2020도 다루지만, 서로 다른 연구의 수치를 공통 순위로 통합하는 것이 이 서베이의 목적은 아니다.

5.3 진단이 서베이 자신에게도 돌아온다

서베이가 필드의 병목으로 짚은 정답 부재는, 바로 그 서베이 자신의 방법 우열 판정 능력도 제약한다. 정답이 없으니 서베이는 방법을 기술할 수 있어도 순위를 매길 수 없다. 필드의 핵심 약점이 서베이 자신의 비교로 그대로 전이된다. 서베이가 그 약점을 정직하게 인지하고 평가 지침으로 대응한 것은 강점이지만, 지침이 곧 벤치마크는 아니다.

6. 서베이의 사각지대와 확장

6.1 두 계열 이분법의 누수

단어 수준과 의미 구별이라는 조직 렌즈는 명료하지만 경계가 새는 곳이 있다. 서베이 자신이 이를 각주에서 인정한다. 어떤 방법은 의미 구별로 볼 수 있으나 편의상 단어 수준에 넣었다고 밝히고, 문서에 K-평균을 적용한 방법은 완전한 의미 구별이 아니라고 적으며, 엔트로피 기반 방법(Tang)은 두 절에 걸쳐 배치된다. 이분법은 필드를 조망하는 데 유용하지만 실제 방법들은 그 경계를 넘나든다. 출판본 §4.3의 문맥화 표현은 단어 수준과 의미 구별 접근을 연결하는 또 다른 축을 제공한다.

6.2 영어 편향과 이론·방법의 격차

Table 2가 비영어 데이터셋을 굳이 별도로 표시한다는 사실 자체가 영어를 기본값으로 전제한다. 비영어 자원이 존재하지만 얇아, 대부분의 방법이 영어에서만 검증된 편향이 표면에 드러나되 해소되지는 않는다. 더 근본적으로, 서베이의 이론적 분류(확대·축소·새 의미·대체)가 지배적 방법의 실제 능력을 앞선다. 이론은 여러 변화 유형을 세밀하게 가르지만, 단어 수준 임베딩은 변화의 유무만 잡고 유형은 못 가린다. 유형 추적은 의미 구별 계열로 국한된다. 서베이가 이 격차를 드러낸 것은 값지지만, 격차를 메우는 방법을 제시하지는 않는다.

7. 결론

Tahmasebi et al.의 이 서베이는 흩어진 통시 의미 변화 연구를 두 축으로 조직한다. 변화를 의미 변화와 어휘 대체로 나누고, 방법을 단어 수준과 의미 구별로 나눈다. "그 단어가 변했다"와 "무엇이 변했다"라는 두 물음이 그 조직을 관통한다. 계산 방법을 역사언어학의 변화 유형에 정박시키고, 평가의 세 가정을 짚으며 열 항목 절차를 처방한 것이 이 서베이가 오래 남기는 값이다.

출판본은 단어 수준·의미 구별·문맥화 접근을 연결하고, 평가의 적용가능성·대표성·반증가능성을 구분한다. 그 기여는 하나의 모델을 최고로 선정하는 데 있기보다, 서로 다른 방법이 어떤 변화 현상과 평가 질문을 다루는지 명료하게 조직한 데 있다.

References

  • Bamman, D., & Crane, G. (2011). Measuring historical word sense variation. In Proceedings of the 11th Annual International ACM/IEEE Joint Conference on Digital Libraries (JCDL 2011) (pp. 1–10).
  • Kutuzov, A., Øvrelid, L., Szymanski, T., & Velldal, E. (2018). Diachronic word embeddings and semantic shifts: A survey. In Proceedings of the 27th International Conference on Computational Linguistics (COLING 2018) (pp. 1384–1397).
  • Mitra, S., Mitra, R., Riedl, M., Biemann, C., Mukherjee, A., & Goyal, P. (2014). That's sick dude! Automatic identification of word sense change across different timescales. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Vol. 1: Long Papers) (pp. 1020–1029).
  • Tahmasebi, N., Borin, L., & Jatowt, A. (2021). Survey of computational approaches to lexical semantic change detection. In N. Tahmasebi, L. Borin, A. Jatowt, Y. Xu, & S. Hengchen (Eds.), Computational approaches to semantic change (pp. 1–91). Language Science Press. (PDF 보기)
  • Tang, X. (2018). A state-of-the-art of semantic change computation. Natural Language Engineering, 24(5), 649–676.