DWE 논문 리뷰 시리즈

단어 의미의 시간적 변화를 임베딩으로 추적하는 동적 단어 임베딩(Dynamic Word Embeddings)의 핵심 논문 12편을 변화점 통계 검정부터 의미 변화의 통계 법칙, 베이지안 상태공간 모델, 공동 행렬 분해, 확률적 생성 모델, 컴퍼스 정렬, 문맥화 이전 연구의 조망, 문맥화 표현의 기하 분석, 용법 유형 군집, 문맥화 임베딩과의 결합, 문맥화 탐지 연구의 조망, 그리고 문맥화 표현의 체계 비교까지 시간순으로 깊이 있게 읽는 한국어 딥리뷰 시리즈. 시간 구간별로 따로 학습한 임베딩을 사후에 맞추던 정렬 문제가 학습 안으로, 다시 모델 설계 안으로 흡수되는 흐름을 계보로 따라간다.

  1. Statistically Significant Detection of Linguistic Change — Kulkarni et al.(WWW 2015)이 단어별 시계열(빈도·품사 분포·임베딩 변위)에 평균 이동 통계량과 순열 부트스트랩을 붙여, 의미 변화의 시점과 통계적 유의성(p-value)을 함께 검출하는 변화점 탐지 방법을 해설한다.
  2. Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change (HistWords) — Hamilton et al.(ACL 2016)의 HistWords가 통시적 임베딩 정렬로 의미 변화의 두 통계 법칙(순응·혁신)을 끌어내는 과정을 해설한다.
  3. Dynamic Word Embeddings (DSG) — Bamler & Mandt(ICML 2017)가 베이지안 skip-gram 임베딩을 잠재 시계열로 두고 Ornstein-Uhlenbeck 확산 prior로 이어, 사후 정렬 없이 시대별 임베딩을 공동 학습하는 동적 skip-gram(DSG)과 필터링·스무딩 추론을 해설한다.
  4. Dynamic Word Embeddings for Evolving Semantic Discovery (DW2V) — DW2V가 시점별 PPMI 행렬 분해와 인접 시점 평활 벌점을 결합해, 시대별 임베딩의 정렬 문제를 별도 후처리 없이 공동 최적화로 푸는 방식을 해설한다.
  5. Dynamic Embeddings for Language Evolution (DBE) — DBE가 Bernoulli 임베딩에 시간별 잠재 벡터와 Gaussian random walk 사전분포를 결합해 언어 의미 변화의 궤적을 학습하는 방식을 해설한다.
  6. Training Temporal Word Embeddings with a Compass (TWEC) — TWEC(Di Carlo et al., AAAI 2019)가 전체 코퍼스로 학습한 무시대 target 행렬을 나침반으로 고정하고 시대별 문맥 행렬만 재학습해, 사후 정렬 없이 한 좌표계의 시간 임베딩을 얻는 방법을 해설한다.
  7. Survey of Computational Approaches to Lexical Semantic Change — Tahmasebi et al.(Language Science Press 2021)이 통시적 의미 변화 연구를 의미 변화 대 어휘 대체, 단어 수준 대 의미 구별의 두 축으로 조직하고, 정답 데이터 부재라는 병목에 세 가정과 여덟 항목 평가 절차를 처방한 문맥화 이전 시기의 대표 서베이를 해설한다.
  8. How Contextual are Contextualized Word Representations? — Ethayarajh(EMNLP 2019)가 BERT·ELMo·GPT-2 임베딩의 기하를 세 가지 측도와 이방성 보정으로 정량화해, 문맥화 표현이 정적 벡터 몇 개로 환원되지 않음을 보인 논문을 해설한다.
  9. Analysing Lexical Semantic Change with Contextualised Word Representations — Giulianelli et al.(ACL 2020)이 BERT 용법 벡터를 K-평균으로 군집한 용법 유형(usage type) 분포로 단어의 의미 변화를 추적하는 첫 비지도 문맥화 접근과 세 지표(ED·JSD·APD), 그리고 협의화·광의화·은유화를 짚는 해석 도구로서의 값어치를 해설한다.
  10. Dynamic Contextualized Word Embeddings (DCWE) — Hofmann et al.(ACL 2021)의 DCWE가 BERT 문맥화 임베딩에 시간·사회 오프셋을 결합해 동적 문맥화 표현을 만드는 설계를 해설한다.
  11. A Survey on Contextualised Semantic Shift Detection — Montanelli & Periti(ACM Computing Surveys 2024)가 BERT 등 문맥화 임베딩 기반 의미 변화 탐지(CSSDetection)를 임베딩·집계·평가 워크플로와 형태·시간·학습 3차원으로 조직하고, 형태 기반의 성능 우위와 의미 기반의 해석성이 갈리는 역설을 정리한 서베이를 해설한다.
  12. A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change — NAACL 2024의 통제 비교를 바탕으로 APD·XL-LEXEME의 보고 성능과 WiC·WSI·GCD를 분리해 평가해야 하는 이유를 해설합니다.