DWE 논문 리뷰 시리즈

단어 의미의 시간적 변화를 임베딩으로 추적하는 동적 단어 임베딩(Dynamic Word Embeddings)의 핵심 논문 5편을 의미 변화의 통계 법칙부터 공동 행렬 분해, 확률적 생성 모델, 컴퍼스 정렬, 그리고 문맥화 임베딩과의 결합까지 시간순으로 깊이 있게 읽는 한국어 딥리뷰 시리즈. 시간 구간별로 따로 학습한 임베딩을 사후에 맞추던 정렬 문제가 학습 안으로, 다시 모델 설계 안으로 흡수되는 흐름을 계보로 따라간다.

1. Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change (HistWords) — Hamilton et al.(ACL 2016)의 HistWords가 통시적 임베딩 정렬로 의미 변화의 두 통계 법칙(순응·혁신)을 끌어내는 과정을 해설한다.
2. Dynamic Word Embeddings for Evolving Semantic Discovery (DW2V) — DW2V가 시점별 PPMI 행렬 분해와 인접 시점 평활 벌점을 결합해, 시대별 임베딩의 정렬 문제를 별도 후처리 없이 공동 최적화로 푸는 방식을 해설한다.
3. Dynamic Embeddings for Language Evolution (DBE) — DBE가 Bernoulli 임베딩에 시간별 잠재 벡터와 Gaussian random walk 사전분포를 결합해 언어 의미 변화의 궤적을 학습하는 방식을 해설한다.
4. Training Temporal Word Embeddings with a Compass (TWEC) — TWEC(Di Carlo et al., AAAI 2019)가 전체 코퍼스로 학습한 무시대 target 행렬을 나침반으로 고정하고 시대별 문맥 행렬만 재학습해, 사후 정렬 없이 한 좌표계의 시간 임베딩을 얻는 방법을 해설한다.
5. Dynamic Contextualized Word Embeddings (DCWE) — Hofmann et al.(ACL 2021)의 DCWE가 BERT 문맥화 임베딩에 시간·사회 오프셋을 결합해 동적 문맥화 표현을 만드는 설계를 해설한다.