DWE 논문 리뷰 시리즈
단어 의미의 시간적 변화를 추적하는 동적 단어 임베딩의 핵심 논문 12편을 읽습니다.
여기서 시작하세요 · 4분
Statistically Significant Detection of Linguistic Change
Kulkarni 등은 빈도·품사·분포 표현의 시계열에 순열 기반 변화점 검정을 붙였다.
첫 글 읽기
추천 읽기 순서
변화의 통계적 탐지에서 출발해 시간 구간 사이의 임베딩 정렬과 동적 모델을 살펴보고, 문맥화 표현과 용법 분석, 체계 비교로 이어집니다. 각 단계에서 무엇을 의미 변화로 측정하고 서로 다른 시점의 표현을 어떻게 비교하는지에 초점을 맞춥니다.
Statistically Significant Detection of Linguistic Change
Kulkarni 등은 빈도·품사·분포 표현의 시계열에 순열 기반 변화점 검정을 붙였다.
4분Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change
Hamilton 등이 시대별 단어 임베딩으로 검토한 의미 변화의 두 통계적 경향, 즉 빈도와 다의성의 관계를 방법·근거·해석 범위와 함께 쉽게 설명한다.
5분
Dynamic Word Embeddings
Bamler와 Mandt의 Dynamic Word Embeddings는 시기별 skip-gram을 확산 prior로 연결해 filtering과 smoothing을 수행한다.
4분
Dynamic Word Embeddings for Evolving Semantic Discovery
DW2V는 연도별 단어 벡터를 따로 학습한 뒤 맞추는 대신, 모든 시점의 PPMI 행렬을 함께 분해하고 인접 시점을 부드럽게 연결한다.
5분
Dynamic Embeddings for Language Evolution
Dynamic Bernoulli Embeddings는 단어 벡터를 시간별로 움직이게 하고 Gaussian random walk로 인접 시점을 연결한다.
5분
Training Temporal Word Embeddings with a Compass
TWEC는 전체 코퍼스에서 얻은 고정 단어 벡터를 ‘나침반’으로 삼아, 시간 슬라이스별 문맥 벡터를 같은 좌표계에서 학습한다.
5분
Survey of Computational Approaches to Lexical Semantic Change Detection
Tahmasebi 등은 통시적 의미 변화를 의미 변화와 어휘 대체로, 계산 방법을 단어 수준과 의미 구별 방식으로 나눈다.
5분
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
Ethayarajh는 BERT·ELMo·GPT-2 표현의 기하를 비교해, 상위층일수록 같은 단어의 표현이 문맥에 더 따라 갈라진다고 보였다.
5분
Analysing Lexical Semantic Change with Contextualised Word Representations
Giulianelli 등은 BERT의 문맥별 표현을 용법 유형으로 묶고, 그 분포 변화를 세 지표로 측정한다.
4분
Dynamic Contextualized Word Embeddings
DCWE는 BERT의 문장 문맥 앞에 시간과 사회 집단별 단어 오프셋을 둔다.
6분
Lexical Semantic Change through Large Language Models: a Survey
Periti와 Montanelli의 survey는 문맥화 의미 변화 탐지를 임베딩·집계·평가 단계와 형태·의미·앙상블 접근으로 정리한다.
4분
A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change
Periti와 Tahmasebi는 8개 언어 LSC 벤치마크에서 contextualized embedding과 변화 지표를 같은 조건으로 비교했다.
6분