Dynamic Word Embeddings

Paper: Robert Bamler; Stephan Mandt (2017). "Dynamic Word Embeddings." ICML 2017, pp. 380–389. PDF · PMLR · arXiv:1702.08359

1. 정렬 뒤 비교의 문제

시기별 word2vec을 따로 학습하면 각 공간의 회전이 달라져 나중에 정렬해야 한다. 데이터가 적은 시점은 특히 흔들린다. Bamler와 Mandt는 사후 정렬 대신, 모든 시점의 임베딩을 하나의 잠재 시계열로 공동 학습한다. 인접 시점은 비슷해야 하지만 완전히 같을 필요는 없다는 확산 prior가 핵심이다.

그림 1. Bamler & Mandt (2017), PMLR PDF p. 2의 Figure 1을 인용했다. Google Books 1850–2008에서 cosine 거리가 많이 변한 10개 단어의 최근접 이웃 거리다. 빨강은 시작 시점 이웃, 파랑은 끝 시점 이웃과의 거리다. 모델이 골라낸 변화 후보의 정성 예시이지, 독립 의미 정답 평가가 아니다.

2. 확률 모델은 시간을 공유한다

기본 재료는 Bayesian skip-gram이다. 단어–문맥쌍의 관측을 설명하는 임베딩을 점 하나가 아니라 확률변수로 둔다. Dynamic Skip-Gram(DSG)은 각 시점의 임베딩을 Ornstein–Uhlenbeck 확산으로 연결한다. 가까운 시점일수록 더 강하게 정보를 나누고, 유한한 원점 prior는 순수 Brownian motion처럼 벡터가 끝없이 멀어지는 것을 막는다.

추론에는 두 방식이 있다. DSG-F filtering은 직전 시점의 사후분포와 현재 시점의 관측을 합쳐 현재 표현을 갱신하므로 온라인 업데이트에 맞고, DSG-S smoothing은 과거와 미래를 모두 써 전체 궤적을 추정한다. smoothing의 시간 정밀도 행렬은 삼중대각 구조라, 인접 시점 상관을 표현하면서 해당 추론 계산을 시퀀스 길이에 선형으로 수행할 수 있다. 전체 학습 비용이 시간 길이에만 비례한다는 뜻은 아니며, 어휘 크기도 계산량에 영향을 준다.

3. 무엇을 실제로 측정했나

Google Books(1800–2008), State of the Union, Twitter 뉴스의 세 규모에서 평가한다. held-out 문서의 단어–문맥 통계를 얼마나 잘 예측하는지 예측 log-likelihood로 비교했고 평가 대상 시점의 test data를 직접 쓰지는 않는다. DSG-F는 직전 시점의 상태로 예측하고, DSG-S는 앞뒤 시점의 상태를 보간하므로 사용할 수 있는 시간 정보가 다르다. 이 평가는 ‘시간 연결이 보류한 시점의 관측을 얼마나 잘 설명하는가’를 본다.

그림 2. Bamler & Mandt (2017), PMLR PDF p. 8의 Figure 6을 인용했다. DSG-F·DSG-S와 정적 SGI·SGP의 시점별 예측 log-likelihood다. 값이 높을수록 좋다. 큰 Google Books에서는 차이가 작고, 작은 State of the Union·Twitter에서 DSG 방식의 이득이 더 뚜렷하다.

논문은 전체적으로 DSG 방식의 이점을 보고하지만, 모든 연도에서 DSG-S가 DSG-F보다 높은 것은 아니다. Google Books와 Twitter 곡선에는 두 방법의 순서가 바뀌는 구간도 있다. 데이터가 적은 시점에서 인접 시점이 통계적 강도를 빌려 주기 때문이라는 설명이 설득력 있다. 다만 그림에 수치 표가 없어서 개선폭은 시각 판독 수준이며, 평가 지표는 변화 의미의 정답과 직접 비교하지 않는다.

4. 매끄러움은 강점이자 가정이다

DSG의 매끄러운 궤적은 잡음을 줄인다. 동시에 모든 단어가 전역 확산 상수의 가우시안 prior를 공유하므로, 실제 급변도 완만하게 퍼뜨릴 수 있다. smoothing은 미래 정보를 과거 추정으로 흘리기에 변화가 실제보다 일찍 보일 수도 있다. 저자도 presidential의 변화가 이르게 나타나는 사례를 언급한다.

따라서 높은 held-out likelihood는 공기 통계를 더 잘 평활했다는 증거이지, 역사적 의미 변화를 정확히 날짜까지 맞혔다는 증거는 아니다. Figure 1도 모델의 cosine 변화로 고른 단어들을 보인 정성 사례다. 코퍼스 구성 변화나 OCR, 분야 비중 변화가 언어 변화처럼 보일 가능성도 별도 검증해야 한다.

5. 적용 조건

온라인 감시에는 filtering, 사후 역사 분석에는 smoothing이 맞는다. 어느 쪽이든 단어별 확산 속도, 급격한 변화 허용, 독립 의미 변화 정답을 추가로 검증하는 것이 다음 단계다. 이 논문은 ‘임베딩을 시간에 걸쳐 어떻게 함께 학습할까’에 관한 설계를 제시한다. ‘그 궤적이 의미 변화의 사실인가’라는 질문은 열어 둔다.

심층 보기

References

Bamler, R., & Mandt, S. (2017). Dynamic word embeddings. Proceedings of the 34th International Conference on Machine Learning, 380–389. PMLR. https://proceedings.mlr.press/v70/bamler17a.html