Training Temporal Word Embeddings with a Compass

Paper: Valerio Di Carlo; Federico Bianchi; Matteo Palmonari (2019). "Training Temporal Word Embeddings with a Compass." Proceedings of the AAAI Conference on Artificial Intelligence, 33(1), 6326–6334. https://doi.org/10.1609/aaai.v33i01.33016326 · PDF

시간별 단어 임베딩은 같은 단어가 시대마다 어떤 문맥에 놓였는지 비교하게 해 준다. 하지만 각 시대의 word2vec을 따로 학습하면 좌표축도 따로 생긴다. 두 벡터 사이의 거리가 의미 변화인지, 단순한 회전 차이인지 알기 어렵다. TWEC는 이 정렬 문제를 학습 뒤의 보정 작업으로 남기지 않고 학습 안에 넣는다.

심층 리뷰 보기

1. 무엇이 문제인가

통시 코퍼스는 보통 연도나 10년 단위의 슬라이스로 나뉜다. 각 슬라이스에서 독립적으로 학습한 임베딩은 내적을 보존하는 임의 회전을 가질 수 있다. 따라서 1990년의 단어 벡터와 2010년의 단어 벡터를 바로 비교할 수 없다. 기존 접근은 독립 학습 후 선형 또는 직교 변환으로 공간을 맞추거나, 모든 시대를 함께 학습해 변화량을 묶었다.

TWEC의 질문은 간단하다. 모든 시대가 처음부터 하나의 기준 좌표계를 공유하도록 만들 수 있을까? 저자들은 데이터가 작은 시간 슬라이스에서 사후 정렬이 특히 불안정할 수 있다는 문제를 출발점으로 삼는다(원논문 §1–2).

2. 고정 나침반과 움직이는 문맥

TWEC는 두 단계로 CBOW를 학습한다. 먼저 시간 표지를 무시하고 모든 시간대의 코퍼스를 합쳐 target 벡터 행렬 U를 얻는다. 다음으로 각 시간대의 문장을 다시 학습할 때 U는 동결하고, 그 시기의 문맥 벡터 행렬만 갱신한다. 시간별 표현은 이 문맥 행렬에서 읽는다. 1987년과 1997년이 같은 고정 기준을 바라보므로 두 시기의 표현을 사후 회전 없이 비교할 수 있다.

전체 코퍼스 → 고정 target U (나침반)
각 시간 슬라이스 Dt + 고정 U → 학습되는 context Ct

목적함수는 표준 CBOW와 같은 예측 형태를 쓰지만, 시간 단계에서 최적화하는 대상은 문맥 쪽뿐이다(§3, Eq. 1). 소프트맥스는 negative sampling으로 근사한다. U를 공유하면 각 시기 벡터가 동일한 참조 좌표를 따른다. 이 설계가 모든 학습 실행에서 유일한 최적 좌표를 수학적으로 보장한다는 주장은 아니다.

운영상 중요한 조건도 있다. U는 전체 시기 자료로 먼저 학습하므로 나중 시기의 정보도 기준에 들어간다. 이 논문의 시간별 분석은 전체 기간을 이미 확보한 뒤 하는 오프라인 분석이다. 새로운 해의 문서가 오기 전에 과거 데이터만으로 그 해를 예측했다는 평가로 해석하면 안 된다.

그림 1. Di Carlo et al. (2019), AAAI-19 최종본 Figure 1, PDF 3쪽·인쇄 6328쪽. 전체 자료에서 얻어 동결한 target 기준과 각 시간대에서 학습하는 문맥 표현의 관계를 보인다.

3. 어떤 자료와 과제로 보았나

저자들은 작은 뉴스 코퍼스 NAC-S, 더 큰 New York Times 기반 NAC-L, 머신러닝 논문 코퍼스 MLPC를 사용했다(Table 1). 첫 두 자료의 시간 유추 과제는 한 해의 단어를 주고 다른 해에 대응하는 단어를 가까운 벡터 순서로 찾는다. 논문 예시는 1997년의 “clinton”에서 1987년의 “reagan”을 찾는 식이다. 정해 둔 답의 순위 역수를 여러 문제에 걸쳐 평균낸 것이 MRR이고, 정답이 상위 K개 안에 든 문제의 비율이 MP@K다. 두 값 모두 높을수록 이 유추 과제에서 좋다. 이 대응은 평가용 공적 인물 유추이지 단어의 모든 의미 변화에 대한 정답표는 아니다.

MLPC와 NAC-S에서는 held-out 문서의 평균 로그가능도와 문서의 시간 슬라이스에 대한 사후확률 평가도 수행했다(§4–5, Table 5). 전자는 문서의 단어를 얼마나 잘 설명하는지, 후자는 시기 구분 신호를 얼마나 담는지 묻는다. 점수 이름이 비슷해도 측정하는 대상은 다르다.

비교 대상에는 시간 정보를 무시한 SW2V, 사후 정렬 방식 TW2V·OW2V, 공동 학습 방식 DW2V·GW2V 등이 있다. 따라서 결과는 “모든 의미 변화 탐지법”의 순위라기보다 해당 데이터와 유추·우도 설정에서의 비교다.

4. 결과는 어디서 좋아졌나

Table 2에서 작은 NAC-S의 temporal analogy 전체 MRR은 TWEC 0.481, DW2V 0.422, SW2V 0.375로 보고된다. 저자들이 강조하는 강점은 작은 슬라이스에서의 안정성이다. 반면 큰 NAC-L의 Table 3에서는 TWEC가 전체 MRR 0.484로 가장 높지만 OW2V 0.449, TW2V 0.444와 차이가 작다. 데이터가 충분해지면 사후 정렬 방식도 경쟁력을 회복한다는 관찰과 맞닿아 있다.

그림 2. Di Carlo et al. (2019), AAAI-19 최종본 Figure 3, PDF 6쪽·인쇄 6331쪽. NAC-L의 시간 간격별 MP@1 곡선이다. K=1이므로 첫 순위에 정답이 있을 때만 맞는다.

held-out 결과도 분리해 읽어야 한다. Table 5에서 TWEC의 로그가능도는 MLPC에서 SW2V와 비슷한 수준이며, 저자들이 새로 제시한 posterior 평가지표에서는 TWEC가 더 높다. 이는 시간 구분 신호를 잘 보존한다는 근거이지, 모든 예측 목적에서 절대적으로 더 낫다는 뜻은 아니다.

5. 쓸 때의 조건과 한계

나침반은 시대를 넘어 공유할 단어와 문맥이 충분하다는 가정 위에서 작동한다. 작은 시간대 자료에서 사후 정렬이 흔들릴 때 특히 실용적이다. 반대로 어휘와 장르가 크게 달라지는 자료에서는 전체 기간에서 만든 고정 기준이 변화의 일부를 평균화할 수 있다. 이는 설계에서 따르는 가능성이지 논문이 별도 실험으로 정량화한 결과는 아니다. 시간을 순차적으로 받아 즉시 예측해야 한다면 기준 U를 만드는 단계부터 평가 설계를 다시 정해야 한다.

또한 temporal analogy는 좋은 좌표 정렬과 실제 의미 변화 이해를 모두 요구하지만 둘을 완전히 분리하지는 못한다. 특정 용도라면 유추 점수뿐 아니라 변화 후보의 맥락, 시간 분할 방식, held-out 목적을 함께 확인하는 편이 안전하다.

6. 정리

TWEC는 복잡한 정렬 변환 대신 하나의 고정 target 공간을 쓴다. 전체 자료에서 만든 나침반을 각 시대의 문맥 학습에 공유하면, 비교 가능한 시간별 벡터를 사후 정렬 없이 얻을 수 있다. 작은 슬라이스에서의 강건성이 논문의 가장 직접적인 실험 근거이며, 큰 자료와 다른 과제에서는 그 이득의 크기를 별도로 검증해야 한다.

References

Di Carlo, V., Bianchi, F., & Palmonari, M. (2019). Training temporal word embeddings with a compass. Proceedings of the AAAI Conference on Artificial Intelligence, 33(1), 6326–6334. https://doi.org/10.1609/aaai.v33i01.33016326