Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change

Paper: William L. Hamilton; Jure Leskovec; Dan Jurafsky (2016). "Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change." Proceedings of ACL 2016, 1489–1501. https://doi.org/10.18653/v1/P16-1141 · PDF

“gay”가 한 세기 동안 다른 이웃 단어를 갖게 된 것처럼, 의미 변화는 개별 사례로는 익숙하다. 이 논문은 이를 대규모로 재기 위해 시대별 단어 임베딩을 만들고, 변화 속도가 단어의 빈도와 다의성에 어떻게 연결되는지 살핀다. 두 결과는 관찰 자료에서 얻은 통계적 관계로 읽어야 한다.

심층 리뷰 보기

1. 비교하려면 먼저 좌표계를 맞춰야 한다

단어 벡터를 10년마다 따로 학습하면 같은 단어라도 공간의 축이 달라진다. 예를 들어 같은 지도를 두 장 인쇄하고 한 장만 돌려 놓으면 도시 사이 거리는 그대로지만 좌표 숫자는 달라진다. 저자들은 저차원 SVD와 SGNS(word2vec) 임베딩에 인접 시기 사이의 직교 Procrustes 정렬을 적용한다(§2.3). 직교 변환은 같은 시기의 코사인 관계를 보존하면서 시기 사이의 벡터 비교를 가능하게 한다. 그 뒤 같은 단어의 연속 시기 벡터 사이 코사인 거리를 의미 변화량의 지표로 쓴다. 지표가 커도 그것만으로 어떤 새 뜻이 생겼는지는 알 수 없다.

그림 1. Hamilton, Leskovec, & Jurafsky (2016), ACL 최종본 Figure 1, PDF 2쪽·인쇄 1490쪽. 정렬된 SGNS 벡터를 2차원에 투영한 영어 단어의 예시 궤적이다. 투영은 변화 후보를 보여 주지만 변화 원인을 판정하지 않는다.

2. 세 임베딩을 먼저 시험했다

논문은 PPMI, SVD, SGNS를 여섯 역사 코퍼스(네 언어, 약 두 세기)에 학습한다(Table 1). 알려진 역사적 변화의 방향을 잡는지, 동시대 단어 유사성을 얼마나 보존하는지, 변화 후보를 발견하는지로 방법을 비교했다(§3). Table 3과 §3.3의 결론은 과제마다 장점이 다르다는 것이다. SVD는 동시대 유사성에, SGNS는 알려진 변화 탐지와 후보 발견에 강점이 있어 저자들은 SGNS를 이후의 변화 분석에 사용한다.

이 순서는 중요하다. 임베딩 거리 자체를 곧바로 역사적 사실로 취급하지 않고, 알려진 변화 사례와 여러 방법을 먼저 대조했기 때문이다. 다만 작은 COHA 자료에서는 방법 성능과 추정치가 더 흔들린다는 보고도 함께 있다.

3. 첫째 경향: 자주 쓰는 단어는 천천히 변한다

저자들은 단어별·시기별 변화량을 종속변수로 두고, 로그 빈도·다의성·시기 효과와 단어별 랜덤 절편을 포함한 혼합 모형을 적합한다(§4.1, Eq. 7). 그 결과 빈도 계수는 모든 언어·자료 조건에서 유의하게 음수였고, 변화 속도는 빈도의 음의 거듭제곱에 비례한다는 ‘conformity’ 법칙으로 요약된다(§4.3, Eq. 9).

쉽게 말해 널리 쓰이는 단어는 많은 화자가 공유하는 관습에 묶여 의미가 덜 빨리 움직인다는 가설과 부합한다. 그러나 이것은 빈도를 설명변수로 둔 관측 관계다. 빈도의 계수는 모형에 함께 들어간 다의성 지표와 10년 단위 시기, 단어별 랜덤 절편 구조를 고려해 추정했다. 빈도를 제거한 뒤 얻은 관계가 아니며, 빈도를 바꾸는 실험으로 인과효과를 측정한 것도 아니다. 반대로 다의성 계수는 빈도를 함께 고려한 관계로 읽어야 한다.

4. 둘째 경향: 다의적인 단어는 더 빨리 변한다

다의성은 사전의 뜻 개수를 직접 세지 않는다. PPMI 공기어 이웃 그래프에서 가까운 이웃들끼리 얼마나 연결되는지, 즉 국소 군집 계수를 구하고 그 음수를 대리변수로 쓴다(§4.4, Eq. 10). 한 단어의 이웃이 서로 촘촘히 연결되면 한 문맥권에 모인 것으로, 이웃이 여러 무리로 흩어져 있으면 다양한 문맥에서 쓰이는 것으로 해석한다. 예컨대 이웃 A·B·C가 서로 연결된 경우와 A·B·C 사이 연결이 드문 경우라면 후자의 점수가 더 높다. 이는 직관을 위한 그래프 예시이고 사전적 의미의 실제 개수를 센 것은 아니다. 이 대리변수 자체도 빈도와 연관되므로 모형에서 빈도를 함께 다룬다.

그림 2. Hamilton, Leskovec, & Jurafsky (2016), ACL 최종본 Figure 2, PDF 7쪽·인쇄 1495쪽. ENG-ALL 영어 자료의 의미 변화 속도와 빈도·다의성의 관계를 나타낸 예시이며 모든 언어를 합친 그래프가 아니다. 추세선의 음영은 부트스트랩 신뢰구간이다. (b)는 빈도를 함께 고려한 다의성 관계를 그린다.

빈도를 함께 고려한 다의성 계수는 네 언어 전반에서 양수였고, 저자들은 이를 ‘innovation’ 법칙으로 부른다(§4.4). 논문의 48–88%는 적합한 혼합모형의 고정효과 전체에 대한 marginal R²다(§4.4, 각주 10). 고정효과에는 빈도와 다의성뿐 아니라 시기 변수도 들어간다. 두 변수만의 독립적 기여가 그만큼이라는 뜻은 아니다. 코퍼스·전처리·임베딩·대리변수 정의가 달라지면 설명력도 달라질 수 있다.

5. 결과를 좁게 읽어야 하는 이유

의미 변화 점수는 코퍼스의 표본 구성 변화, 장르, 철자 변이와도 함께 움직일 수 있다. 저자들은 작은 COHA가 다른 자료보다 표본 크기가 작아 빈도 효과 추정의 이상치가 될 수 있다고 언급한다(Figure 3 설명). 또 다의성은 이웃 그래프로 만든 대리변수이므로 사전적 의미 수와 동일하지 않다.

따라서 두 ‘법칙’은 보편 원리를 확정한 명제가 아니라, 여러 역사 자료에서 반복된 정량적 규칙성이다. 원논문도 관측 결과만으로 빈도나 다의성이 의미 변화를 일으키는 인과 연결을 확정할 수 없다고 밝힌다(§5). 새로운 언어·시대·플랫폼 자료에 적용할 때는 정렬 품질, 시간 구간, 빈도 하한과 문맥 네트워크 구성을 재검증해야 한다.

6. 정리

이 논문은 단어 의미 변화의 사례 모음을 비교 가능한 시계열 측정 문제로 바꿨다. 정렬된 통시 임베딩과 알려진 변화 사례의 검증을 바탕으로, 빈도는 변화 속도와 음의 관계, 다의성은 빈도를 통제한 뒤 양의 관계를 보인다고 보고했다. 그 관계는 실용적인 기준선이지만 인과 설명과 동일시하지 않는 것이 적절하다.

References

Hamilton, W. L., Leskovec, J., & Jurafsky, D. (2016). Diachronic word embeddings reveal statistical laws of semantic change. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1489–1501. https://doi.org/10.18653/v1/P16-1141