Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change (HistWords)
Hamilton 2016 심층 분석: "Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change" 논문 해설
Hamilton et al.(ACL 2016)의 HistWords가 통시적 임베딩 정렬로 의미 변화의 두 통계 법칙(순응·혁신)을 끌어내는 과정을 해설한다.
Paper: Hamilton, William L.; Leskovec, Jure; Jurafsky, Dan. (2016). "Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change." Proceedings of the 54th Annual Meeting of the ACL (ACL 2016, Vol. 1: Long Papers), pp. 1489–1501. arXiv:1605.09096.
Executive Summary
| 항목 | 설명 |
|---|---|
| 연구 질문 | 빈도가 의미 변화에서 어떤 역할을 하는가, 그리고 다의성과 의미 변화는 어떤 관계인가. 어떤 단어가 얼마나 변하는지를 대규모로 재고 그 변화에 규칙이 있는지를 묻는다. |
| 핵심 기여 | 시대별 단어 임베딩을 정렬해 의미 변화를 재는 방법론을 세우고, 그 위에서 의미 변화의 두 통계 법칙(적합·혁신)을 제안한다. |
| 방법적 결과 | 코퍼스를 10년 단위로 나눠 시대마다 임베딩(PPMI·SVD·SGNS)을 따로 학습하고, 저차원 임베딩은 직교 Procrustes로 인접 시대를 회전 정렬한다. 직교 변환은 코사인을 보존해 시대 내부의 단어 관계를 훼손하지 않으면서 시대 사이 비교를 가능하게 한다. 한 단어의 시대 간 코사인 거리가 그 단어의 변화량이 된다. |
| 실험 결과 | 4개 언어 6개 코퍼스에 걸쳐 두 법칙이 나온다 — 적합의 법칙(빈발어일수록 느리게 변함, β_f ∈ [−1.24, −0.30], 전 언어 음수)과 혁신의 법칙(빈도 통제 후 다의어일수록 빠르게 변함, β_d ∈ [0.08, 0.53], 양수). 발견 과제에는 SGNS를 권한다(상위 10단어 진짜 변화 비율 SGNS 70%, SVD 40%, PPMI 10%). |
| 핵심 한계 | 빈도가 거리 추정 자체를 교란하고, 다의성 지표가 기능어를 과대평정하며, 인과는 확인할 수 없다고 적으면서도 결과를 "법칙"이라 부른다. |
TL;DR — (1) Hamilton et al.(2016)은 코퍼스를 10년 단위로 나눠 시대별 임베딩을 학습하고 저차원 임베딩(SVD·SGNS)을 직교 Procrustes로 정렬해, 한 단어의 시대 간 코사인 거리로 의미 변화를 재는 방법론을 세운다(발견 과제에는 SGNS 권장, 상위 10단어 진짜 변화 비율 70% vs SVD 40%, PPMI 10%). (2) 4개 언어 6개 코퍼스의 변화량을 회귀해 두 법칙을 제시한다 — 적합의 법칙(빈발어일수록 느리게 변함, β_f ∈ [−1.24, −0.30])과 혁신의 법칙(빈도 통제 후 다의어일수록 빠르게 변함, β_d ∈ [0.08, 0.53]). (3) 다만 빈도가 거리 추정을 교란하고, 다의성 지표가 기능어를 과대평정하며, 인과를 확인할 수 없다고 적으면서도 결과를 "법칙"이라 부르는 취약점이 있다.
목차
- 서론
- 방법: 시대별 학습과 직교 정렬
- 실험 설정
- 실험 결과
- 주의해서 읽을 점
- 방법적 한계와 확장
- 결론
1. 서론
1.1 연구 배경
단어의 의미는 시간에 따라 변한다. "gay"는 20세기 초 "쾌활한"에서 "동성애의"로 옮겨 갔고, "broadcast"는 "씨를 흩뿌리다"에서 "방송하다"로, "awful"은 "경외로운"에서 "끔찍한"으로 바뀌었다. 아래 그림이 그 변화를 임베딩 공간에 그린 것이다.
세 단어의 의미 변화를 SGNS 임베딩에 t-SNE를 적용해 2차원에 배치한 그림(원논문 Figure 1). 시각화용이며 실제 변화 측정은 전차원 코사인으로 한다. (a) "gay"는 cheerful·frolicsome 이웃에서 homosexual·lesbian 이웃으로, (b) "broadcast"는 sow·seed에서 television·radio로, (c) "awful"은 solemn·awe에서 terrible·appalling으로 이동한다.
이런 사례를 손으로 짚는 것을 넘어, 어떤 단어가 얼마나 변하는지를 대규모로 재고 그 변화에 규칙이 있는지를 묻는 것이 이 논문의 출발점이다. 그러려면 시대별로 단어 벡터를 구하고, 서로 다른 시대의 벡터를 비교 가능한 상태로 맞춰야 한다.
1.2 두 개의 질문
논문은 두 개의 미해결 질문을 던진다. 첫째, 빈도가 의미 변화에서 어떤 역할을 하는가. 언어 변화에서 빈도의 효과는 방향이 엇갈려 왔다. 음운 약화는 빈발어에서 빠르고, 형태 규칙화는 빈발어에서 느리다. 의미 변화는 어느 쪽인가. 둘째, 다의성과 의미 변화는 어떤 관계인가. 뜻이 여러 개인 단어가 더 잘 변하는가, 덜 변하는가. 이 두 질문의 답이 곧 두 법칙이다.
1.3 학술적 위치
논문은 자신을 방법론과 법칙의 결합으로 규정한다. 별도의 관련 연구 절을 두지 않고 서론과 논의에 선행 연구를 배치한다. 기존 임베딩 통시 연구(Gulordava & Baroni, Kim, Kulkarni)가 서로 다른 임베딩 방식으로 영어만 다뤘다는 점을 한계로 지목하고, 4개 언어와 6개 코퍼스에서 세 임베딩을 체계적으로 비교한 것을 차별점으로 내세운다.
방법의 재료는 각각 계보가 뚜렷하다. PPMI·SVD는 분포 의미론(Levy & Goldberg 등), SGNS는 word2vec(Mikolov 등), 직교 정렬은 Procrustes 문제의 고전 해(Schönemann), 다의성의 군집계수는 네트워크 과학(Watts & Strogatz)에서 가져온다. 두 법칙의 해석은 역사·인지언어학과 진화생물학의 비유로 짜인다. 적합의 법칙은 유전적 부동과 정화선택에, 혁신의 법칙은 다의화 이론에 접속된다.
2. 방법: 시대별 학습과 직교 정렬
세 가지 임베딩
각 시대(10년) 안에서 단어 임베딩을 세 방식으로 만든다.
- PPMI는 고차원 명시 벡터다. 한 단어의 벡터는 문맥어들과의 양의 점별상호정보로 채워진다(Eq. 1). 각 차원이 한 문맥어에 대응해 벡터가 문맥어 수만큼 크고 희소하다.
- SVD는 PPMI 행렬을 특이값 분해해 얻은 저차원 근사다(Eq. 2, 차원 300).
- SGNS는 word2vec의 skip-gram negative sampling으로 학습한 밀집 저차원 벡터다(Eq. 3, 차원 300). 단어마다 단어 벡터와 문맥 벡터를 따로 둔다.
왜 정렬이 필요한가
저차원 임베딩에는 성가신 성질이 있다. 학습 목적함수가 회전에 대해 불변이라, 벡터 전체를 같은 각도로 돌려도 값이 그대로다. 그래서 시대마다 따로 학습하면 각 시대의 좌표축이 임의의 각도로 어긋난다. 1990년의 "apple"과 2010년의 "apple"이 다른 좌표계에 있으면, 둘의 거리는 의미 차이가 아니라 축의 회전을 재게 된다. 비교하려면 먼저 좌표계를 맞춰야 한다.
PPMI는 이 문제를 겪지 않는다. 각 차원이 고정된 문맥어에 대응하므로 시대가 달라도 축이 그대로 맞아 자연히 정렬돼 있다. 회전 불변 문제는 SVD·SGNS 같은 저차원 임베딩에서만 생기고, 아래 직교 Procrustes 정렬도 이 둘에만 적용된다.
논문은 직교 Procrustes로 이 문제를 푼다. 시대 t의 임베딩 행렬 W^{(t)}를 직교행렬 Q로 회전시켜 다음 시대와의 거리를 최소화한다.
R^{(t)} = \arg\min_{Q^\top Q = I} \lVert Q\,W^{(t)} - W^{(t+1)} \rVert_F \quad (\text{Eq. 4})제약 Q^\top Q = I가 해를 회전과 반사로 한정하고, 최적해는 교차공분산의 특이값 분해로 바로 구한다. 직교 변환을 쓰는 이유가 핵심이다. 직교행렬은 내적과 노름을 보존하므로 코사인도 보존한다. 두 벡터를 함께 Q로 돌려도 (Qw_i)\cdot(Qw_j) = w_i^\top Q^\top Q, w_j = w_i^\top w_j로 내적이 그대로다. 정렬은 한 시대 공간을 다른 시대에 겹치도록 회전만 시킬 뿐, 시대 내부의 단어 관계 기하는 조금도 바꾸지 않는다.
변화와 다의성을 재는 법
정렬을 마치면 두 가지를 잰다.
의미 변화량은 한 단어의 인접 시대 벡터 사이 코사인 거리다(§2.4). 코사인이 정렬로 보존되기 때문에 이 거리가 시대를 가로질러 뜻이 통한다. 두 단어의 관계 변화를 볼 때는 코사인 유사도 시계열과 시간의 Spearman 상관을 쓴다.
다의성은 직접 세는 대신 공기 네트워크의 국소 군집계수로 잰다(Eq. 10). 각 언어의 상위 빈발어들을 양의 상호정보로 이어 네트워크를 만들고, 한 단어의 이웃들이 자기들끼리도 얼마나 이어져 있는지를 본다. 이웃들이 서로 촘촘히 이어져 있으면(문맥이 응집적이면) 단의어에 가깝고, 이웃들이 흩어져 있으면 다의어로 본다. 논문은 이 군집계수에 음의 부호를 붙여 다의성 점수로 삼는다. "맥락의 다양성"을 다의성의 대리지표로 쓰는 것이다.
3. 실험 설정
여섯 개의 코퍼스를 쓴다(Table 1).
| 코퍼스 | 규모(토큰) | 언어·기간 | 성격 |
|---|---|---|---|
| EngAll | 8.5×10¹¹ | 영어, 1800–1999 | Google Books 전 장르(큼, 인공물 위험) |
| EngFic | 7.5×10¹⁰ | 영어 소설, 1800–1999 | Google Books 소설 |
| FreAll | 1.9×10¹¹ | 프랑스어, 1800–1999 | Google Books |
| GerAll | 4.3×10¹⁰ | 독일어, 1800–1999 | Google Books |
| ChiAll | 6.0×10¹⁰ | 중국어, 1950–1999 | Google Books(기간 짧음) |
| COHA | 4.1×10⁸ | 미국 영어, 1810–2009 | 장르 균형(작지만 깨끗) |
Google Books는 크지만 시대별 표집 편향과 과학 용어 지배 같은 인공물 위험이 있고, COHA는 약 100배 작지만 장르 균형이 잡혀 있다. 전처리는 10년 단위 집계, 어휘 상위 10만(Google)·5만(COHA), 연도별 최소 빈도 500·100, 문맥창 좌우 4, 차원 300으로 통일한다.
평가는 세 갈래다. 첫째, 동시대 유사도 과제(MEN)로 세 임베딩이 표준 의미 유사도를 얼마나 잘 잡는지 본다. 둘째, 문헌으로 확인된 기지의 의미 변화를 얼마나 유의하게 탐지하는지 본다(detection). 셋째, 변화가 가장 큰 상위 단어를 뽑아 그것이 진짜 변화인지 사전으로 판정한다(discovery).
4. 실험 결과
임베딩 비교: 과제마다 승자가 다르다
표준 동시대 유사도 과제(MEN, §3.1)에서는 SVD가 앞선다. Spearman 상관이 SVD 0.739, PPMI 0.687, SGNS 0.649로, SGNS가 오히려 꼴찌다. 그런데 통시 발견 과제로 오면 순서가 뒤집힌다. 영어 소설에서 1900년대와 1990년대 사이 변화가 가장 큰 상위 10단어를 뽑아 사전으로 판정하니, SGNS는 70%가 진짜 의미 변화인데 SVD는 40%, PPMI는 10%에 그친다(§3.2). PPMI가 뽑은 상위 단어는 대부분 코퍼스 인공물이다.
왜 과제마다 승자가 갈리는지를 보면 두 방법의 성격이 드러난다. SVD는 표준 유사도를 잘 잡지만 코퍼스 인공물에 흔들리고, SGNS는 인공물에 강건해 진짜 변화를 잘 골라낸다. 탐지 과제도 코퍼스 규모로 갈린다. 큰 EngAll에서는 SGNS가 앞서고, 작은 COHA에서는 SGNS의 민감도가 부족해 SVD가 미묘한 변화를 더 잘 잡는다. 그래서 논문의 권고는 하나가 아니다. 발견에는 SGNS, 작은 코퍼스의 정밀 탐지에는 SVD, PPMI는 기각이다.
두 법칙
변화량을 로그 빈도와 로그 다의성에 회귀한다. 단순 회귀가 아니라 선형혼합모형이다(Eq. 7). 단어별 임의절편과 시대 고정효과를 함께 넣어, 시간 추세를 통제하고 같은 단어의 시대 간 측정이 서로 상관된다는 점을 반영한다. 종속변수 \tilde{\Delta}는 변화율을 로그로 바꾸고 평균 0·분산 1로 표준화한 값이라, 언어 사이에 계수를 견줄 수 있다.
\tilde{\Delta}^{(t)}(w_i) = \beta_f \log\!\big(f^{(t)}(w_i)\big) + \beta_d \log\!\big(d^{(t)}(w_i)\big) + \beta_t + z_{w_i} + \epsilon \quad (\text{Eq. 7})종속변수도 예측변수도 로그이므로 이 회귀는 로그-로그 선형이다. 지수를 벗기면 두 개의 멱법칙이 된다.
\Delta(w_i) \propto f(w_i)^{\beta_f} \times d(w_i)^{\beta_d}, \quad \beta_f < 0, \; \beta_d > 0 \quad (\text{Eq. 8})
의미 변화율과 로그 빈도·로그 다의성의 관계(원논문 Figure 2, COHA 2000년대). (a) 빈도가 높을수록 변화율이 낮다(적합의 법칙, 음의 기울기). (b) 다의성이 높을수록 변화율이 높다(혁신의 법칙, 양의 기울기). 선은 95% 신뢰구간을 두른 로버스트 회귀 적합이다.
적합의 법칙(§4.3): 로그 빈도가 모든 언어와 데이터셋에서 변화율에 유의한 음의 효과를 준다. 빈발어일수록 느리게 변한다. 지수 β_f는 [−1.24, −0.30] 범위로 전부 음수다.
혁신의 법칙(§4.4): 빈도를 통제한 뒤 로그 다의성이 변화율에 강한 양의 효과를 준다. 다의어일수록 빠르게 변한다. 지수 β_d는 [0.08, 0.53] 범위로 전부 양수다. 통제가 결정적이다. 빈도와 다의성의 상관이 0.45에서 0.8 사이로 강해서, 통제 전에는 다의성 효과의 부호가 반대로 나온다. 두 변수를 같은 회귀에 넣어 빈도를 통제하자 다의성 효과가 양으로 완전히 뒤집힌다.
논문은 이 두 번째 결과에서 인과의 방향을 다시 읽는다. 전통적 통시론은 의미 변화가 쌓여 다의성이 생긴다고 봤는데, 다의어가 더 빨리 변한다는 결과를 근거로 논문은 반대로 다의성이 변화를 부추길 수 있다고 본다. 다만 이를 시사로만 두고 인과를 단정하지는 않는다.
5. 주의해서 읽을 점
5.1 빈도 교란을 통계가 아니라 방법 교체로 우회한다 (논문 외 비판)
적합의 법칙에는 까다로운 순환의 위험이 있다. 빈도가 코사인 거리 추정 자체를 교란할 수 있기 때문이다. 저자도 이를 SVD에 대해 명시적으로 인정한다. 고빈도어는 공기 통계의 유한표본 분산이 작아, 실제로 변하지 않아도 시대 간 벡터가 더 안정적으로 보인다. 그렇다면 "고빈도어가 느리게 변한다"는 관찰이 진짜 변화가 느린 것인지, 추정이 안정적으로 보이는 인공물인지 가리기 어렵다.
저자는 빈도를 직접 통제하는 대신 임베딩을 바꾼다. 빈도를 다운샘플링하거나 등빈도 구간으로 나눠 인공물을 배제하는 대신, SVD 대신 SGNS를 쓴다. SGNS는 직전 시대 임베딩으로 초기화되므로 이 문제를 안 겪는다는 것이다. 나아가 각주에서 저자는 SGNS에 편향이 있다면 오히려 반대 방향이라고 논증한다. 고빈도어가 초기값에서 더 많이 갱신돼 나가므로 더 변한 것처럼 보일 수 있고, 그럼에도 느리게 변한다고 나온 것이니 결과가 보수적이라는 것이다. 이 논증은 설득력이 있지만 논증일 뿐, 등빈도 통제로 인공물을 직접 배제한 것은 아니다. 적합의 법칙이 빈도 인공물에서 자유롭다는 보장은 SGNS 초기화가 빈도와 분산의 관계를 지운다는 전제에 기댄다.
5.2 다의성 지표가 기능어를 과대평정한다 (논문 외 비판)
혁신의 법칙은 다의성 측정의 질에 달려 있는데, 이 측정에 저자가 인정한 편향이 있다. 군집계수 방식은 맥락이 다양한 담화 기능어를 다의어로 잘못 평정한다. 실제로 논문이 영어 소설에서 다의성 상위 10단어로 뽑은 목록(Table 6)에는 "yet", "always", "even", "also", "still" 같은 기능어가 들어 있고, 논문도 이를 편향의 예로 짚는다. 이들은 뜻이 여러 개라기보다 여러 맥락에 두루 쓰이는 단어다. 맥락이 흩어진 기능어는 임베딩이 시대마다 불안정해 측정 변화율이 높게 나올 수 있고, 그렇다면 빈도를 통제한 잔차에서 다의성 효과 β_d를 끌어올릴 소지가 있다. 혁신의 법칙의 일부가 진짜 다의성이 아니라 이 측정 인공물에서 나올 가능성이다.
5.3 발견 평가가 작고, 표에 내부 불일치가 있다 (논문 외 비판)
임베딩 권고의 근거인 발견 정확도 70/40/10%는 상위 10단어를 손으로 판정한 결과다. 표본이 10개라 분해능이 10%포인트 단위이고 통계적 검정력이 낮다. 탐지 평가도 사전으로 확인된 소수의 변화쌍에 기댄다. 한 가지 더, 논문 본문은 기지 변화쌍을 28건이라 적지만 정작 Table 2에는 열 개 남짓만 실려 있어, 본문과 표의 수가 맞지 않는다. 예시만 실은 것으로 보이지만 독자가 대조할 때 혼동할 수 있다.
6. 방법적 한계와 확장
6.1 논문이 남긴 것
이 논문의 기여는 두 겹으로 분명하다. 방법 쪽에서는 시대별 학습에 직교 정렬을 붙여 의미 변화를 코사인 거리로 재는 표준 절차를 세웠고, 세 임베딩을 넓게 비교해 어느 것을 언제 써야 하는지에 대한 실용적 지침을 남겼다. 법칙 쪽에서는 빈도와 다의성이라는 두 변수를 4개 언어에 걸쳐 변화율과 정량적으로 이었고, 특히 혁신의 법칙에서 인과의 방향을 다시 묻는 해석을 제시했다.
6.2 상관을 법칙이라 부르는 문제 (논문 외 비판)
논문은 인과를 확인할 수 없다고 명시하면서도 결과를 "법칙"이라 부른다. 관찰된 것은 빈도·다의성과 변화율의 상관이고, 저자도 적합의 법칙의 기제를 학습 오류와 사회문화적 동조 두 후보로 열어 둘 뿐 어느 쪽인지 가리지 않는다. 상관을 법칙이라 부르면 준인과적 함의가 따라붙기 쉬운데, 논문은 무엇을 법칙으로 부를 자격이 있는지에 대한 정의를 주지 않는다. 범언어적 일관성이 그 명명을 어느 정도 지탱하지만, 중국어는 1950년부터 1999년까지만 쓸 수 있어 범언어 근거의 한 축이 얇다. 보편성 프레이밍은 이 한계 위에서 읽어야 한다.
6.3 정렬 잡음과 재현성이 정량화되지 않는다 (논문 외 비판)
두 법칙의 β 추정과 발견 순위는 임베딩 학습과 정렬을 한 번 거친 결과다. SGNS는 확률적으로 학습되는데 시드나 초기화에 따른 실행 간 분산이 보고되지 않는다. 10년 구간 집계와 시대쌍별 직교 정렬이 도입하는 정렬 오차도 정량화되지 않아, 측정 잡음의 하한이 불명이다. 이 잡음이 빈도와 상호작용하면(희귀어일수록 정렬과 추정 잡음이 크다) 두 법칙의 효과를 다시 교란할 수 있다.
이 빈칸들은 방법의 골격을 그대로 두고 채울 수 있다. 등빈도 구간이나 다운샘플링으로 빈도 인공물을 직접 통제하기, 기능어를 걸러 낸 다의성 측정으로 혁신의 법칙을 재검하기, 시드 재실행으로 β와 발견 순위의 분산을 재기, 발견 평가의 표본을 키우기가 그것이다.
7. 결론
Hamilton et al.의 이 논문은 두 가지를 남겼다. 하나는 시대별 임베딩을 직교 정렬해 의미 변화를 재는 방법론과, 세 임베딩 중 무엇을 언제 쓸지에 대한 지침이다. 다른 하나는 빈도와 다의성을 변화율에 이은 두 통계 법칙과, 다의성이 변화를 부를 수 있다는 인과 역전의 해석이다. 넓은 언어와 큰 코퍼스로 뒷받침된, 통시 임베딩 연구의 표준을 세운 작업이다.
동시에 그 결론들은 저자가 정직하게 열어 둔 한계 위에서 읽어야 한다. 빈도 인공물은 통계로 배제되지 못한 채 임베딩 교체와 논증으로 방어되고, 다의성 지표는 기능어를 끌어안으며, 상관은 인과를 확인하지 못한 채 법칙으로 불린다. 방법을 이해하려는 독자에게 이 논문은 "어떻게 재는가"는 표준을 세운 만큼 분명히, "그 규칙이 무엇의 규칙인가"는 열어 둔 채로 남긴다.
References
- Bréal, M. (1897). Essai de sémantique: Science des significations. Hachette.
- Gulordava, K., & Baroni, M. (2011). A distributional similarity approach to the detection of semantic change in the Google Books Ngram corpus. In Proceedings of the GEMS 2011 Workshop on Geometrical Models of Natural Language Semantics (pp. 67–71).
- Hamilton, W. L., Leskovec, J., & Jurafsky, D. (2016). Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Vol. 1: Long Papers) (pp. 1489–1501). https://aclanthology.org/P16-1141/ (PDF 보기)
- Hopper, P. J., & Traugott, E. C. (2003). Grammaticalization (2nd ed.). Cambridge University Press.
- Kim, Y., Chiu, Y.-I., Hanaki, K., Hegde, D., & Petrov, S. (2014). Temporal analysis of language through neural language models. In Proceedings of the ACL 2014 Workshop on Language Technologies and Computational Social Science (pp. 61–65).
- Kulkarni, V., Al-Rfou, R., Perozzi, B., & Skiena, S. (2015). Statistically significant detection of linguistic change. In Proceedings of the 24th International Conference on World Wide Web (WWW 2015) (pp. 625–635). (PDF 보기)
- Levy, O., Goldberg, Y., & Dagan, I. (2015). Improving distributional similarity with lessons learned from word embeddings. Transactions of the Association for Computational Linguistics, 3, 211–225. (PDF 보기)
- Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. In Workshop Track Proceedings of ICLR 2013. (PDF 보기)
- Schönemann, P. H. (1966). A generalized solution of the orthogonal Procrustes problem. Psychometrika, 31(1), 1–10. (PDF 보기)
- Watts, D. J., & Strogatz, S. H. (1998). Collective dynamics of "small-world" networks. Nature, 393(6684), 440–442. (PDF 보기)
- Wilkins, D. P. (1993). From part to person: Natural tendencies of semantic change and the search for cognates. Working Papers in Linguistics. Cognitive Anthropology Research Group, Max Planck Institute.