A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change

Paper: Periti, F., & Tahmasebi, N. (2024). A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change. NAACL 2024, 4262–4282. ACL Anthology · DOI · arXiv:2402.12011 · Official code

Abstract: Periti와 Tahmasebi의 NAACL 2024 논문은 contextualized embedding 기반 lexical semantic change(LSC) 탐지법을 같은 조건에서 비교한다. XL-LEXEME + APD가 평균 GCD 상관에서 가장 높은 값을 냈지만, 이 순위만으로 논문의 의미가 끝나지는 않는다. 저자들은 사용례 수준 판단(WiC), 의미 군집(WSI), 단어별 변화량 순위(GCD)를 따로 채점해, 변화 순위를 잘 맞히는 모델이 의미 구조까지 제대로 복원한다고 볼 수 없음을 드러낸다. 이 글에서는 원논문의 절과 표를 따라 방법과 수치를 확인하고, GPT-4 비교·층 선택·다언어 전처리에 남은 한계까지 짚는다.

---

Executive Summary

항목	설명
연구 질문	서로 다른 contextualized embedding과 LSC 방법을 같은 조건에서 비교하면 무엇이 강하며, 그 모델은 사람의 사용례 판단과 의미 군집도 재현하는가?
핵심 기여	8개 언어 벤치마크의 표준 GCD를 통제된 절차로 비교하고, 별도의 계산 주석자(computational annotator) 실험에서 WiC·WSI·GCD를 분리 평가했다.
방법적 결과	이 실험 설정에서는 형태 기반(form-based) 방법인 APD가 표준 GCD에서 가장 높았고, WiC 지도 신호를 받은 XL-LEXEME가 비교한 네 인코더 중 가장 높은 보고값을 냈다.
대표 수치	XL-LEXEME+APD의 표준 GCD Avgw는 .751이다. 이는 11개 벤치마크-시기 비교의 표적어 수로 가중한 점추정치다. 계산 주석자 평가에서 XL-LEXEME는 WiC .568, WSI ARI .339 / PUR .810, GCD .754를 기록했다(저자 보고, Tables 1–2).
핵심 한계	동일 처리와 언어별 최적 처리는 다르다. 토크나이저와 문맥 절단(truncation)의 영향은 평가되지 않았고, GPT-4 비교는 영어에만 수행됐으며 정확한 API 모델 식별자와 접근 시점이 논문에 고정돼 있지 않다.

---

목차

1. 왜 이 비교가 필요했나
2. 예비 지식: WiC, WSI, GCD
3. 논문의 비교 프레임워크
4. 동일 조건이 통제한 것과 남겨 둔 것
5. 실험 결과
6. 결과를 할인해서 읽어야 하는 이유
7. 실용적인 평가 체크리스트
8. 함께 읽을 관련 연구 방향
9. 결론

---

1. 왜 이 비교가 필요했나

Lexical semantic change detection은 시대가 달라질 때 단어의 쓰임과 의미가 얼마나 달라졌는지 찾는 과제다. cloud가 좋은 예다. 한때 주로 기상 현상을 뜻했지만, 이제는 컴퓨팅 인프라를 가리키는 용례도 흔하다. 문맥마다 다른 token embedding을 만드는 contextualized language model은 이런 변화를 포착하기에 알맞아 보인다.

하지만 기존 연구의 점수는 겉보기만큼 쉽게 비교되지 않는다. 같은 지표를 보고해도 실험 조건이 제각각이기 때문이다. 저자들은 그 차이를 다음과 같이 정리한다(§2.2, ACL p. 4264).

• 사용한 말뭉치 또는 주석 사용례 표본
• 벤치마크의 버전과 표적어 수
• 표제어 추출(lemmatization) 등 전처리
• 추가 학습(fine-tuning) 여부
• 어느 Transformer 층을 쓰거나 합쳤는지
• embedding 사이 거리를 집계한 방법

그래서 첫 질문은 “어떤 모델이 가장 좋은가?”가 아니다.

같은 평가 조건에서 비교했을 때에도 기존의 모델·방법 순위가 유지되는가?

그다음에는 순위표보다 어려운 질문이 따라온다.

단어별 변화량 순위를 잘 맞힌 모델이 사람의 사용례 판단과 의미 군집도 올바르게 복원하는가?

저자들이 GCD 점수 하나에 머물지 않은 이유가 여기에 있다. 표준 GCD에서는 사용례 embedding으로 APD·PRT 같은 변화량을 바로 계산한다. 별도의 계산 주석자 실험에서는 WiC·WSI·GCD를 차례로 떼어 채점한다.

---

2. 예비 지식: WiC, WSI, GCD는 무엇이 다른가

WiC(Word in Context). 서로 다른 문장에 나온 같은 단어가 두 문맥에서 얼마나 비슷한 뜻으로 쓰였는지 판단한다. 이 논문은 같음/다름의 이진 분류 대신, 연속적인 의미 근접도(relatedness) 점수와 embedding cosine similarity 사이의 Spearman 상관을 잰다(§5.1, p. 4268).

WSI(Word Sense Induction). 사전식 의미 레이블 없이 사용례를 뜻별로 묶는다. 저자들은 계산된 사용례 근접도로 통시적 단어 사용 그래프(diachronic word-usage graph)를 만든 뒤, 그 군집을 인간 주석 그래프의 군집과 ARI·Purity로 비교한다(§5.2, p. 4268).

GCD(Graded Change Detection). 각 단어가 두 시기 사이에 얼마나 변했는지 점수화하고, 예측 순위와 정답 순위 사이의 Spearman 상관을 측정한다.

그림 1. 독일어 단어 Eintagsfliege의 Diachronic Word Usage Graph(DWUG). 노드는 단어 사용례, edge는 사용례 사이의 의미 관련성, 색은 전체 그래프에서 유도한 의미 군집이다. Periti & Tahmasebi (2024)의 Figure 1을 그대로 옮겼다(CC BY 4.0). 논문은 원출처로 Laicher et al. (2021)을 밝힌다.

여기서 두 평가 경로를 구분해야 한다. 표준 GCD의 APD·PRT는 WSI를 건너뛰고 사용례 embedding에서 변화량을 바로 구한다. 계산 주석자 평가의 비러시아어 자료는 사용례 쌍 판단으로 그래프의 edge를 만들고, 그 edge로 의미를 군집화한 다음, 시기별 군집 분포의 JSD로 GCD를 계산한다. 러시아어는 의미 레이블이 없어서 WSI를 거치지 않고 평균 사용례 근접도 기반의 COMPARE를 쓴다(§5.3). 같은 GCD 점수라도 그 앞에서 어떤 오류가 생겼는지 알려면 이 경로부터 나눠 봐야 한다.

---

3. 논문의 비교 프레임워크

3.1 데이터와 모델

평가 대상은 영어(EN), 라틴어(LA), 독일어(DE), 스웨덴어(SV), 스페인어(ES), 러시아어(RU), 노르웨이어(NO), 중국어(ZH)의 8개 언어 벤치마크다. 러시아어는 세 시기쌍, 노르웨이어는 두 시기쌍으로 나뉘어 Table 1에는 모두 11개의 언어-시기 열이 나온다(§3, p. 4264; Table 6, p. 4279). 다만 벤치마크가 여덟 언어를 포함한다는 사실을 언어별 어휘 변화 전체나 언어 유형의 균형을 대표한다는 뜻으로 넓혀 읽어서는 안 된다.

비교 모델은 다음 네 가지다.

모델	성격	읽을 때 주의할 점
BERT	언어별 단일언어 BERT	모든 언어에 동일한 단일언어 모델이 공개돼 있지는 않다.
mBERT	다언어 BERT	여러 언어를 하나의 인코더로 처리한다.
XLM-R	다언어 RoBERTa	XL-LEXEME의 기반 인코더이기도 하다.
XL-LEXEME	XLM-R 기반 다언어 lexical encoder	WiC로 추가 학습된 모델이므로 ‘추가 지도 신호가 없는 순수 사전학습’과 같지 않다.

기본 비교는 12층 base model의 마지막 층을 사용하고, 실험 중에는 별도의 추가 학습을 하지 않는다(§3, p. 4264). 그렇다고 네 모델의 사전 조건이 같지는 않다. XL-LEXEME는 이미 WiC 지도 신호로 학습된 모델이다.

3.2 네 가지 GCD 방법

두 시기의 표적어 embedding 집합을 다음과 같이 두자.

PRT: prototype distance

PRT는 시기별 평균 embedding을 prototype으로 삼고, 두 prototype 사이의 cosine distance를 계산한다.

계산은 간단하고 평균적인 중심 이동도 잘 드러난다. 대신 하나의 평균이 다의성과 분포 변화를 가릴 수 있다.

APD: average pairwise distance

APD는 서로 다른 시기에 속한 모든 사용례 쌍의 거리를 평균한다.

prototype 하나만 보는 PRT보다 사용례의 퍼짐에 민감하다. 다만 한 시기 안에서의 분산과 두 시기 사이의 분포 이동을 따로 떼어 재지는 않는다. 이 논문의 통제된 표준 GCD에서는 가장 높은 결과를 냈다(§§4.1, 4.3; Table 1).

AP+JSD: 공동 군집과 분포 차이

AP+JSD는 두 시기의 embedding을 Affinity Propagation으로 함께 묶은 뒤, 시기별 군집 비율 분포 사이의 Jensen–Shannon divergence를 변화량으로 삼는다. 의미별 변화를 볼 수 있는 대신 결과가 군집 품질에 크게 좌우된다.

WiDiD: 시간 인식 군집과 의미 prototype 거리

WiDiD는 A Posteriori Affinity Propagation으로 시기별 의미 군집을 이어 가며, 의미 prototype 집합 사이의 거리를 계산한다. AP+JSD보다는 높았지만 형태 기반인 APD·PRT의 평균에는 미치지 못했다(§§4.2–4.3).

방법	평가 단위	강점	직접 답하지 못하는 것
PRT	시기별 평균 prototype	단순하고 계산이 가볍다	다의성·소수 의미의 변화
APD	모든 시기 간 사용례 쌍	변화량 순위화에 강하다	어떤 의미가 변했는지
AP+JSD	공동 의미 군집 분포	의미 분포 변화 표현	군집 오류와 과분할의 영향
WiDiD	시간별 의미 prototype	의미 변화 경로를 반영한다	안정적인 WSI가 전제되어야 한다

---

4. “동일 조건”이 통제한 것과 남겨 둔 것

이 연구의 강점은 모델 이름만 늘어놓지 않고 비교 조건부터 맞췄다는 데 있다. 모든 모델에 같은 평가 절차를 적용했고, 정답 산출에 쓰인 주석 원자료를 사용했다. 그래도 이것은 통제된 동일 조건 비교일 뿐, 혼란 변수를 모두 제거한 인과 실험은 아니다. XL-LEXEME는 WiC로 추가 학습된 XLM-R 계열이지만, 지도 신호·checkpoint·학습 목표·데이터의 효과를 하나씩 분리하는 대응 소거 실험(matched ablation)은 없다.

통일된 절차에는 대가도 따른다. 독일어 표제어 추출처럼 언어별 특성을 반영한 전처리는 따로 최적화하지 않았고, 토크나이저별 subword 분할이나 문맥 절단 방식의 영향도 재지 않았다(§7, p. 4270). 그러므로 이 표는 통제된 공통 조건에서의 비교이지, 언어마다 최적화한 최고 성능표가 아니다.

---

5. 실험 결과: 무엇이 실제로 강했나

5.1 표준 GCD: APD와 XL-LEXEME

Table 1의 가중 평균 Spearman을 먼저 보자. Avgw는 8개 언어를 똑같이 취급한 거시 평균이 아니다. 11개 벤치마크-시기 비교를 표적어 수로 가중한 점추정치다. 러시아어의 세 비교가 같은 111개 표적어 목록을 반복해서 쓰기 때문에 전체 가중 항목 733개 가운데 333개, 약 45%를 차지한다. 이 평균에는 신뢰구간·유의성 검정·무작위 시드 변동이 함께 보고되지 않았다.

방법	BERT	mBERT	XLM-R	XL-LEXEME
APD	.449	.371	.316	.751
PRT	.406	.395	.381	.693
AP+JSD	.179	.077	.142	.223
WiDiD	.239	.181	.314	.422

표 1. 원논문 Table 1에서 Avgw만 추려 다시 구성했다(저자 보고). 단일언어 BERT는 라틴어 결과가 빠져 가중 분모가 693이고, mBERT·XLM-R·XL-LEXEME는 733이다. 인코더별 평균이 정확히 같은 범위를 덮는 것은 아니다.

큰 흐름은 두 가지다.

1. XL-LEXEME 안에서는 APD .751 > PRT .693 > WiDiD .422 > AP+JSD .223 순이다.
2. APD의 보고 평균은 XL-LEXEME가 다른 contextualized model보다 높다. 다만 BERT 평균에는 라틴어가 빠져 있다.

이 순서를 보편 법칙으로 받아들이면 곤란하다. 언어별 결과에는 예외가 있고, PRT가 라틴어와 노르웨이어 일부 시기쌍에서 APD를 앞선다. 후속 지표 연구까지 놓고 보면 어떤 지표가 유리한지는 인코더·표현·데이터셋에 따라 다시 확인해야 한다.

5.2 계산 주석자: WiC, WSI, GCD를 따로 보기

모델	WiC Avgw	WSI ARI Avgw	WSI PUR Avgw	GCD Avgw
BERT	.358	.166	.702	.422
mBERT	.301	.146	.696	.357
XLM-R	.272	.133	.743	.324
XL-LEXEME	.568	.339	.810	.754

표 2. 원논문 Table 2의 가중 평균을 추려 다시 구성했다(저자 보고). 표준 GCD는 8개 언어를 다루지만 계산 주석에서는 LA가 빠지고, WSI에서는 의미 레이블이 없는 RU도 제외된다. 열마다 Avgw의 범위와 분모가 다르다.

XL-LEXEME의 보고값이 세 평가 층위에서 모두 가장 높다. 그렇다고 세 열을 하나의 능력으로 묶을 수는 없다. 측정하는 대상도, 포함된 언어도 서로 다르다.

• WiC .568: 사람의 사용례 쌍 근접도와 embedding similarity가 얼마나 일치하는가?
• ARI .339 / PUR .810: 사람이 만든 의미 분할과 계산 군집이 얼마나 구조적으로 일치하는가?
• GCD .754: 비러시아어에서는 계산 군집의 분포, 러시아어에서는 평균 사용례 근접도 기반 COMPARE로 만든 변화 순위가 정답 순위와 얼마나 일치하는가?

WSI에서는 Purity만 떼어 읽지 않는 편이 좋다. 작고 내부적으로 고른 군집을 많이 만들면 Purity는 올라가지만, 전체 분할의 일치를 보는 ARI는 낮게 남을 수 있다(§5.2). 정답 의미 하나를 여러 작은 예측 군집으로 쪼갠 경우를 떠올리면 쉽다. 각 군집의 다수 레이블은 깨끗해 보여도 전체 구조는 이미 어긋나 있다. 게다가 Table 2에는 예측 군집 수나 반복 실행의 안정성이 없다. 결국 ARI 기준 일치는 낮고 Purity와도 엇갈리므로, WSI 품질을 한 숫자로 판정하기 어렵다.

5.3 GPT-4 비교는 어디까지 말할 수 있나

GPT-4 평가는 비용과 API 제약 때문에 영어에만 머물렀다.

영어 조건	XL-LEXEME	GPT-4.0	인간 합치도/비고
WiC	.626	.606	Krippendorff’s α .633
WSI	.273 / .834	.340 / .877	ARI / PUR
GCD	.801	.818	Spearman

표 3. 원논문 Table 2에서 영어 비교만 추려 다시 구성한 점추정치다(저자 보고).

영어 점추정치만 보면 GPT-4와 XL-LEXEME는 비슷한 수준이다. 그러나 재현 조건은 충분히 고정되어 있지 않다. 정확한 GPT-4 API 모델 식별자와 접근 날짜가 없고, Appendix G가 prompt와 사용례 쌍마다 대화를 초기화한 절차를 제공하더라도 temperature·top-p·seed·재시도 정책과 반복 실행 변동은 빠져 있다. Tables 2–3에도 신뢰구간이나 유의성 검정이 없다. GPT-4의 WiC Spearman .606과 인간 주석자 간 Krippendorff’s α .633도 서로 다른 구성을 재므로, 두 값을 나란히 놓고 곧바로 ‘인간 수준’이라 부를 수는 없다.

이 실험이 뒷받침하지 않는 주장은 분명하다.

• GPT-4가 다언어 LSC를 해결했다.
• GPT-4가 인간 수준의 의미 이해를 달성했다.
• 2024년 실험 결과가 이후 호스팅 모델 버전에 그대로 재현된다.

저자들도 instruction-tuning 데이터에 평가 자료가 들어갔을 가능성과 계속되는 모델 업데이트를 재현성 위험으로 꼽는다(§7).

---

6. 결과를 할인해서 읽어야 하는 이유

6.1 높은 GCD는 의미 설명과 다르다

APD는 변화량 순위에 강하지만 의미 군집을 직접 만들지 않는다. 의미 기반 방법은 어떤 뜻이 어떻게 달라졌는지 보여 줄 여지가 있는 대신, 군집 오류가 GCD 성능을 끌어내릴 수 있다. 어느 한쪽의 승리로 끝낼 문제가 아니다. 순위 정확도와 의미 해석 가능성은 서로 다른 목표다.

6.2 WSI의 높은 수치를 한 가지 원인으로 설명할 수 없다

계산 WSI 결과가 높아진 이유로 저자들은 두 가능성을 함께 든다(§5.4). 정답 군집과 계산 주석에 같은 correlation clustering 계열을 써서 결과가 낙관적으로 보였을 수 있다. 반대로 그 군집기가 AP·APP보다 미묘한 의미 관계를 실제로 더 잘 잡았을 수도 있다. 어느 쪽도 이 실험만으로 입증되지는 않았다.

6.3 층 선택은 부수 설정이 아니다

기본 실험은 마지막 층을 썼지만, 부록에서는 중간 층이 앞서는 경우가 나온다. 중국어(ZH) BERT+APD의 GCD 상관은 4층에서 .747, 마지막 층에서 .656이었다(Table 4). 평균적으로 8–10층이 나은 경향은 있었으나, 모든 모델과 벤치마크에 통하는 층 조합은 없었다.

그림 2. EN·LA·DE·SV·ES에서 길이 2–4의 모든 Transformer layer 조합으로 얻은 GCD Spearman 상관 분포. 행은 APD·PRT·AP+JSD·WiDiD, 열은 언어다. 별·노란 점·초록 점은 각각 마지막 네 층 합, 12층, 8층 결과를 표시한다. Periti & Tahmasebi (2024)의 Figure 2를 그대로 옮겼다(CC BY 4.0).

그림 3. RU의 세 시기쌍, NO의 두 시기쌍, ZH에서 길이 2–4의 모든 Transformer layer 조합으로 얻은 GCD Spearman 상관 분포. 표시는 그림 2와 같다. Periti & Tahmasebi (2024)의 Figure 3을 그대로 옮겼다(CC BY 4.0).

‘BERT 계열 모델의 성능’을 인코더 이름 하나로 요약할 수 없는 이유다. 층, 층 결합 방식, tokenization, 전처리를 함께 기록해야 한다.

6.4 다언어 공통 처리는 다언어 공정성의 완성이 아니다

처리를 통일하면 비교는 쉬워지지만, 언어마다 다른 형태론과 토크나이저 특성을 놓칠 수 있다. 라틴어 결과가 유독 낮은 이유로 저자들은 벤치마크 구축 방식과 품질 문제의 가능성을 언급한다. 어디까지나 가능성일 뿐, 확인된 결함은 아니다(§4.3).

---

7. 이 논문이 남긴 실용적인 평가 체크리스트

이 논문을 재현하거나 새 LSC 모델을 평가할 때는 점수만 남겨서는 부족하다. 다음 항목이 함께 고정되어야 비교가 가능하다. 목록은 논문의 실험 설계와 제한사항에서 뽑아 정리했다.

축	반드시 기록할 내용	이유
데이터	벤치마크 이름·버전·표적어 목록·사용례 표집	같은 벤치마크 이름 아래에도 실제 평가 표본이 다를 수 있다.
전처리	표제어 추출, 문맥 창, 절단 방식	언어별 구조와 긴 문맥 처리 차이가 embedding을 바꾼다.
모델	정확한 모델 식별자와 snapshot	호스팅 모델과 추가 학습된 인코더는 시간이 지나며 달라질 수 있다.
표현	층, 층 조합, subword pooling	중간 층이 마지막 층보다 강한 경우가 있다.
WiC	사람 근접도와의 상관	사용례 수준 의미 판단이 맞는지 확인한다.
WSI	ARI, Purity, 군집 수	과분할과 전체 분할 불일치를 분리한다.
GCD	지표와 집계 방식, Spearman	변화량 순위만으로 의미 설명을 대체하지 않는다.
비용	LLM 질의 수, API 버전, 예산	비용 제약이 언어·표본 범위를 결정할 수 있다.

---

8. 함께 읽을 관련 연구 방향

Periti와 Tahmasebi가 결론에서 요구하는 것은 변화의 정도를 넘어 어떻게, 언제, 왜 변했는지를 설명하는 모델이다. 아래 연구들은 이 논문의 직접적인 후속 계보라기보다, 같은 질문을 다른 방향에서 밀고 나간 작업들이다.

방향	관련 연구	함께 읽을 지점
사람이 읽을 수 있는 의미	Fedorova et al. (2024), Definition Generation	embedding과 군집을 자연어 정의로 변환해 변화 내용을 설명하려 한다.
다시점 변화	Periti et al. (2025), Incremental Semantic Shift Detection	두 시점 비교를 의미의 등장·소멸·지속 경로로 확장한다.
주석 견고성	Schlechtweg et al. (2024), More DWUGs	사용례 표집과 주석 회차가 정답 그래프에 미치는 영향을 재검토한다.
WSI의 미해결 문제	Mosolova et al. (2025)	비지도 WSI가 여전히 해결되지 않았음을 더 넓은 조건에서 점검한다.
모듈형 벤치마크	Schlechtweg et al. (2026), The LSCD Benchmark	WiC → WSI → LSCD 단계를 교환·평가 가능한 testbed로 운영화한다.
지표 민감도	Goworek & Dubossarsky (2026)	APD를 포함한 지표의 상대적 강점이 인코더와 표현 조건에 의존함을 분석한다.

함께 놓고 보면 이 논문의 값은 특정 순위표의 1위보다 평가 단위를 쪼개고 비교 조건을 공개하라는 요구에 있다. 논문 사이에 직접적인 역사적 계보가 있다는 뜻은 아니다. 이 글에서 제안하는 독해 방식이다.

---

9. 결론

이 논문이 남긴 결론은 두 갈래다.

첫째, 통제된 동일 조건의 표준 GCD에서는 APD의 보고값이 가장 높았고, 네 모델 가운데 XL-LEXEME가 가장 높은 표적어 수 가중 점추정치를 기록했다. XL-LEXEME + APD는 이 벤치마크 묶음에서 유력한 비교 기준이다. 다만 이 결과가 WiC 지도 신호만의 독립적 효과를 증명하지는 않는다.

둘째, 높은 GCD만으로 의미 변화가 설명되지는 않는다. 표준 APD·PRT는 WSI를 거치지 않는다. 계산 주석자 실험은 사용례 근접도·의미 유도·변화량 집계를 나눠 어느 단계에서 오류가 생기는지 보여 주지만, 러시아어에서는 의미 유도 없이 COMPARE를 쓴다. 사람의 의미 판단과 구조를 얼마나 복원했는지는 WiC와 WSI를 따로 봐야 알 수 있다.

읽고 나서 남겨야 할 질문도 “어떤 모델이 1등인가?”에서 한 걸음 더 나아간다.

그 1등은 의미 변화의 어느 단계를 잘 맞힌 것이며, 어느 단계의 오류를 아직 감추고 있는가?

그 질문은 definition generation, incremental change tracking, modular benchmark로 자연스럽게 이어진다.

---

References

• Cassotti, P., Siciliani, L., DeGemmis, M., Semeraro, G., & Basile, P. (2023). XL-LEXEME: WiC pretrained model for cross-lingual LEXical sEMantic changE. Proceedings of ACL 2023, 1577–1585. https://aclanthology.org/2023.acl-short.135/
• Fedorova, M., Kutuzov, A., & Scherrer, Y. (2024). Definition generation for lexical semantic change detection. Findings of ACL 2024, 5712–5724. https://aclanthology.org/2024.findings-acl.339/
• Giulianelli, M., Del Tredici, M., & Fernández, R. (2020). Analysing lexical semantic change with contextualised word representations. Proceedings of ACL 2020, 3960–3973. https://aclanthology.org/2020.acl-main.365/
• Goworek, K., & Dubossarsky, H. (2026). Rethinking metrics for lexical semantic change detection. Proceedings of LChange 2026, 147–161. https://aclanthology.org/2026.lchange-1.13/
• Laicher, S., Kurtyigit, S., Schlechtweg, D., Kuhn, J., & Schulte im Walde, S. (2021). Explaining and improving BERT performance on lexical semantic change detection. Proceedings of the EACL 2021 Student Research Workshop, 192–202. https://doi.org/10.18653/v1/2021.eacl-srw.25
• Mosolova, A., Candito, M., & Ramisch, C. (2025). In the LLM era, word sense induction remains unsolved. Findings of ACL 2025, 17161–17178. https://aclanthology.org/2025.findings-acl.882/
• Periti, F., Picascia, S., Montanelli, S., Ferrara, A., & Tahmasebi, N. (2025). Studying word meaning evolution through incremental semantic shift detection. Language Resources and Evaluation. https://doi.org/10.1007/s10579-024-09769-1
• Periti, F., & Tahmasebi, N. (2024). A systematic comparison of contextualized word embeddings for lexical semantic change. Proceedings of NAACL 2024, 4262–4282. https://doi.org/10.18653/v1/2024.naacl-long.240
• Pilehvar, M. T., & Camacho-Collados, J. (2019). WiC: The word-in-context dataset for evaluating context-sensitive meaning representations. Proceedings of NAACL-HLT 2019, 1267–1273. https://aclanthology.org/N19-1128/
• Schlechtweg, D., Hätty, A., Del Tredici, M., & Schulte im Walde, S. (2019). A wind of change: Detecting and evaluating lexical semantic change across times and domains. Proceedings of ACL 2019, 732–746. https://aclanthology.org/P19-1072/
• Schlechtweg, D., McGillivray, B., Hengchen, S., Dubossarsky, H., & Tahmasebi, N. (2020). SemEval-2020 Task 1: Unsupervised lexical semantic change detection. Proceedings of SemEval 2020, 1–23. https://aclanthology.org/2020.semeval-1.1/
• Schlechtweg, D., Tahmasebi, N., Hengchen, S., Dubossarsky, H., & McGillivray, B. (2021). DWUG: A large resource of diachronic word usage graphs in four languages. Proceedings of EMNLP 2021, 7079–7091. https://aclanthology.org/2021.emnlp-main.567/
• Schlechtweg, D., Cassotti, P., Noble, B., Alfter, D., Schulte im Walde, S., & Tahmasebi, N. (2024). More DWUGs: Extending and evaluating word usage graph datasets in multiple languages. Proceedings of EMNLP 2024, 14379–14393. https://aclanthology.org/2024.emnlp-main.796/
• Schlechtweg, D., Yadav, S., Kuhn, J., & Arefyev, N. (2026). The LSCD Benchmark: A testbed for diachronic word meaning tasks. Proceedings of the 15th Joint Conference on Lexical and Computational Semantics (*SEM 2026), 148–163. https://aclanthology.org/2026.starsem-conference.10/

---

Keywords: lexical semantic change, contextualized embeddings, GCD, WiC, WSI, APD, XL-LEXEME, diachronic semantics