Dynamic Contextualized Word Embeddings

Paper: Valentin Hofmann; Janet Pierrehumbert; Hinrich Schütze (2021). "Dynamic Contextualized Word Embeddings." Proceedings of ACL-IJCNLP 2021, 6970–6984. https://doi.org/10.18653/v1/2021.acl-long.542 · PDF

같은 “cool”도 문장에 따라 뜻이 달라지고, 같은 문장이라도 어느 시대·어느 사회 집단의 발화인지에 따라 쓰임이 달라질 수 있다. BERT류 contextualized embedding은 앞 문제에 강하지만, 기본 입력만으로는 시간이나 사회 공간을 별도 변수로 표현하지 않는다. DCWE는 이 두 맥락을 문장 문맥보다 앞단의 단어 표현에 주입한다.

심층 리뷰 보기

1. 문맥은 문장 안에만 있지 않다

정적 임베딩은 한 단어에 벡터 하나만 준다. BERT 같은 모델은 문장 안의 위치와 주변 단어를 반영하지만, 서로 다른 시기나 사용자 집단에 대한 별도 학습 신호를 설계에 넣지는 않는다. 기존 dynamic embedding은 시간 변화를 다루더라도 token 수준의 언어 문맥과 시간·사회 맥락을 한 모델에서 결합하지 않는 경우가 많았다(§1–2).

DCWE의 목표는 단어의 시간과 사회적 위치에 따라 달라지는 입력 표현을 먼저 만들고 그 뒤 문장 문맥화 모델에 넣는 것이다. 즉 ‘어느 시대·집단의 단어인가’와 ‘이 문장에서 어떻게 쓰였는가’를 두 단계로 다룬다. 두 단계는 함께 학습되므로 서로 완전히 독립된 의미 성분을 분리해 냈다는 뜻은 아니다.

2. 동적 오프셋을 먼저 만들고 BERT로 문맥화한다

먼저 모든 시기·집단에 공통인 단어 벡터가 있다. 여기에 특정 시기와 사회적 위치에 따른 오프셋을 더한 것이 동적 단어 타입 표현이다(원논문 Eq. 4). 예컨대 같은 “mask”라도 어느 달의 어느 온라인 집단에서 썼는지를 입력에 반영한다. 이는 계산 순서를 설명하는 예시이지, 그 단어의 실제 의미가 특정 달에 어떻게 바뀌었다는 실측 주장은 아니다. 이렇게 만든 입력을 BERT가 문장 속 다른 단어와 함께 처리해 각 출현의 문맥화 표현을 만든다(§3.1–3.4).

그림 1. Hofmann, Pierrehumbert, & Schütze (2021), ACL-IJCNLP 최종본 Figure 2, PDF 3쪽·인쇄 6972쪽. 빨간 부분은 시간·사회 조건부 입력을 만들고 파란 BERT 부분은 문장 문맥을 처리한다.

오프셋 생성에는 각 시간 단계의 사회 그래프를 처리하는 graph attention network와 feed-forward network가 쓰인다(§3.3). 동시에 가우시안 prior 두 개가 오프셋을 제약한다. 하나는 기본 벡터 근처에 머물게 하고, 다른 하나는 인접 시간의 표현에서 급격히 벗어나지 않게 한다(§3.2). 모든 단어가 매 시점에 크게 변한다는 식의 과적합을 줄이려는 장치다.

3. 무엇을 시험했나

저자들은 네 영어 자료를 썼다(원논문 Table 1): ArXiv 초록, Ciao 리뷰, Reddit 댓글, YELP 리뷰다. 자료마다 연도 또는 월 단위의 시간 표지와 사회 단위가 있다. 데이터를 시간 구간에 걸쳐 층화한 뒤 무작위로 학습 70%, 개발 10%, 시험 20%로 나눴다(§4). 그러므로 시험 세트는 완전히 보지 못한 미래 시기만 따로 떼어 놓은 평가가 아니다.

언어 모델링에서는 가린 토큰을 주변 문맥에서 맞히는 masked-language-model 지표를 쓴다. 논문은 이를 perplexity라 부르지만, 왼쪽에서 오른쪽으로 다음 토큰을 예측하는 자기회귀 언어모델의 통상적인 perplexity와 계산 대상이 다르다. 값이 낮을수록 이 논문 평가에서 좋다. 감정 분류에는 F1을 쓰고, 시각화에는 특정 단어의 시간·사회별 연관 패턴을 제시한다.

이 설정은 “DCWE가 일반 BERT를 모든 NLP 과제에서 대체한다”는 시험이 아니다. 외부 언어·사회 정보가 실제로 주어지고, 시간 단위와 사회 그래프를 정의할 수 있는 자료에서 그 정보가 도움이 되는지 보는 실험이다.

4. 결과가 말하는 것

시험 세트의 masked-LM perplexity에서 DCWE와 시간·사회 오프셋이 없는 정적 CWE를 비교하면 ArXiv는 3.513 대 3.530, Ciao는 5.902 대 5.910, YELP는 4.720 대 4.723이다(원논문 Table 2, 인쇄 6975쪽). 이 세 자료에서 DCWE가 조금 낮다. 그러나 Reddit에서는 DCWE 9.596이 CWE 9.555보다 높아 오히려 나쁘다. 네 자료 모두에서 개선했다는 결론은 성립하지 않는다. 점수 차이도 작으므로 큰 보편적 성능 향상으로 표현하지 않는 편이 정확하다.

감정 분류의 시험 F1은 Ciao에서 DCWE 0.896 대 CWE 0.890, YELP에서 0.968 대 0.966이다(Table 5, 인쇄 6978쪽). 이는 해당 감정 분류 설정에서의 작은 차이다. 저자들은 시간·사회 요소를 제거하는 ablation도 제시한다. 서로 다른 결과표를 한 성능 수치로 합치지 않고 과제·비교법·시험 분할을 함께 읽어야 한다.

그림 2. Hofmann, Pierrehumbert, & Schütze (2021), ACL-IJCNLP 최종본 Figure 4, PDF 8쪽·인쇄 6977쪽. ArXiv의 “network/learning”, Reddit의 “mask/vaccine” 연관 패턴을 보이는 정성 사례다. 사회 연결을 통한 인과적 확산 검증은 아니다.

결과는 세 층으로 나눠 읽으면 좋다. 첫째, 오프셋과 문맥화의 결합은 방법 자체다. 둘째, 네 영어 자료의 지표 결과는 무작위 시간 층화 분할에서 얻은 실험 근거다. 셋째, 시각화로 읽는 언어 변화는 정성 분석이다. 마지막 층을 일반 법칙으로 넓히려면 다른 공동체와 미래 시기 분할에서도 재현이 필요하다.

5. 적용 조건과 비용

DCWE는 시간 라벨, 사회 관계 또는 집단 정보, 그리고 이들을 연결할 충분한 텍스트가 필요하다. 그런 정보가 없거나 사회 그래프가 희소·오류가 많다면 동적 성분이 안정적으로 학습될지 별도 점검해야 한다. 또한 BERT를 미세조정하면서 시간별 그래프 구성 요소를 함께 학습하므로, 정적 임베딩이나 단순 BERT보다 데이터 준비와 실험 관리가 복잡하다. 이는 논문의 구조에서 직접 따르는 실무적 조건이다.

가우시안 prior는 부드러운 변화를 선호한다. 그래서 매우 급격한 신조어 확산이나 단절적 의미 전환은 prior 세기와 시간 구간 설정에 민감할 수 있다. 논문은 이 현상을 보편적으로 정량화한 것은 아니므로, 적용 전에는 ablation과 시간 단위 민감도 검사가 적절하다.

6. 정리

DCWE는 단어의 사회·시간별 타입 표현을 만들고 이를 문장 문맥화로 넘긴다. 이 분리는 “누가 언제 쓰는가”와 “문장에서 무엇을 뜻하는가”를 함께 다루기 위한 모델링 선택이다. 그 효용은 외부 맥락이 잘 정의된 영어 자료에서 제시되었으므로, 다른 언어·플랫폼에 적용할 때는 데이터 구조와 평활 가정을 함께 검증해야 한다.

References

Hofmann, V., Pierrehumbert, J., & Schütze, H. (2021). Dynamic contextualized word embeddings. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 6970–6984. https://doi.org/10.18653/v1/2021.acl-long.542