Heterogeneous Graph Neural Network

Paper: Chuxu Zhang; Dongjin Song; Chao Huang; Ananthram Swami; Nitesh V. Chawla (2019). "Heterogeneous Graph Neural Network". Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 793–803. PDF.

한눈에 보기

이종 그래프의 노드는 연결 형태만 다른 것이 아니다. 학술 그래프에서는 저자는 프로필, 논문은 초록, 학회는 범주처럼 서로 다른 콘텐츠를 가진다. HetGNN은 이 두 이질성을 함께 다룬다. 먼저 restart random walk로 각 노드와 강하게 연결된 이웃을 뽑고 타입별로 묶는다. 그다음 노드 콘텐츠를 인코딩하고, 같은 타입 이웃을 합친 뒤, 타입들 사이의 영향은 attention으로 다시 합친다.

“이웃을 많이 볼수록 좋다”는 뜻은 아니다. 논문은 타입별 고정 개수의 이웃만 사용하며, 너무 많은 이웃은 관련 없는 잡음을 섞을 수 있다고 실험에서 보고한다. HetGNN은 구조·텍스트·이미지 등의 입력이 실제로 준비되어 있고, 이웃 타입의 역할이 다른 문제에 맞는 임베딩 방법이다.

1. 출발점: 이웃과 내용이 모두 다르다

논문은 세 문제를 든다. 첫째, 어떤 이종 이웃이 대상 노드와 강하게 관련됐는지 표본을 어떻게 고를까. 둘째, attribute·text·image처럼 양식이 다른 내용을 어떻게 깊게 결합할까. 셋째, 저자·논문·학회처럼 타입이 다른 이웃 그룹을 같은 비중으로 취급하지 않으려면 어떻게 해야 할까.

그 해결 순서는 고정돼 있다. restart random walk의 방문 빈도로 이웃을 고르고 타입별 그룹으로 나눈다. 이는 전체 그래프의 모든 이웃을 attention으로 훑는 모델이 아니라, 표본화 단계가 최종 표현을 결정하는 모델이다.

그림 1. Zhang et al. (2019), Figure 1, PDF p. 2의 원도판. 이종 구조, 이종 콘텐츠, 타입별 이웃 영향이라는 문제 설정을 보인다. 그림은 특정 타입이 항상 더 중요하다는 일반 법칙을 제시하지 않는다.

2. 세 겹의 표현 만들기

첫째, 콘텐츠 인코더는 각 노드의 여러 콘텐츠를 Bi-LSTM으로 합쳐 content embedding을 만든다. 학술 데이터에서는 논문 초록의 Par2Vec 특징과 DeepWalk 사전학습 표현을, 리뷰 데이터에서는 텍스트·이미지·사전학습 표현을 사용했다. HetGNN 자체가 원시 텍스트나 이미지를 끝에서 끝까지 학습했다는 뜻은 아니다.

둘째, 같은 타입의 이웃 그룹은 별도 Bi-LSTM으로 모은다. restart random walk의 방문 빈도는 타입별 상위 k개 이웃을 선택하는 기준이다. 논문은 선택된 이웃을 순서 없는 집합으로 설명하며, 방문 빈도로 Bi-LSTM 입력 순서를 정한다는 규칙은 제시하지 않는다. 셋째, 타입별 그룹 표현을 attention 점수로 가중합해 최종 노드 embedding을 얻는다. 마지막 학습 신호는 DeepWalk와 비슷하게 중심 노드와 random-walk 문맥 노드가 가까워지도록 하는 graph-context loss이며 negative sampling으로 근사한다.

그림 2. Zhang et al. (2019), Figure 2, PDF p. 4의 원도판. (a) 전체 표본화·처리 흐름, (b) 콘텐츠 인코딩, (c) 같은 타입 이웃의 집계, (d) 타입 그룹 attention과 결합을 보인다. attention 값은 학습된 결합 계수이며 인과적 기여도는 아니다.

3. 예로 보는 동작

논문의 시간 분할 실험처럼 2013년 뒤에 등장한 저자를 생각해 보자. 관측된 콘텐츠와 연결을 바탕으로 각 타입의 이웃을 선택하고, 해당 타입의 정보를 따로 합친 뒤 attention으로 결합한다. 그러나 실험의 학술 노드 콘텐츠에는 DeepWalk로 미리 학습한 ID 표현도 들어간다. 따라서 “초록과 링크만 있으면 임의의 새로운 ID에 즉시 적용된다”는 결론은 성립하지 않는다. 새 노드에 필요한 사전학습 특징을 어떻게 확보하거나 처리하는지, 연결과 콘텐츠가 어느 시점에 관측되는지를 함께 정해야 한다. 논문이 보여 준 유도적 결과는 제시된 시간 분할과 입력 처리 조건에 한정된다.

4. 저자 보고 결과와 조건

논문은 AMiner 기반 학술 그래프 A-I·A-II와 Amazon 리뷰 그래프 두 개를 사용했다(Table 2). A-I2003은 링크 예측에 쓰인 학술 데이터의 2003년 분할이다. 이 실험의 type-1은 저자–저자 공동연구, type-2는 저자–논문 인용 관계다. Table 3에서 type-1 HetGNN의 AUC/F1은 0.714/0.620, GAT은 0.701/0.606이다. type-2에서는 각각 0.837/0.815와 0.821/0.792였다. 즉 이 두 관계와 분할에서는 HetGNN이 비교 GAT보다 높았다.

A-II2013은 2013년 시점을 기준으로 새 노드를 평가하는 별도 학술 데이터다. Table 6의 유도적 분류에서 학습 비율 10%일 때 HetGNN Macro/Micro-F1은 0.962/0.965, GAT은 0.954/0.958이었다. 같은 표의 유도적 군집화 NMI/ARI는 HetGNN 0.840/0.894, GAT 0.765/0.803이다. A-I의 링크 AUC와 A-II의 노드 분류 F1은 과제도 분할도 달라 직접 비교할 수 없다.

결과의 대상은 시간 기준으로 나눈 링크와 선택한 네 연구 분야의 저자다. 링크 예측에서는 훈련 시점 뒤의 새 링크와 같은 수의 무작위 음성 링크를 평가했으며, 추천은 top-k의 Recall·Precision·F1을 썼다. 따라서 이 결과를 모든 이종 그래프에서의 범용 정확도나 실제 추천의 사용자 만족도로 해석하면 안 된다.

5. 적용 전에 확인할 것

HetGNN은 콘텐츠가 빈약하거나 타입별 이웃 수가 매우 불균형한 그래프에서 그대로 강점을 보장하지 않는다. 논문 설정도 학술 데이터에선 저자·논문·학회 이웃을 각각 10·10·3개, 리뷰 데이터에선 사용자·아이템 이웃을 10·10개로 고정했다. A-II2013에서 표본 크기를 6에서 34까지 바꾼 민감도 분석은 이웃 수 20–30 부근이 좋고 그 뒤는 낮아질 수 있다고 보고한다. 이는 표본 크기를 데이터에 맞춰 검증해야 한다는 뜻이다.

또한 attention은 타입 그룹을 섞는 학습 파라미터다. 특정 타입이 실제로 ‘더 중요한 원인’이었다는 주장이나, 텍스트·이미지 콘텐츠가 설명 가능한 근거로 사용됐다는 검증은 이 논문에 없다.

더 긴 모델·실험 분석은 심화 보기에서 확인할 수 있다.

References

Zhang, C., Song, D., Huang, C., Swami, A., & Chawla, N. V. (2019). Heterogeneous graph neural network. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 793–803. https://doi.org/10.1145/3292500.3330961