Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence

Paper: Yuankai Luo; Lei Shi; Xiao-Ming Wu (2025). "Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence." arXiv:2502.09263v3. PDF · arXiv record

1. 질문은 ‘GNN 대 Transformer’보다 비교의 출발선이다

그래프 전체의 성질을 예측하는 분자 분류·회귀나 코드 그래프 과제에서는 Graph Transformer(GT)가 고전 메시지 전달 GNN보다 낫다는 인식이 강했다. 이 논문은 그 결론을 곧장 뒤집기보다 더 소박한 질문을 던진다. GCN, GIN, GatedGCN에 현재 GT 훈련에서 흔한 구성요소를 빠짐없이 넣고 같은 정도로 탐색했다면, 기준선은 어디까지 올라가는가?

여기서 그래프 수준 과제란 그래프 하나가 하나의 예측 단위가 되는 경우를 중심으로 한다. 다만 논문 목록에는 그래프 단위로 분할된 inductive 노드 분류도 포함된다(Table 1). 따라서 “그래프 전체만 예측했다”로 읽으면 범위를 좁혀 버린다. 저자들은 새 모델을 제안할 때 먼저 튜닝된 고전 모델과 비교하자는 평가 원칙을 제시한다.

그림 1. arXiv:2502.09263v3 PDF p. 1의 Figure 1 원도판을 인용했다. 위는 여러 그래프가 분할 단위인 그래프 수준 과제, 아래는 하나의 큰 그래프에서 노드가 분할되는 과제를 보인다. 이 글의 범위는 전자와 그래프 단위 inductive 분할이다.

2. GNN+는 새 메시지 전달식보다 ‘현대식 블록’이다

GNN+는 기본 메시지 전달 뒤에 엣지 특징 주입 → 정규화 → 활성화·드롭아웃 → 잔차 연결 → FFN을 놓고, 입력에는 위치 인코딩(PE)을 더한다(§3, 식 6–12). 즉 이웃 합산 자체를 발명한 것이 아니라, GCN·GIN·GatedGCN이 사용할 수 있는 여섯 장치를 하나의 탐색 가능한 블록으로 만든 것이다. FFN은 각 노드 표현을 한 번 더 비선형 변환하고, 잔차는 깊어진 층에서 정보와 기울기가 사라지는 일을 줄인다. 엣지 특징은 분자의 결합이나 슈퍼픽셀의 공간 관계처럼 ‘연결됨’ 이상의 정보를 메시지에 넣는다.

그림 2. arXiv:2502.09263v3 PDF p. 3의 Figure 2 원도판을 인용했다. 위치 인코딩은 입력에서 결합되고, 각 층은 메시지 전달·정규화·드롭아웃·잔차·FFN으로 구성된다. ‘classic’이라는 말은 이 추가 장치들을 제외한다는 뜻이 아니다.

예를 들어 분자 그래프라면 원자는 노드, 결합은 엣지다. 단순 GCN이 이웃 원자 표현을 평균 내는 데 머문다면, GNN+는 결합 종류를 메시지에 넣고, 여러 층을 안정적으로 쌓은 뒤, 노드들의 표현을 합쳐 분자 하나의 예측을 낸다. 다섯 구성요소는 on/off를 고르고, 여섯째인 드롭아웃은 0을 포함한 비율을 조정한다. 층수 등도 검증셋에서 고른다. 이 때문에 결과는 ‘기본 GCN을 한 번 돌린 값’이 아니라 설계 공간을 탐색한 강한 기준선의 값이다.

3. 무엇을 얼마나 잘했나

평가는 GNN Benchmark 5개, LRGB 계열 5개, OGB 4개로 총 14개 데이터셋이며, 각 설정은 5개 시드 평균과 표준편차로 보고된다(§4, Tables 1–4). 세 GNN+ 변형 가운데 하나는 모든 데이터셋에서 상위 3위에 들고, 8개에서 1위를 기록했다고 저자들은 요약한다. 예컨대 GatedGCN+는 MNIST에서 98.712±0.137, CIFAR10에서 77.218±0.381을 보고했고(Table 2), GCN+는 Peptides-func에서 0.7261±0.0067을 보고한다(Table 3).

이 결과가 세 모델 모두 항상 동시에 강했다는 뜻은 아니다. 데이터셋별로 가장 잘 맞는 변형 하나가 상위권에 드는 결과다. ZINC에서는 TIGT와 GRIT가 GIN+보다 좋은 수치를 보이고, PascalVOC-SP와 COCO-SP에서는 다른 계열이 앞선다(Tables 2–3). 또한 ‘GT보다 빠르다’는 효율 비교는 MalNet-Tiny에서 GraphGPS 46초/epoch, GCN+ 6초/epoch라는 Table 3의 약 7.7배 비교이며, 모델 크기와 구현 조건이 완전히 같은 모든 조합의 보편 법칙은 아니다.

4. ablation이 알려 주는 실용적 교훈

Table 5–6의 한 요소 제거 실험은 성능이 단일 비결에서 나오지 않음을 보여 준다. 분자·슈퍼픽셀에서는 엣지 특징을 뺐을 때 손실이 크고, 큰 데이터셋에서는 정규화의 영향이 커진다. GIN+에서 FFN을 제거한 MNIST 성능은 98.285에서 11.350으로 크게 떨어졌고(Table 5), 저자들은 그래프 수준 과제에서 FFN이 특히 중요하다고 해석한다. 반대로 최적으로 고른 드롭아웃의 97%는 0.2 이하였다고 보고한다(§5.2). 깊이, 데이터 규모, 엣지 의미에 따라 필요한 장치가 달라진다는 뜻이다.

이 결과를 재현하거나 새 모델을 비교할 때는 ‘GNN+를 이겼는가’만 묻지 말고 조건을 기록해야 한다. 어떤 PE를 썼는지, 엣지 속성이 실제로 있는지, 층수·파라미터 예산·탐색 범위가 같은지 함께 밝혀야 한다. 그래야 아키텍처 차이와 학습 조리법 차이를 구분할 수 있다.

5. 이 결과가 말하지 않는 것

저자들도 결론이 현재 벤치마크의 경험적 결과라고 제한한다(§7). GNN+가 GT의 전역 어텐션 필요성을 이론적으로 반증한 것은 아니며, 더 긴 거리·더 복잡한 실제 그래프에서 상대 우위는 달라질 수 있다. GNN+ 안의 FFN과 PE는 GT에서 널리 쓰인 장치이기도 하므로, “고전 GNN”이라는 이름만 보고 최소한의 메시지 전달과 비교해서는 안 된다.

따라서 이 논문을 가장 유용하게 읽는 법은 승자 선언이 아니라 공정한 기준선의 명세서로 보는 것이다. 그래프 과제에서 새 전역 메커니즘을 주장하려면, 적어도 엣지 특징·정규화·잔차·FFN·PE와 데이터셋별 튜닝을 갖춘 GNN 기준선을 함께 제시해야 한다.

강한 기준선으로 채택할 때

새 graph-level 모델을 평가한다면 GNN+는 “기본 GCN 한 번”보다 공정한 비교 출발점이 된다. 다만 논문의 결과는 GCN·GIN·GatedGCN에 edge feature, normalization, dropout, residual connection, FFN, positional encoding을 결합하고 14개 데이터셋에서 검증한 설정이다(arXiv:2502.09263v3). 비교표에는 어떤 구성요소와 탐색 범위를 썼는지까지 함께 적어야 아키텍처 효과와 튜닝 효과를 분리할 수 있다.

심층 보기

References

Luo, Y., Shi, L., & Wu, X.-M. (2025). Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence (arXiv:2502.09263v3). https://arxiv.org/abs/2502.09263v3