RAG vs. GraphRAG: A Systematic Evaluation and Key Insights

Paper: Haoyu Han; Li Ma; Yu Wang; Harry Shomer; Yongjia Lei; Zhisheng Qi; Kai Guo; Zhigang Hua; Bo Long; Hui Liu; Charu C. Aggarwal; Jiliang Tang (2026). "RAG vs. GraphRAG: A Systematic Evaluation and Key Insights". arXiv:2502.11371v3 / PDF

RAG는 질문과 관련된 원문 조각을 찾아 답변 모델에 넣는다. GraphRAG는 그 원문에서 개체와 관계, 공동체 요약, 계층 구조 등을 만들어 검색에 쓴다. 그러면 “그래프가 RAG보다 좋은가?”라는 질문이 자연스럽지만, Han et al.의 답은 단순한 승패표가 아니다. 그래프를 쓰는 방식마다 마지막에 모델이 읽는 근거가 다르고, 입력 길이와 비용도 달라진다. 이 논문은 그 차이를 같은 평가 흐름 안에서 살핀 비교 연구다.

1. 먼저 GraphRAG가 무엇인지 나눠 보자

여기서 RAG는 주로 원문 chunk를 가져오는 vector retrieval이다. 반면 GraphRAG에는 적어도 네 계열이 섞인다. triple만 전달하는 KG 방식, triple과 원문을 함께 주는 방식, community 요약을 쓰는 Local·Global 방식, 그리고 그래프로 검색을 돕되 원문 chunk를 유지하는 HippoRAG2가 있다. RAPTOR처럼 계층적 요약 트리를 쓰는 방법도 포함된다. 따라서 같은 ‘GraphRAG’라는 이름이 같은 정보 손실이나 같은 추론 능력을 뜻하지는 않는다.

예를 들어 “두 인물의 관계를 여러 문서에서 연결하라”는 질문에는 개체 사이 연결을 드러내는 표현이 도움이 될 수 있다. 반대로 날짜, 수식어, 문장 속 단서가 중요한 상세 질문은 triple로 압축하면서 빠질 수 있다. 이 논문은 그래프 자체를 만능 기능으로 보지 않는다. 무슨 근거를 어떤 단위로 독자 모델에 전달하는가를 비교한다.

그림 1. Han et al. (2026), Figure 1, arXiv v3 PDF p. 4의 원도판이다. NQ와 MultiHop-RAG에서 rerank, 기본 검색, IRCoT의 순위가 방법마다 달라진다. 그래프 유무만이 아니라 재정렬과 반복 검색도 결과를 바꾸며, 그림의 MultiHop-RAG 축 표기와 본문 지표 정의가 다르므로 본문 표의 accuracy와 같은 숫자로 합산하면 안 된다.

2. ‘top-10’이 같아도 읽는 양은 다르다

저자들은 같은 corpus, chunking, generator를 두고 검색 결과를 저장한 뒤 답변을 생성한다. 이 통제는 중요하다. 하지만 top-10이라는 검색 개수만 같다고 조건이 같아지지는 않는다. MultiHop-RAG에서 일반 RAG의 상위 10개 근거는 3,631 tokens였고, Community Local은 9,770 tokens였다. Local의 한 단위에는 관계와 주변 문맥이 함께 조립될 수 있기 때문이다.

저자들이 RAG의 입력을 늘려 Local과 토큰량을 맞춘 실험에서 이 차이가 드러난다. Llama-3.1-8B에서 MultiHop-RAG 전체 점수는 token-matched RAG 69.33, Local 69.01이었다. 그렇다고 구조의 이점이 사라졌다고 말할 수는 없다. 같은 표의 Temporal 질문에서는 Local이 50.60, 토큰을 맞춘 RAG가 36.71이었다. 긴 문맥이 설명하는 부분과 시간·관계 표현이 설명하는 부분을 분리해야 한다.

3. 평균 점수보다 질문의 모양을 읽는다

기본 8B 결과에서 NQ F1은 RAG 64.78이 가장 높았다. HotpotQA에서는 HippoRAG2가 63.01로 RAG 60.04보다 높고, MultiHop-RAG accuracy도 HippoRAG2 70.27, RAG 67.02였다. 그러나 triple-only KG-GraphRAG는 세 과제에서 각각 34.28, 25.02, 41.24로 훨씬 낮다. ‘multi-hop이면 GraphRAG’라는 규칙보다, 원문을 보존하는 graph-guided retrieval과 압축된 triple retrieval을 구별하는 편이 정확하다.

Community Local도 모든 유형에서 이기지 않는다. MultiHop-RAG에서 Local은 Temporal 50.60으로 RAG 30.70보다 높지만, Null 질문에서는 RAG 96.01, Local 80.07이다. Null은 현재 근거로 답할 수 없음을 판단해야 하는 유형이다. 더 넓은 관계 문맥이 답을 만들게 하는 일과, 모른다고 멈추게 하는 일은 서로 다른 능력이다.

그림 2. Han et al. (2026), Figure 2, arXiv v3 PDF p. 5의 원도판이다. 대각선 밖은 한 방법만 맞힌 비율이며 MultiHop-RAG에서는 RAG-only 11.6%, Community Local-only 13.6%가 관찰된다. 이는 두 경로가 보완할 가능성을 보일 뿐, 실제 서비스에서 어느 경로를 고를 분류기가 이미 존재하거나 결합이 항상 이긴다는 증거는 아니다.

4. 함께 쓰는 전략도 공짜가 아니다

저자들은 RAG와 Community Local을 섞는 두 방식을 시험한다. Selection은 질문마다 한 방법을 고르고, Integration은 양쪽 근거를 모두 읽힌다. 8B의 MultiHop-RAG에서 Figure 3은 Selection이 두 단독 방법보다 높은 결과를 보여 준다. Appendix Table 21은 RAG 67.02, Local 69.01, Integration 68.19를 보고하므로 Integration은 RAG보다 높지만 Local보다 낮다. Figure 3의 Integration 막대는 이 표의 정확한 값과 시각적으로 맞지 않아 보이므로, 여기서는 표의 수치를 우선하고 그림으로 정밀한 수치를 추정하지 않는다. 70B의 Integration 77.62도 논문의 특정 selector·generator·데이터셋 설정에서의 수치다.

통합은 두 검색을 모두 실행하므로 구축·검색·입력 비용을 따로 고려해야 한다. 또한 요약에서는 참조문과 비슷한지, 다양한 내용을 다루는지, 사람 또는 LLM judge가 어느 답을 선호하는지가 서로 다른 질문이다. 저자들은 답변 순서만 바꿔도 LLM judge의 선호가 바뀌는 위치 편향을 보고한다. 따라서 하나의 선호 점수를 ‘더 사실적인 GraphRAG’의 증거로 읽기 어렵다.

5. 적용할 때의 체크리스트

이 논문은 GraphRAG 도입 결정을 위한 유용한 출발점이다. 우선 실제 질문을 상세 사실, 관계 결합, 시간 비교, 답변 보류가 필요한 질문으로 나눠 본다. 다음으로 원문 chunk, 그래프 구조, 요약이 각각 어떤 정보를 버리는지 점검한다. 마지막으로 같은 top-k가 아니라 입력 tokens, 그래프 구축 비용, reranking과 반복 검색 비용까지 맞춘 비교를 해야 한다.

논문은 공개 arXiv v3(2026년 3월 4일)를 기준으로 읽어야 한다. KDD 2026 출판 정보는 있으나 이 리뷰의 표·그림·수치는 공개 v3에서 확인했다. 이 글은 시스템을 재실행하거나 최종 ACM 판과 대조하지 않았으며, 해당 버전의 조건부 결과를 해설한다.

References

Han, H., Ma, L., Wang, Y., Shomer, H., Lei, Y., Qi, Z., Guo, K., Hua, Z., Long, B., Liu, H., Aggarwal, C. C., & Tang, J. (2026). RAG vs. GraphRAG: A systematic evaluation and key insights (arXiv:2502.11371v3). https://arxiv.org/abs/2502.11371v3

심층 리뷰 보기