ICLR 2026 XAI는 무엇을 믿을 수 있나: 설명 생성에서 검증과 개입으로

Corpus: ICLR 2026 본회의 Oral·Poster 가운데 explanation faithfulness, mechanistic interpretability, sparse autoencoder, concept·data attribution, temporal explanation, spuriousness·fairness audit, GNN explanation을 직접 다룬 논문을 선별했다. 채택 여부와 최종 버전은 공식 ICLR 2026 Papers와 OpenReview를 기준으로 다시 확인했다.

Abstract: ICLR 2026 XAI 논문에서 거듭 등장한 질문은 설명을 어떻게 만들 것인가보다, 그 설명이 담은 주장을 어떻게 검증할 것인가였다. Feature attribution은 perturbation이 만든 분포 밖 입력을 문제 삼고, mechanistic interpretability는 activation label을 넘어 weight와 circuit interaction을 추적한다. Sparse autoencoder 연구는 사람이 이해하기 쉬운 feature와 실제 steering에 유용한 feature가 다를 수 있음을 보인다. Concept attribution은 특정 object나 style의 학습에 영향을 준 샘플을 찾고, temporal XAI는 정적인 설명이 놓친 시간 구조와 예측 변화를 다룬다. GNN XAI에서는 self-explainable model조차 결정 과정과 무관한 설명을 낼 수 있다는 반례와 이를 걸러내는 평가가 등장했다. 그렇다고 하나의 통일된 평가 체계가 마련된 것은 아니다. 자연어 설명, sparse latent, circuit, training-data influence, temporal heatmap, graph substructure는 서로 다른 주장을 하므로 같은 fidelity 점수로 비교할 수 없다. 이 글은 공식 채택이 확인된 대표 논문들의 질적 종합이며, 전체 프로그램에 대한 전수 계량 분석은 아니다.

---

Executive Summary

항목	설명
분석 질문	ICLR 2026의 XAI 연구는 설명의 생성, 검증, 개입, 실제 효용을 어떻게 다시 정의했는가?
근거 범위	공식 프로그램에서 관련 논문을 탐색한 뒤 채택 상태와 최종 버전을 재확인했다. 참고문헌의 대표 논문을 주요 근거로 삼았으며, 논문 수로 분야 비중을 추정하지 않았다.
핵심 판정	설명 생성을 대체한 것이 아니라, 여러 하위 분야에서 설명의 주장을 직접 시험하라는 evaluation-first 기준이 더 분명해졌다.
중심 관찰	faithfulness audit, circuit·information-flow 분석, SAE 해석 가능성과 utility의 분리, 분포를 고려한 attribution, GNN 설명의 검증·인증
부상 중인 흐름	concept-level data attribution, temporal·dynamic XAI, 해석 결과를 steering·mitigation에 연결하는 연구
주의할 점	plausibility, faithfulness, identifiability, stability, utility, causality는 서로 바꿔 쓸 수 없다. 논문별 설명 대상과 개입 방식이 달라 저자 보고 수치를 순위처럼 비교해서도 안 된다.

목차

1. 조사 범위와 분석 틀
2. 설명 생성에서 설명 검증으로
3. Mechanistic interpretability는 activation을 넘어 어디로 가는가
4. SAE: 해석 가능한 feature와 유용한 feature는 같은가
5. Attribution의 질문이 분화된다
6. XAI 기반 audit의 두 사례
7. GNN XAI가 응축해 보여 주는 평가 문제
8. ICLR 2024–2026: 검증 의제의 연속성과 2026년에 강해진 신호
9. 아직 해결되지 않은 연구 질문
10. 결론

---

1. 조사 범위와 분석 틀

1.1 무엇을 XAI 연구로 보았나

interpretability나 explainability라는 단어가 들어간 논문을 모두 모으면 범위가 지나치게 넓어진다. 반대로 saliency map이나 feature attribution만 XAI로 간주하면 ICLR 2026에서 두드러진 mechanistic interpretability와 model audit 연구를 놓친다. 이 글은 설명이 무엇인지보다 연구가 어떤 주장을 검증하려 하는지를 기준으로 코퍼스를 나눴다.

분석 축	설명 대상	대표 질문
Post-hoc explainability	feature attribution, rationale, subgraph	어떤 입력 요소가 예측에 기여했는가?
Mechanistic interpretability	feature, weight, component, circuit	모델 내부에서 어떤 계산 경로가 작동했는가?
Representation interpretation	SAE latent, subspace, temporal feature	내부 표현을 어떤 의미 단위로 분해할 수 있는가?
Data·concept attribution	training sample과 concept의 연결	특정 개념을 학습하는 데 어떤 데이터가 영향을 주었는가?
Dynamic explanation	prediction change, temporal information flow	시간이 흐르며 예측이나 표현이 왜 달라졌는가?
Trustworthy XAI	spuriousness, fairness, sufficiency, certification	설명이 위험한 의존성과 평가 실패를 드러낼 수 있는가?

공식 프로그램에서 관련 제목을 넓게 탐색한 다음, OpenReview와 최종 논문에서 본회의 채택 여부와 기여 범위를 확인했다. 따라서 유사한 문제를 다루더라도 ICLR 2026 본회의 채택을 확인할 수 없는 워크숍 논문은 핵심 코퍼스에서 제외했다.

1.2 설명의 품질은 하나의 점수가 아니다

서로 다른 논문을 같은 질문 아래 놓기 위해 네 가지 간극을 구분했다.

간극	검토 질문	대표 실패
Grounding gap	설명이 실제 입력·activation·weight·graph·training data에 대응하는가?	자연어 label은 그럴듯하지만 feature와 일관되지 않음
Faithfulness gap	설명이 대상 모델의 계산이나 행동을 반영하는가?	모델이 쓰지 않는 shortcut을 설명으로 제시
Evaluation gap	metric이 이미 잘못되었다고 아는 설명을 낮게 평가하는가?	degenerate explanation도 높은 fidelity 획득
Utility gap	높은 설명 점수가 제어·감사·의사결정에 도움이 되는가?	읽기 쉬운 feature가 steering에는 무용함

설명 품질은 하나의 숫자로 압축하기보다 다음 네 축으로 나눠 보는 편이 안전하다. 아래 식은 개별 논문의 공식이 아니라 이 글의 비교를 위한 재구성이다.

여기서 G는 grounding, F는 model faithfulness, S는 seed·표본·분포 변화에 대한 stability, U는 실제 utility다. 한 축의 점수가 높다고 다른 축까지 자동으로 높아지는 것은 아니다.

1.3 모든 fidelity는 평가 분포에 조건부다

설명이 주장하는 바를 개입으로 시험하는 과정을 더 추상화하면 다음처럼 쓸 수 있다.

E는 설명 객체, C_E(\iota)는 개입 \iota의 결과에 대해 설명이 암시하는 주장, O_f(\iota)는 대상 모델에서 실제로 관찰한 결과다. \Pi는 평가에 사용한 사례와 개입의 분포이며, A는 주장과 관측의 일치도를 뜻한다.

E, O_f, \Pi, A는 분야마다 다르다. SAE feature의 activation 예측 점수와 GNN subgraph 삭제 후의 출력 변화, diffusion model의 concept influence ranking은 같은 종류의 fidelity가 아니다. 이런 수치를 하나의 리더보드에 놓으면 설명 대상과 평가 분포의 차이가 사라진다.

---

2. 설명 생성에서 설명 검증으로

2.1 여러 metric을 잘 맞추면 faithful한가

Learning for Highly Faithful Explainability는 기존 explainer가 만든 설명을 faithfulness 기준으로 선별하고 중복을 제거해 학습 신호를 만든다. DeepFaith는 이 supervised signal과 self-supervised objective를 동적으로 결합해 amortized explainer를 학습한다. 이 explainer는 새 입력마다 별도 최적화를 거치지 않고 곧바로 설명을 내며, 저자들은 이를 image, text, tabular data에 적용했다. 논문에 사용된 열 개 faithfulness metric 전반에서는 기존 방법보다 일관되게 높은 순위를 보고한다.

DeepFaith는 explanation generation과 evaluation을 분리된 사후 단계로 두지 않고, 평가 신호를 explainer 학습에 넣는다. 다만 기존 explainer가 후보 공간을 정하고 같은 metric이 학습 목표와 평가 기준에 들어가므로 순환성은 남는다. 여러 metric에서 높은 순위를 얻었다는 사실은 그 metric 묶음에 대한 강건성을 뒷받침하지만, 모델의 실제 인과 메커니즘을 복원했다는 증명은 아니다.

2.2 Perturbation은 설명이 아니라 artifact를 측정할 수 있다

Feature attribution의 faithfulness는 보통 중요한 feature를 지우거나 바꾸었을 때 예측이 얼마나 달라지는지로 측정한다. 하지만 zero masking과 같은 조작이 학습 분포에서 멀리 떨어진 입력을 만들면, 출력 변화는 feature의 중요성보다 모델이 낯선 입력에 반응한 결과일 수 있다.

Faithfulness Under the Distribution은 이 문제를 attribution metric의 부차적 noise가 아니라 평가 설계의 핵심으로 다룬다. 삭제된 부분을 diffusion model로 복원해 더 자연스러운 perturbation을 만들고, attribution을 입력 분포 위에서 평가하려 한다. 무엇을 지울 것인가뿐 아니라 지운 뒤 무엇으로 대체할 것인가도 결과를 좌우한다.

그림 1. 왼쪽은 INS·DEL·INFID의 마스킹 샘플이 데이터 분포 밖으로 이동할 수 있는 반면, FUD가 diffusion으로 샘플을 데이터 분포 쪽에 되돌리는 생각을 보여 준다. 오른쪽은 score field를 따라 분포의 mode로 이동하는 Langevin trajectory의 예시다. Zhu et al. (2026)의 원 논문 Figure 1을 그대로 옮겼으며, 패널·축·범례는 수정하지 않았다(CC BY 4.0).

In-distribution에 가까워 보이는 복원도 완벽한 반사실은 아니다. 생성 모델이 새 정보나 편향을 넣으면 또 다른 평가 artifact가 생긴다. FUD의 더 큰 기여는 특정 복원법 자체보다, faithfulness score가 intervention distribution \Pi에 조건부임을 평가 설계에 명시한 데 있다.

2.3 Metric에는 식별력이 필요하다

좋은 metric은 좋은 설명에 높은 점수를 주어야 할 뿐 아니라, 알려진 잘못된 설명을 낮게 평가해야 한다. 이 요구가 ICLR 2026 XAI의 공통 문제로 떠올랐다.

Automated Interpretability Metrics Do Not Distinguish Trained and Random Transformers는 이 요구를 SAE 평가에 직접 적용한다. 여러 Pythia 규모와 randomization 설정에서 무작위 초기화 Transformer의 activation으로 학습한 SAE도 학습된 Transformer의 SAE와 비슷한 auto-interpretability·reconstruction 점수를 얻는 경우가 많았다. 높은 aggregate score가 학습된 계산과 관련된 feature를 찾았다는 보장이 되지 않는다는 뜻이다. 저자들은 randomized baseline과 feature abstractness를 겨냥한 평가를 함께 사용할 것을 권한다.

• Self-explainable GNN이 결정 과정과 무관한 설명을 내더라도 기존 metric이 이를 놓칠 수 있다.
• Model-level graph explanation은 target class score만으로 평가하면 병리적이거나 불완전한 motif를 구분하기 어렵다.
• Feature attribution은 perturbation이 분포를 벗어나면 설명보다 OOD sensitivity를 측정할 수 있다.
• Mechanistic circuit은 몇 개 샘플에서 맞는 것과 입력 영역 전체에서 안정적으로 맞는 것을 구분해야 한다.

여기서 필요한 것은 fidelity metric의 수를 늘리는 일이 아니라, 각 지표가 어떤 실패를 구별하지 못하는지 감사하는 일이다. Null explanation, adversarial explanation, distribution shift, seed variation, intervention validity를 평가 프로토콜에 포함해야 한다.

---

3. Mechanistic interpretability는 activation을 넘어 어디로 가는가

3.1 Activation label에서 weight와 interaction까지

Mechanistic interpretability에서 흔한 절차는 특정 activation pattern을 찾고, 이를 자연어나 데이터 예시로 설명한 뒤, component ablation이나 patching으로 기능을 확인하는 것이다. 이 절차는 유용하지만 activation이 왜 생겼는지, 여러 component가 어떻게 상호작용했는지는 충분히 설명하지 못한다.

Circuit Insights는 이 공백을 weight와 circuit 수준에서 다룬다. 여기서 transcoder는 Transformer MLP의 계산을 sparse feature로 근사하는 대리 모델이다. WeightLens는 transcoder weight로 context-independent feature를 해석하고, CircuitLens는 component interaction을 따라 특정 activation이 만들어지는 경로를 분석한다. 분석은 어떤 feature가 켜졌는가에서 멈추지 않고, 어떤 연결과 상호작용이 그 feature와 출력을 만들었는지까지 이어진다.

그림 2. 왼쪽부터 transcoder feature 사이의 기여, token이 attention head를 거쳐 target feature activation에 미친 기여, target feature가 output logit에 미친 기여를 구분한다. 세 번째 값은 logit에서 feature 방향으로 역전파해 계산한다. Activation 하나에 이름을 붙이는 데서 멈추지 않고, 그 activation이 만들어지고 출력으로 이어지는 경로를 추적해야 한다는 논문의 문제의식을 보여 준다. Golimblevskaia et al. (2026)의 최종 arXiv v2 원 논문 Figure 1에서 도식 부분만 크롭했으며, 패널·색상·기호는 수정하지 않았다.

다만 발견한 circuit은 원래 Transformer 자체가 아니라 transcoder가 근사한 계산 위에서 정의된다. Transcoder reconstruction이 불완전하면 발견한 회로도 원 모델의 회로가 아니라 대리 모델 위에서 성립한 회로일 수 있다. Component의 의미가 명확한 것, 출력에 영향을 주는 것, 전체 계산을 충분히 포괄하는 것은 각각 다른 주장이다.

3.2 발견한 circuit을 어디까지 보증할 수 있는가

Formal Mechanistic Interpretability는 circuit discovery를 heuristic search에서 verification 문제로 바꾼다. Neural-network verification을 사용해 input-domain robustness, robust patching, minimality에 대한 보증을 제공한다. 몇 개의 샘플에서 전체 모델과 circuit이 비슷하게 행동하는지를 보는 데서 그치지 않고, 지정한 연속 입력 영역에서 보존되는지를 묻는다.

Formal Mechanistic Interpretability는 mechanistic interpretation에 필요한 질문을 세 가지로 나눈다.

1. 발견한 circuit이 입력의 작은 변화에도 유지되는가?
2. Patching을 했을 때 예상한 기능적 관계가 강건하게 나타나는가?
3. 불필요한 component를 제거한 최소 회로인가?

여기서 formal을 frontier LLM 전체에 대한 완전한 이해로 읽어서는 안 된다. Verification이 감당할 수 있는 모델 규모와 입력 영역에는 제약이 있다. 규모의 한계가 있더라도 circuit을 보기 좋은 그래프에서 검증 가능한 명제로 바꾼 의의는 남는다.

3.3 Causal intervention도 분포를 벗어날 수 있다

Mechanistic interpretability에서 activation patching과 representation intervention은 관찰적 상관보다 강한 근거를 제공한다. 그러나 개입한 내부 표현이 모델의 자연스러운 표현 분포에서 멀어지면, 평소에는 쓰이지 않던 hidden pathway가 활성화될 수 있다.

Addressing Divergent Representations from Causal Interventions은 이러한 divergence를 행동의 null space에 머무는 harmless case와 잠재된 행동 변화를 일으키는 pernicious case로 나눈다. 저자들은 Counterfactual Latent loss를 수정해 개입한 표현을 자연 분포에 더 가깝게 유지하는 방법도 제시한다. 개입은 관찰적 상관보다 강한 근거지만, 바뀐 표현이 자연 분포를 벗어나면 의도한 인과 관계의 증거로 해석하기 어렵다. 무엇을 어떻게 바꾸었고, 바뀐 표현이 자연스러운 영역에 남았는지도 확인해야 한다.

3.4 Information flow는 정적인 heatmap이 아니다

Map the Flow는 선택한 attention edge를 차단하는 Attention Knockout으로 VideoLLM의 시간 추론 경로를 추적한다. 저자들은 early–middle layer의 cross-frame interaction, middle layer의 video-language integration, middle–late layer의 answer readiness가 이어지는 패턴을 보고한다. LLaVA-NeXT-7B-Video-FT에서는 attention edge의 58%를 억제해도 VideoQA 성능을 유지했다.

Attention edge의 58%를 억제하고도 성능이 유지됐다는 결과는 충분한 경로가 희소할 가능성을 시사할 뿐, 남은 경로가 유일한 인과 회로라는 뜻은 아니다. Redundant pathway가 있을 수 있고, model이나 task가 바뀌면 흐름도 달라질 수 있다. Map the Flow의 초점은 attention map을 제시하는 데서 끝나지 않고, 경로를 차단한 뒤 기능 변화를 관찰하는 데 있다.

---

4. SAE: 해석 가능한 feature와 유용한 feature는 같은가

4.1 Interpretability와 steering utility의 분리

Sparse autoencoder는 polysemantic activation을 더 희소하고 사람이 이름 붙이기 쉬운 latent feature로 분해하는 대표 도구가 됐다. 문제는 이해하기 쉬운 feature가 모델 행동을 제어하는 데 유용한 feature와 같은가이다.

그림 3. 왼쪽은 LLM judge가 feature 설명으로 held-out activation을 예측해 AutoInterp 점수를 계산하는 절차이고, 오른쪽은 target feature 개입 뒤 concept·instruction 준수·fluency를 LLM judge로 평가하는 steering 절차다. 논문은 서로 다른 두 평가를 SAE 수준으로 집계해 비교한다. Wang et al. (2026)의 원 논문 Figure 1에서 도식 부분만 크롭했으며, 내부 요소는 수정하지 않았다.

Does Higher Interpretability Imply Better Utility?는 90개 SAE, 세 LLM, 다섯 SAE 구조와 여섯 희소성 수준을 통제 비교한다. SAEBench의 interpretability와 AxBench의 steering utility 사이 Kendall 상관은 \tau_b\approx0.298에 그쳤다. 저자들이 제안한 \Delta Token Confidence로 제어 효용이 높은 feature를 고르면 기존 최선 기준보다 steering score가 평균 52.52% 높아졌지만, 선택된 feature 안에서는 interpretability와 utility의 상관이 0에 가깝거나 음수가 되었다. 이 관계는 SAEBench·AxBench와 실험에 사용한 세 LLM에 조건부인 결과다.

SAE의 품질은 하나의 목적 함수로 판단할 수 없다. 의미적 해석, 재구성, 인과적 효력, 선택성, 안정성을 각각 평가해야 한다.

평가 목적	필요한 질문
의미적 해석	activation example이 일관된 의미로 묶이는가?
재구성	원래 activation을 얼마나 잘 복원하는가?
인과적 효력	feature 개입이 대상 행동을 실제로 바꾸는가?
선택성	원하는 행동만 바꾸고 부작용은 억제하는가?
안정성	seed, model, layer, dataset이 바뀌어도 같은 feature가 재현되는가?

사람이 붙인 자연어 label이 정확해도 causal efficacy가 낮을 수 있다. 반대로 steering에 강한 feature가 인간에게 단순한 개념으로 보이지 않을 수도 있다. 조작 가능성은 utility의 증거이지, 그 feature가 모델의 유일하고 자연스러운 개념 단위라는 증거는 아니다.

4.2 같은 데이터에서도 feature는 달라질 수 있다

Sparse Autoencoders Trained on the Same Data Learn Different Features는 모델과 데이터가 같아도 초기 seed만 달라지면 SAE가 서로 다른 feature 집합을 찾는다는 결과를 보고한다. Llama 3 8B의 feedforward network에 학습한 131K-latent SAE에서는 서로 다른 seed 사이에 공유된 feature가 30%에 그쳤다. 이 현상은 세 LLM의 여러 layer, 두 dataset, 여러 SAE 구조에서 관찰됐고, TopK SAE는 희소성 수준을 통제해도 ReLU·L1 SAE보다 seed 의존성이 컸다.

Seed에 따라 feature 집합이 크게 달라진 만큼, SAE가 찾은 feature를 모델이 사용하는 유일하고 완전한 목록으로 보기는 어렵다. 자연어 label의 명료성뿐 아니라 seed 간 안정성과 서로 다른 분해 사이의 대응 관계도 보고해야 한다.

4.3 Feature decomposition이 놓친 시간 구조

표준 SAE는 activation example을 대체로 독립적인 샘플처럼 취급한다. 언어에서는 현재 token의 표현이 이전 문맥에서 예측 가능한 정보와 새로 들어온 정보가 섞인 결과다. 이 시간 구조를 무시하면 지속되는 개념과 순간적인 residual을 같은 방식으로 분해하게 된다.

Priors in Time은 SAE가 시간에 따른 concept independence와 stationarity를 암묵적으로 가정한다고 지적한다. 저자들이 제안한 Temporal SAE는 현재 표현을 문맥으로부터 예측 가능한 성분과 새로 나타난 residual 정보로 나눈다. 저자들은 garden-path sentence, event boundary, 느리게 변하는 정보와 빠르게 변하는 정보의 분리에 이를 사용한다.

Temporal SAE를 기존 SAE의 대체재로 읽을 필요는 없다. 연구 질문에 따라 분석 단위를 달리해야 한다는 제안에 가깝다. Token-local latent와 temporal feature는 서로 다른 구조를 포착하므로, SAE feature를 언제나 원자적이고 canonical한 개념으로 가정하기는 어렵다.

4.4 해석 결과를 실제 완화에 쓸 수 있는가

Toward Faithful Retrieval-Augmented Generation with Sparse Autoencoders은 RAG의 hallucination과 관련된 SAE latent를 찾고, mutual information 기반 feature selection과 additive model을 결합한 RAGLens를 제시한다. 분석은 hallucination detection, local·global rationale, mitigation을 하나의 파이프라인으로 연결한다.

RAGLens는 interpretability를 진단에 그치지 않고 system behavior 수정에 연결한다. 다만 SAE feature가 hallucination과 함께 활성화된다는 사실과 인과 원인이라는 주장은 구분해야 한다. Target layer, sparse coder, detector, retrieval setting이 바뀌었을 때 같은 feature가 유지되는지도 확인해야 한다.

---

5. Attribution의 질문이 분화된다: concept-level data influence와 prediction change

5.1 전체 이미지가 아니라 특정 concept에 대한 영향

Training-data attribution은 특정 생성 결과에 어떤 학습 샘플이 영향을 주었는지 찾는다. Diffusion model의 한 이미지에는 object, style, composition, background가 함께 들어 있어 whole-image similarity만으로는 어떤 샘플이 어떤 개념에 기여했는지 구분하기 어렵다.

Concept-TRAK은 attribution 단위를 전체 output에서 object나 style concept으로 세분화한다. Diffusion posterior sampling(DPS)에서 유도한 training loss와 concept-specific reward·utility loss를 influence/TRAK framework에 결합해 특정 개념에 영향을 준 학습 샘플의 순위를 계산한다. 통제된 object–style 조합과 CelebA-HQ, AbC 등의 실험에서 기존 data attribution보다 concept별 샘플을 더 잘 찾아냈다고 보고한다.

이 변화는 실용적이다. Copyright audit, unsafe concept 추적, data curation에서는 이 이미지와 비슷한 데이터보다 이 스타일이나 객체를 학습시키는 데 영향을 준 데이터가 더 직접적인 질문이다. 다만 Concept-TRAK은 influence approximation이지 모든 샘플을 빼고 재학습한 exact leave-one-out 효과가 아니다. Concept 자체도 reward나 probe로 정의되므로, 점수가 법적 provenance나 소유권을 자동으로 증명하지 않는다.

5.2 정적인 예측보다 예측의 변화를 설명한다

Online monitoring에서 사용자가 궁금한 것은 현재 위험 점수에 어떤 feature가 중요한가만이 아니다. 직전보다 위험도가 왜 올랐는지가 더 중요한 경우가 많다.

Delta-XAI는 두 시점 사이의 prediction change를 feature×time attribution으로 설명한다. 기존 XAI 방법 14개를 온라인 환경에서 사용할 수 있도록 wrapper로 변환하고, faithfulness, sufficiency, coherence를 평가한다. 과거 observation을 integration path에 포함하는 SWING을 제안하며, 적응된 Integrated Gradients가 일부 최신 방법보다 나을 수 있음을 보고한다.

그림 4. 위 행에서는 위험도가 T_2의 90%에서 T_3의 70%로 낮아졌지만 기존 attribution은 여전히 T_2의 높은 위험 근거를 강조한다. Delta-XAI는 T_2!\rightarrow!T_3의 감소에 기여한 feature를 따로 표시한다. 아래 행은 지연 효과와 결측치 대치가 있는 경우다. 이 시나리오는 실제 환자나 실제 XAI 출력을 제시한 결과가 아니라 문제를 설명하기 위한 예시다. Kim et al. (2026)의 원 논문 Figure 1에 포함된 두 원본 패널을 논문과 같은 순서로 배치했으며, 축·범례·수치는 수정하지 않았다(CC BY-NC-SA 4.0).

선형성과 completeness를 만족하는 attribution이라면, 이 글의 표기에서 다음 합계 보존식(accounting identity)이 성립한다. 여기서 X_{T-W+1:T}는 시점 T까지의 길이 W 입력 window다.

하지만 attribution 합이 실제 prediction difference와 맞는다는 completeness만으로 각 \phi_{t,d}가 올바른 원인임을 보장하지는 않는다. Baseline, window length, deletion 방식이 결과를 바꿀 수 있고, 삭제가 다시 OOD input을 만들 수 있다.

5.3 Temporal XAI는 아직 하나의 분야가 아니다

ICLR 2026에는 시간성을 직접 다루는 여러 작업이 보인다.

• Priors in Time은 sequential representation을 predictable context와 novel residual로 분해한다.
• Delta-XAI는 두 시점 사이 prediction change를 설명한다.
• Map the Flow는 VideoLLM의 layer별 cross-frame·cross-modal information flow를 추적한다.

세 연구 모두 시간을 정적 설명의 부가 정보가 아니라 설명 대상으로 삼는다. 그러나 language representation, online time series, video attention에서 시간은 서로 다른 수학적 객체다. 이를 하나의 temporal XAI 분야로 묶을 공통 문제 정의와 benchmark는 아직 없다.

---

6. XAI 기반 audit의 두 사례: spuriousness와 fairness

6.1 Spurious concept을 이름 붙이는 일

BEE Aware of Spuriousness는 fine-tuning 전후의 weight와 embedding geometry를 분석해 spurious concept을 찾는다. 별도의 counterexample이나 error split 없이도 linear probe를 통해 shortcut 후보를 드러내고 이름 붙이는 진단 도구를 제시한다. Waterbirds, CelebA, ImageNet-1k, CivilComments, MIMIC-CXR와 여러 vision·language encoder를 다루며, 특정 spurious concept이 ImageNet 정확도를 크게 떨어뜨리거나 임상 모델의 false negative와 연결될 수 있음을 보고한다.

BEE에서 XAI는 개별 예측의 사후 설명보다 representation audit에 가깝다. 모델이 틀린 예를 보여 주는 데서 그치지 않고, fine-tuning이 어떤 의미 방향을 강화했는지 탐색한다. 다만 concept이 linear하게 분리된다는 사실과 모델이 그 concept을 인과적으로 사용했다는 사실은 구분해야 한다. BEE는 진단 도구이지 자동 제거 방법은 아니다.

6.2 설명은 fairness에 언제 도움이 되는가

Bridging Fairness and Explainability는 hate-speech detection에서 input-based explanation을 세 가지 용도로 평가한다. 편향된 예측을 찾는 진단, 후보 가운데 가장 공정한 모델을 고르는 selection, 학습 중 편향을 줄이는 supervision이다.

Input-based explanation은 biased prediction 탐지와 bias-mitigation supervision에는 도움을 줬지만, 후보 모델의 fairness ranking proxy로는 신뢰하기 어려웠다. Explanation utility는 용도별로 따로 평가해야 한다.

사용 목적	설명이 답해야 하는 질문
Diagnosis	이 예측이 민감하거나 편향된 근거에 의존했는가?
Model selection	어떤 후보가 집단 전체에서 더 공정한가?
Mitigation	설명 신호를 사용해 편향을 줄일 수 있는가?

한 용도에서 유효한 설명을 다른 의사결정에 그대로 사용해서는 안 된다. Local attribution의 진단력만으로 model-level fairness ranking을 정당화할 수 없다.

6.3 XAI를 안전장치로 쓰려면 XAI 자체를 감사해야 한다

Spuriousness와 fairness audit에서 설명은 중요한 관찰 도구가 된다. 하지만 설명기가 모델의 shortcut을 놓치거나 오히려 숨길 수 있다면 XAI를 독립적인 안전장치로 볼 수 없다. Target model, explainer, evaluator가 같은 편향이나 proxy에 의존하는지도 확인해야 한다.

실제 배포에서는 최소한 다음 항목을 확인해야 한다.

1. 설명이 어떤 대상과 주장을 다루는지 명시한다.
2. Null·adversarial explanation을 metric이 거부하는지 확인한다.
3. Perturbation과 intervention이 분포 밖 artifact를 만들지 점검한다.
4. Seed, sample, paraphrase, environment shift에 대한 안정성을 보고한다.
5. 설명을 사용한 인간이나 시스템의 실제 의사결정 효용을 별도로 평가한다.

---

7. GNN XAI가 응축해 보여 주는 평가 문제

GNN explanation은 node, edge, motif, subgraph처럼 설명 객체가 비교적 명시적이다. 그럼에도 2026의 GNN XAI 논문들은 설명 구조가 눈에 보인다는 것과 모델 계산에 faithful하다는 것이 전혀 다르다고 지적한다.

7.1 Self-explainable model도 설명하지 않을 수 있다

GNN Explanations that do not Explain은 self-explainable GNN이 optimal prediction risk를 달성하면서도 실제 예측 메커니즘과 무관한 degenerate explanation을 낼 수 있음을 보인다. 이런 설명은 민감 속성의 사용을 숨기도록 의도적으로 심을 수도 있고, 일반 학습 과정에서 자연스럽게 나타날 수도 있다. 기존 faithfulness metric 중 다수가 이를 걸러내지 못한다.

그림 5. 실제 label은 빨간 노드와 파란 노드의 개수 비교로 정해지지만, explanation extractor e는 모든 그래프에 공통으로 등장하는 초록·보라 anchor 중 하나만 골라 label code로 전달한다. Classifier g는 예측을 맞히면서도, 사람이 보는 설명 R에는 실제 판단 근거가 남지 않는다. Azzolin et al. (2026)의 원 논문 Figure 1에서 도식 부분만 크롭했으며, 그래프 구조·색상·기호는 수정하지 않았다(CC BY-NC-SA 4.0).

저자들이 제안한 EST는 explanation R을 포함하는 여러 supergraph를 탐색해, 설명이 충분하다는 주장이 더 넓은 맥락에서도 유지되는지 본다. e를 explanation extractor, g를 predictor로 두면 논문의 정의는 다음과 같다.

기존 deletion·preservation metric이 한두 종류의 perturbation만 본다면 EST는 설명을 포함하는 더 넓은 subgraph 집합에서 반례를 찾는다. 다만 탐색 비용이 들고 G'가 자연스러운 그래프 분포를 벗어날 수 있다는 문제는 남는다. 결론의 직접 대상도 self-explainable GNN이지 모든 post-hoc explainer는 아니다.

7.2 설명 학습과 평가 목표를 맞춘다

Self-Consistency Improves the Trustworthiness of Self-Interpretable GNNs는 self-interpretable GNN의 학습 objective와 faithfulness 평가 사이 mismatch를 self-consistency 문제로 재정의한다. 아키텍처는 그대로 두고 파인튜닝만으로 설명 품질을 높이는 접근이다.

여기서는 평가에서 요구하는 일관성을 학습 objective에 직접 넣는다. 다만 앞서 본 degenerate explanation의 반례까지 고려하면, 높은 self-consistency만으로 explanation의 유일성이나 인과적 완전성을 보장할 수 없다.

7.3 Global explanation에는 risk와 coverage가 필요하다

Certified Evaluation of Model-Level Explanations for GNNs는 class score만으로 model-level motif explanation을 평가하면 병리적이거나 불완전한 설명을 놓칠 수 있다고 지적한다. Sufficiency risk에 대한 distribution-free upper certificate와 Coverage, Greedy Gain Area, Overlap을 함께 제안한다.

Global explanation은 개별 instance에서 prediction을 유지하는지만 봐서는 부족하다. 얼마나 넓은 데이터 영역을 설명하는지, 여러 motif가 중복되는지, 위험의 상한을 어떤 신뢰도로 말할 수 있는지가 필요하다. 다만 이 보증은 model-level motif에 대한 것이며 local explanation의 충분성을 자동으로 인증하지 않는다.

7.4 사람이 읽을 수 있는 rule을 실제 graph에 grounding한다

LogicXGNN은 GNN message passing을 반영한 predicate와 논리 규칙을 실제 subgraph에 grounding한다. 저자들은 final graph 형태에서 rule과 GNN prediction의 일치를 재는 Fid_D를 제안하고, 기존 방법보다 평균 20% 이상 높은 fidelity와 10–100배의 속도 개선을 보고한다.

논리 규칙의 장점은 global pattern을 사람이 검토할 수 있다는 데 있다. 하지만 predicate library와 grounding 품질에 결과가 의존한다. 간결하고 화학적으로 타당해 보이는 rule이 모든 instance-level 계산을 완전하게 설명한다는 뜻도 아니다.

7.5 다른 XAI 분야에 던지는 평가 가설

GNN 논문군에서 반복되는 질문은 다른 XAI 하위 분야의 문제와 유사한 인식론적 구조를 가진다.

GNN XAI 문제	더 넓은 XAI의 대응 문제
Degenerate explanation	설득력 있지만 model mechanism과 무관한 rationale
Supergraph perturbation	Attribution deletion이 만든 OOD input
Self-consistency	Explainer objective와 evaluation criterion의 mismatch
Coverage·sufficiency risk	Global explanation의 범위와 불확실성
Grounded rule	자연어 concept label과 실제 representation의 대응

GNN 사례는 다른 modality에서도 시험할 수 있는 평가 가설을 제공한다. 설명 객체가 명시적인 graph에서도 faithfulness가 쉽게 무너진다는 사실은 image, language, multimodal explanation에 더 엄격한 검증이 필요하다는 경고다. 다만 graph에서 확인된 실패가 다른 modality에도 같은 형태로 성립한다는 직접 증거는 아니다.

---

8. ICLR 2024–2026: 검증 의제의 연속성과 2026년에 강해진 신호

ICLR 2026의 의제는 갑자기 생긴 것이 아니다. 최근 세 해는 배타적인 단계라기보다 방법 개발, 확장, 자기비판, 검증이 누적된 과정으로 읽어야 한다.

시기	대표 의제	해석
ICLR 2024	SAE feature 발견, circuit reuse, activation patching·GNN explanation 평가	방법 개발과 성공 사례가 전면에 있었고 metric·corruption sensitivity에 대한 검증도 이미 병존
ICLR 2025	대규모 SAE, sparse feature circuit, attribution·GNN faithfulness, identifiability·canonical unit 비판	해석 기법의 확장과 분석 단위·평가 방식에 대한 자기비판이 함께 진행
ICLR 2026	distribution-aware evaluation, random baseline, seed instability, formal guarantee, utility 분리, degenerate explanation audit	기존 평가 비판이 더 다양한 설명 객체와 검증 형식으로 확산

2024년에는 Sparse Autoencoders Find Highly Interpretable Features in Language Models가 sparse feature에 대한 낙관을 키웠고, Towards Best Practices of Activation Patching in Language Models: Metrics and Methods는 patching 결과가 metric과 corruption 방식에 민감하다는 점을 이미 경고했다.

2025년에는 Scaling and Evaluating Sparse Autoencoders가 최대 1,600만 latent의 SAE와 scaling 분석을 제시했다. 동시에 Sparse Autoencoders Do Not Find Canonical Units of Analysis는 SAE feature의 불완전성과 비원자성을 지적했고, Everything, Everywhere, All at Once는 여러 circuit과 causal alignment가 같은 관찰을 설명할 수 있는 identifiability 문제를 분석했다. Towards Principled Evaluations of Sparse Autoencoders는 해석과 제어를 위한 SAE 평가 자체를 연구 대상으로 만들었다.

2026에는 기존의 평가 비판이 SAE random baseline과 seed instability, intervention OOD, formal certification처럼 더 다양한 설명 객체와 검증 형식으로 넓어졌다. Attribution은 perturbation distribution을 묻고, circuit은 보증과 최소성을 요구한다. SAE는 interpretability와 steering utility를 분리하고, GNN은 known-bad explanation을 metric이 거부하는지 시험한다.

그렇다고 ICLR 2026 XAI 전체가 평가 연구로 수렴했다고 말할 수는 없다. 새 explainer, representation discovery, editing, steering 연구도 활발하다. 달라진 기준은 설명을 제시하는 데서 기여를 끝내지 않고, 그 설명이 어떤 주장을 하며 어떤 반례를 견디는지까지 입증해야 한다는 데 있다.

---

9. 아직 해결되지 않은 연구 질문

9.1 공통 sanity-check suite를 만들 수 있는가

분야마다 설명 객체는 다르더라도 최소한의 실패 검사는 공유할 수 있다.

• Random model이나 label randomization에서도 점수가 유지되는가?
• Seed와 sample을 바꾸면 같은 feature·circuit·subgraph가 나오는가?
• Paraphrase와 distribution shift에서 설명의 의미가 유지되는가?
• Known-bad, adversarial, degenerate explanation을 낮게 평가하는가?
• Explainer와 evaluator가 같은 model이나 proxy에 의존해 순환 평가를 만들지 않는가?

이 검사를 통과했다고 설명이 참이 되는 것은 아니다. 다만 통과하지 못한 metric으로 더 강한 인과 주장을 하기 어렵다는 최소 기준은 세울 수 있다.

9.2 설명에 불확실성을 붙일 수 있는가

현재 XAI 결과는 하나의 heatmap, feature list, circuit, rule로 제시되는 경우가 많다. 실제로는 sample, seed, threshold, hyperparameter에 따라 결과가 달라질 수 있다. 설명마다 confidence interval, stability region, equivalence class를 보고한다면 정답 설명 하나라는 인상을 줄일 수 있다.

유일한 설명을 찾기보다 비슷한 behavior를 보존하는 설명들의 집합을 정의하는 것이 더 현실적일 수도 있다. Identifiability가 불가능한 조건에서는 불확실성을 숨기지 않는 것이 정확한 설명이다.

9.3 Intervention이 자연 분포에 머무는지 어떻게 알 수 있는가

Input deletion, activation patching, feature amplification, subgraph removal은 모두 모델이 학습 중 보지 못한 상태를 만들 수 있다. 강한 intervention은 출력 변화를 더 뚜렷하게 만들 수 있지만, 그만큼 OOD artifact도 커질 수 있다.

평가에는 natural data·representation manifold에 대한 제약, 여러 intervention 방식 사이의 일치, 개입 결과의 uncertainty 보고가 함께 필요하다.

9.4 설명과 제어를 어떻게 분리해 평가할 것인가

Steering에 성공한 feature가 모델이 자연스럽게 사용하는 canonical concept이라는 보장은 없다. 반대로 사람이 명확히 이해하는 feature가 행동 제어에는 약할 수 있다. 앞으로의 benchmark는 최소한 다음 네 값을 별도로 재야 한다.

1. Semantic coherence
2. Mechanistic faithfulness
3. Intervention efficacy
4. Off-target effect

설명과 제어를 연결하는 연구가 늘수록 이 분리가 더 중요해진다.

9.5 실제 사용자는 더 나은 결정을 내리는가

검토한 논문들은 metric, intervention, benchmark를 주로 다뤘고 직접적인 사용자 연구는 드물었다. 의사, auditor, model developer, 일반 사용자가 설명을 보고 오류를 더 잘 발견하는지, 과신하지 않는지, 더 공정하고 안전한 결정을 내리는지는 별도의 실험이 필요하다.

Machine faithfulness가 높아도 human utility가 낮을 수 있고, 읽기 쉬운 설명이 오히려 잘못된 신뢰를 만들 수도 있다. 배포 단계의 XAI는 모델 측 지표와 사용자 측 결과를 함께 평가해야 한다.

9.6 Concept attribution은 governance에 어떻게 연결되는가

Concept-level data attribution은 copyright, privacy, unlearning, unsafe-content audit에 매력적이다. 하지만 influence approximation의 오탐과 누락을 법적·정책적 판단에 어떻게 반영할지는 열려 있다. 특정 sample이 높은 attribution을 받았다는 것과 법적 권리 침해를 입증했다는 것은 다른 주장이다.

기술적 점수와 governance decision 사이에는 증거 기준, 이의 제기 절차, 재현 가능한 감사 이력(audit trail)이 필요하다.

---

10. 결론

선별한 논문들은 분석 대상을 activation과 feature에서 weight·circuit·information flow로 넓혔다. Attribution도 concept별 training influence와 prediction change처럼 구체적인 질문으로 나뉘었고, 설명의 가독성은 faithfulness·stability·utility와 별도로 평가되기 시작했다. GNN XAI의 반례는 설명 가능한 구조만으로 충실성을 보장할 수 없음을 보여 준다.

따라서 앞으로의 평가는 최소한 네 질문에 답해야 한다.

• 설명은 실제 입력·표현·데이터 중 무엇에 grounded되어 있는가?
• 어떤 모델 행동이나 계산 메커니즘에 faithful한가?
• 어떤 개입과 평가 분포에서 검증됐는가?
• 알려진 잘못된 설명을 거부하며 실제 사용자 판단에도 도움이 되는가?

새로운 explainer·representation discovery·steering에도 반례, 분포, 안정성, 실제 효용에 대한 검증이 붙기 시작했다. ICLR 2026이 제시한 것은 하나의 통합 답안이 아니라, XAI의 성공을 단일 score가 아닌 서로 긴장하는 여러 축으로 판단해야 한다는 기준이다. 설명은 최종 산출물보다 반증 가능한 가설에 가깝다.

---

References

• Azzolin, S., Teso, S., Lepri, B., Passerini, A., & Malhotra, S. (2026). GNN explanations that do not explain and how to find them. In International Conference on Learning Representations. https://openreview.net/forum?id=HBcgLe6NZD
• Gao, L., la Tour, T. D., Tillman, H., Goh, G., Troll, R., Radford, A., Sutskever, I., Leike, J., & Wu, J. (2025). Scaling and evaluating sparse autoencoders. In International Conference on Learning Representations. https://iclr.cc/virtual/2025/poster/28040
• Geng, C., Zhao, Z., Wang, Z., Ye, H., Jiang, Y., & Si, X. (2026). LogicXGNN: Grounded logical rules for explaining graph neural networks. In International Conference on Learning Representations. https://openreview.net/forum?id=nqZe43tRY9
• Golimblevskaia, E., Jain, A., Puri, B., Ibrahim, A., Samek, W., & Lapuschkin, S. (2026). Circuit insights: Towards interpretability beyond activations. In International Conference on Learning Representations. https://openreview.net/forum?id=2Jyb1yu3nN
• Grant, S., Han, S. J., Tartaglini, A., & Potts, C. (2026). Addressing divergent representations from causal interventions on neural networks. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10008487
• Guo, Y., Ding, L., Jia, S., Ren, Y., Li, P., Fu, J., Li, C., Yuan, Y., & Wang, G. (2026). Learning for highly faithful explainability. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10008619
• Hadad, I., Katz, G., & Bassan, S. (2026). Formal mechanistic interpretability: Automated circuit discovery with provable guarantees. In International Conference on Learning Representations. https://openreview.net/pdf?id=Timsb74vIY
• Heap, T., Lawson, T., Farnik, L., & Aitchison, L. (2026). Automated interpretability metrics do not distinguish trained and random transformers. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009219
• Huben, R., Cunningham, H., Smith, L., Ewart, A., & Sharkey, L. (2024). Sparse autoencoders find highly interpretable features in language models. In International Conference on Learning Representations. https://proceedings.iclr.cc/paper_files/paper/2024/hash/1fa1ab11f4bd5f94b2ec20e794dbfa3b-Abstract-Conference.html
• Kim, C., Mun, Y., Jang, H., Lee, E., Hahn, S., & Yang, E. (2026). Delta-XAI: A unified framework for explaining prediction changes in online time series monitoring. In International Conference on Learning Representations. https://openreview.net/forum?id=ZHW5pp5nE5
• Kim, M., Kim, T., & Han, B. (2026). Map the flow: Revealing hidden pathways of information in VideoLLMs. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009612
• Leask, P., Bussmann, B., Pearce, M., Bloom, J., Tigges, C., Al Moubayed, N., Sharkey, L., & Nanda, N. (2025). Sparse autoencoders do not find canonical units of analysis. In International Conference on Learning Representations. https://iclr.cc/virtual/2025/poster/30676
• Lubana, E. S., Rager, C., Hindupur, S. S. R., Costa, V., Tuckute, G., Patel, O., Murthy, S. K., Fel, T., Wurgaft, D., Bigelow, E. J., Lin, J., Ba, D., Wattenberg, M., Viegas, F., Weber, M., & Mueller, A. (2026). Priors in time: Missing inductive biases for language model interpretability. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10011564
• Makelov, A., Lange, G., & Nanda, N. (2025). Towards principled evaluations of sparse autoencoders for interpretability and control. In International Conference on Learning Representations. https://iclr.cc/virtual/2025/poster/31206
• Méloux, M., Maniu, S., Portet, F., & Peyrard, M. (2025). Everything, everywhere, all at once: Is mechanistic interpretability identifiable? In International Conference on Learning Representations. https://iclr.cc/virtual/2025/poster/30956
• Păduraru, C. D., Bărbălău, A., Filipescu, R., Nicolicioiu, A. L., & Burceanu, E. (2026). Bridging explainability and embeddings: BEE aware of spuriousness. In International Conference on Learning Representations. https://openreview.net/forum?id=9jYpHmI8ot
• Park, Y.-H., Lai, C.-H., Hayakawa, S., Takida, Y., Murata, N., Liao, W.-H., Choi, W., Cheuk, K. W., Koo, J., & Mitsufuji, Y. (2026). Concept-TRAK: Understanding how diffusion models learn concepts through concept-level attribution. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009312
• Paulo, G., & Belrose, N. (2026). Sparse autoencoders trained on the same data learn different features. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10010650
• Saha, S., & Bandyopadhyay, S. (2026). Certified evaluation of model-level explanations for graph neural networks. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10008086
• Tai, W., Zhong, T., Trajcevski, G., & Zhou, F. (2026). Self-consistency improves the trustworthiness of self-interpretable GNNs. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10008008
• Wang, X., Hu, Y., Wang, B., & Zou, D. (2026). Does higher interpretability imply better utility? A pairwise analysis on sparse autoencoders. In International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009623
• Wang, Y., Jobanputra, M., Lee, J.-U., Oh, S., Valera, I., & Demberg, V. (2026). Bridging fairness and explainability: Can input-based explanations promote fairness in hate speech detection? In International Conference on Learning Representations. https://openreview.net/pdf?id=fPMu3Afv3s
• Xiong, G., He, Z., Liu, B., Sinha, S., & Zhang, A. (2026). Toward faithful retrieval-augmented generation with sparse autoencoders. In International Conference on Learning Representations. https://openreview.net/forum?id=hgBZP67BkP
• Zhang, F., & Nanda, N. (2024). Towards best practices of activation patching in language models: Metrics and methods. In International Conference on Learning Representations. https://proceedings.iclr.cc/paper_files/paper/2024/hash/06a52a54c8ee03cd86771136bc91eb1f-Abstract-Conference.html
• Zhu, Z., Jin, Z., Zhang, J., Sobieski, B., Biecek, P., Chen, F., & Zhou, J. (2026). Faithfulness under the distribution: A new look at attribution evaluation. In International Conference on Learning Representations. https://openreview.net/pdf/37e83bc2ef2862b2a5b854ea8ac13e5b221cdf9c.pdf