ICLR 2026 XAI는 무엇을 믿을 수 있나: 설명 생성에서 검증과 개입으로

Sources: ICLR 2026 공식 본회의 논문 목록, Delta-XAI 공식 논문, SAE 연구 공식 포스터. 여기서는 이 두 논문을 자세히 읽는다. 이는 XAI 논문 전수조사나 연도별 증가율 분석이 아니다.

1. 이 글이 고른 질문

설명 가능한 AI(XAI)는 모델이 왜 예측했는지를 사람이 살펴보도록 돕는다. 그러나 보기 좋은 설명이 곧 믿을 만한 설명은 아니다. 입력의 어느 부분이 중요해 보이는지와, 그 부분이 실제 예측 변화에 영향을 주는지는 다른 질문이다. 내부 표현에 이름을 붙일 수 있는지와, 그 표현을 바꿔 모델 행동을 원하는 방향으로 움직일 수 있는지도 다르다.

ICLR 2026 본회의에서 고른 두 논문은 이 차이를 각기 다른 대상으로 시험한다. Kim 등은 환자 감시처럼 예측이 시점마다 갱신되는 상황에서 위험도가 왜 바뀌었는지 설명하려 한다. Wang 등은 희소 오토인코더(SAE)가 찾아낸 특징이 읽기 쉬운 것과 조작에 유용한 것 사이의 관계를 측정한다. 두 연구를 함께 읽는 것은 이 글의 편집상 선택이다. 모든 XAI 연구가 같은 방법이나 지표를 쓴다는 뜻은 아니다.

2. Delta-XAI: 한 번의 예측보다 두 시점 사이의 변화

온라인 감시 시스템이 환자의 위험도를 계속 갱신한다고 하자. Kim 등의 도식은 위험도가 한 시점에서 10%, 다음에 90%, 그다음에 70%로 바뀌는 가상 사례를 보여 준다. 마지막 70%만 설명하면 왜 직전의 90%에서 내려왔는지 놓친다. 반대로 두 시점의 차이를 설명 대상으로 삼으면, 새로 들어온 징후 가운데 어떤 정보가 감소에 기여했는지 물을 수 있다. 그림의 수치는 이해를 돕는 예시다. 실제 환자나 특정 설명 기법의 출력이 아니다.

그림 1. Kim, Mun, Jang, Lee, Hahn, Yang, 「Delta-XAI: A Unified Framework for Explaining Prediction Changes in Online Time Series Monitoring」, arXiv:2511.23036v2 Figure 1의 저자 도식을 그대로 사용했다. 두 패널은 10→90→70과 10→80→85의 가상 위험도 경로를 비교한다. 실제 환자나 XAI 출력이 아니다.

논문은 기존 XAI 방법 14가지를 예측 변화 설명에 맞게 바꾸는 틀을 제시하고, 충실성, 충분성, 설명의 일관성을 평가한다. 충실성은 설명이 짚은 정보가 실제 모델 변화와 맞닿는지, 충분성은 그 정보만으로 변화에 관한 핵심을 재현할 수 있는지를 묻는다. 저자들은 SWING도 제안한다. 방법상 차이는 두 시점의 중요도 그림을 나란히 놓는 데 그치지 않고, 두 예측 사이에서 무엇이 달라졌는가를 평가 대상으로 정한 데 있다. 이는 이 논문의 설정과 평가에 관한 주장이다. 의료 현장에서의 실제 의사결정 효용까지 이 도식 하나로 입증되지는 않는다.

3. SAE: 읽기 쉬운 특징이 행동에도 쓸모 있는가

희소 오토인코더는 모델 내부 활성값을 상대적으로 적은 수의 활성 특징으로 표현한다. 각 특징에 사람이 “이것은 코드 문법”, “이것은 특정 개념” 같은 이름을 붙일 수 있으면 해석 가능성이 높아 보인다. 그러나 특징 값을 조정했을 때 모델의 답이 원하는 쪽으로 움직이는지, 곧 steering utility는 별도로 측정해야 한다. 같은 특징이 읽기 쉽지만 조작에는 별 도움이 안 될 수 있기 때문이다.

그림 2. Wang, Hu, Wang, Zou, 「Does Higher Interpretability Imply Better Utility? A Pairwise Analysis on Sparse Autoencoders」, arXiv:2510.03659v1 Figure 1의 저자 도식을 그대로 사용했다. 한 갈래는 특징의 해석 가능성을, 다른 갈래는 모델 행동을 바꾸는 효용을 평가한다. 양쪽을 모두 최적화한 SAE 구조의 증거로 읽어서는 안 된다.

저자 초록은 세 언어 모델에서 90개 SAE를 비교하고, 해석 가능성과 효용 사이의 Kendall 순위 상관을 약 τ_b=0.298로 보고한다. 이 값은 선택된 모델·SAE·SAEBench와 AxBench 평가에서 두 순서가 약하게만 함께 움직였다는 근거다. “잘 해석된다”는 평가 하나로 “개입에도 유용하다”고 결론 내리기 어렵다. 반대로 모든 해석 가능한 특징이 쓸모없다는 결론도 아니다. 이 측정은 특정 벤치마크에서 두 평가 목표가 얼마나 함께 움직이는지 살핀다.

4. 두 논문을 함께 읽는 방법

두 사례는 설명의 대상부터 다르다. Delta-XAI는 시간에 따라 바뀐 출력을 설명한다. SAE 연구는 모델 내부 특징을 사람이 이해하고 조작할 수 있는지를 비교한다. 하나의 점수로 합칠 수 없다. 시계열 서비스에서는 “방금 판단이 왜 달라졌나”가 핵심일 수 있고, 모델 편집에서는 “이 특징을 건드리면 행동이 달라지나”가 더 중요할 수 있다.

따라서 설명을 검토할 때 먼저 사용 목적을 정해야 한다. 사용자가 변한 위험도를 이해해야 하는가, 연구자가 내부 계산을 추적해야 하는가, 개발자가 실제 행동을 바꿔야 하는가? 그 뒤 설명을 시험하는 지표를 고른다. 이름 붙이기 쉬운 특징, 변화에 충실한 설명, 행동을 바꾸는 개입은 서로 다른 합격 기준이다. 이 질문 목록은 두 논문에서 얻은 편집자의 정리이며, ICLR 본회의의 공통 평가 규정은 아니다.

5. 읽기의 경계

공식 프로그램은 본회의 채택 여부를 확인해 주지만 XAI라는 완전한 분류표나 전수 통계를 제공하지 않는다. 이 글은 두 편의 설계와 결과를 해설하며 과거보다 연구가 늘었다거나 분야 전체가 한 방향으로 바뀌었다고 주장하지 않는다. 특히 그림 1의 숫자는 가상 설명 사례이고 그림 2는 두 평가 경로의 도식이다. 실제 성능과 적용 가능성은 각각의 데이터·모델·평가 조건을 확인해야 한다.

심층 보기

References

International Conference on Learning Representations. (2026). ICLR 2026 papers [Official main-conference listing]. https://iclr.cc/virtual/2026/papers.html

Kim, C., Mun, Y., Jang, H., Lee, E., Hahn, S., & Yang, E. (2026). Delta-XAI: A unified framework for explaining prediction changes in online time series monitoring. The Fourteenth International Conference on Learning Representations. https://proceedings.iclr.cc/paper_files/paper/2026/hash/07b446bc8bbadb47793711e4cda2f43e-Abstract-Conference.html

Wang, X., Hu, Y., Wang, B., & Zou, D. (2026). Does higher interpretability imply better utility? A pairwise analysis on sparse autoencoders. The Fourteenth International Conference on Learning Representations. https://iclr.cc/virtual/2026/poster/10009623