Causal Foundation Models

Paper: Christopher Stith; Hossein Rahmani; Jesse C. Cresswell (2026). "Causal Foundation Models". https://arxiv.org/abs/2609.03003v1 · arXiv:2609.03003v1. 이 글은 2026년 9월 2일 공개된 32쪽의 v1과 공식 저장소의 공개 결과를 기준으로 한다. PDF · 공식 코드·노트북. 코드 인용은 commit 549bcb72에 고정한다.

Abstract: Causal foundation model(CFM)은 다양한 인과적 데이터 생성 과정을 사전학습한 뒤, 새로운 관측 데이터셋을 context로 받아 인과효과를 추정하는 모델이다. 새 데이터셋마다 가중치를 업데이트하지 않는다는 점에서 기존의 과제별 학습·튜닝 절차와 구분된다. 이 논문은 새로운 단일 모델을 제안하기보다, CFM을 인과추론·Bayesian inference·prior-data fitted network의 연결 위에서 설명하고 Do-PFN, CausalPFN, CausalFM을 비교하는 실용 입문·벤치마크 연구다. RealCause-Lalonde 실험에서 CausalPFN은 세 CFM 중 가장 좋은 CATE 성능을 보이며 CPU 기준 CATE 처리시간 중앙값 18.4초를 기록했다. 다만 전체 CATE 평균 순위에서는 튜닝된 T-Learner가 앞섰고, ATE에서는 IPW와 T-Learner가 강했다. 또한 속도 비교는 전통 추정기의 튜닝·학습을 포함하되 CFM의 사전학습은 제외한다. 이 글은 이러한 성능과 비용의 조건을 검토하고, CFM이 계산을 줄여도 인과적 식별 가정과 prior의 한계까지 제거하지는 못한다는 점을 중심으로 분석한다. 논문 §§1–4, Table 3

---

Executive Summary

항목	설명
논문의 성격	CFM 분야의 튜토리얼·방법 비교와 공개 모델 3종의 표준화된 벤치마크다.
핵심 아이디어	합성 SCM에서 관측 데이터와 인과 정답을 함께 만들고, 관측 데이터만으로 인과적 posterior prediction을 근사하도록 사전학습한다.
추론 방식	새 데이터셋의 (X,T,Y)를 context로 넣고, query의 인과효과를 가중치 업데이트 없이 계산한다.
중요한 구분	CFM은 방법군이고, CausalFM은 그 안의 특정 모델이다.
대표 성능	CausalPFN의 PEHE 평균 순위 1.75, T-Learner 1.40. 순위는 낮을수록 좋으며 CausalPFN은 CFM 중 가장 좋다.
대표 비용	같은 CPU 기준 CATE 처리시간 중앙값은 CausalPFN 18.4초, 튜닝·학습을 포함한 T-Learner 1,803.0초다.
핵심 한계	prior가 표현하는 인과 가정에 의존한다. 비식별 문제, 숨은 교란, 개별 반사실 분포와 불확실성 보정이 자동으로 해결되지는 않는다.

수치의 평가 대상과 비용 집계 범위는 논문 Table 3 및 §6에서 설명한다.

목차

1. 인과추론의 어떤 부분을 사전학습하는가
2. 예측과 인과효과: 먼저 추정 대상을 정한다
3. Bayesian prediction에서 무엇이 불확실한가
4. 관측 데이터로 개입 결과를 배우는 사전학습
5. Do-PFN·CausalPFN·CausalFM의 설계 차이
6. 벤치마크: 정확도와 속도를 함께 읽기
7. 논문을 해석할 때 남겨야 할 경계
8. 분야는 어느 방향으로 확장되는가
9. 실제 활용 조건과 결론

---

1. 인과추론의 어떤 부분을 사전학습하는가

새로운 정책이나 프로그램의 효과를 추정할 때에는 보통 데이터마다 분석 절차를 다시 구성한다. 어떤 변수를 조정할지 정하고, 결과·처치 배정 모델을 선택하고, hyperparameter를 튜닝한 뒤 효과 추정기를 학습한다. 비슷한 문제를 반복해도 추정기의 파라미터는 각 데이터셋에서 다시 맞추는 경우가 많다.

CFM은 이 반복 계산의 일부를 사전학습으로 옮긴다. 여러 가능한 인과적 세계를 시뮬레이션하고, 각 세계에서 얻은 관측 데이터와 인과 정답을 학습한다. 이후 새 데이터셋을 보면 개별 문제를 위한 gradient update 대신 in-context learning으로 효과를 추정한다. 논문 §§1, 3.1

그림 1. Context는 공변량·처치·관측 결과를 포함하고, query는 효과를 추정할 대상의 공변량을 제공한다. 오른쪽의 .fit()은 이 맥락을 설정하는 API이며, pretrained transformer를 새 데이터에 맞춰 재학습한다는 뜻은 아니다. Stith et al. (2026), Figure 1, PDF p. 2. 원문 도판 영역 직접 추출.

여기서 foundation model은 거대한 자연어 LLM을 뜻하지 않는다. 이 논문의 주요 모델은 표 형태의 데이터를 받는 transformer 기반 prior-data fitted network(PFN)다. 하나의 데이터셋에서 결과를 예측하는 법뿐 아니라, 새로운 데이터셋을 보고 추정하는 절차 자체를 여러 과제에 걸쳐 학습한다는 점이 중요하다.

그러나 계산의 재사용과 인과적 판단의 대체는 다른 문제다. 어떤 처치가 관심 대상인지, 처치 이후에 측정된 변수를 입력해도 되는지, 관측되지 않은 교란이 존재하는지는 여전히 분석 설계의 질문이다. CFM은 이러한 가정이 담긴 prior를 통해 추정하므로, 가정이 없어지는 것이 아니라 일부가 사전학습 분포로 이동한다.

2. 예측과 인과효과: 먼저 추정 대상을 정한다

2.1 관측된 결과와 잠재결과

공변량을 X, 처치를 T, 관측 결과를 Y라 하자. 이진 처치라면 T\in{0,1}이다. 같은 대상이 처치를 받았을 때의 결과를 Y(1), 받지 않았을 때의 결과를 Y(0)라고 부른다.

실제 데이터에서는 한 대상이 받은 처치에 해당하는 결과만 관측한다. Consistency는 다음 연결을 요구한다.

한 사람의 두 잠재결과를 모두 직접 관측하지 못한다는 것이 인과추론의 근본적인 어려움이다. 따라서 모델이 관측 결과 Y를 잘 예측한다고 해서 같은 사람에게 다른 처치를 줬을 때의 결과까지 잘 안다고 결론낼 수 없다. 논문 §2.2

2.2 CEPO, CATE, ATE는 서로 다른 질문이다

먼저 공변량이 x인 집단에서 처치 t를 적용했을 때의 평균 결과를 정의한다.

논문은 이를 conditional expected potential outcome, CEPO라고 부른다. 두 처치의 평균 결과를 빼면 CATE, 그 값을 목표 모집단에 걸쳐 평균하면 ATE가 된다.

추정 대상	답하는 질문	혼동하기 쉬운 점
CEPO \mu_t(x)	같은 관측 특성을 가진 집단에 처치 t를 적용하면 평균 결과는 얼마인가?	특정 개인에게 반드시 발생할 결과가 아니다.
CATE \tau(x)	같은 특성을 가진 집단에서 두 처치의 평균 차이는 얼마인가?	한 개인의 두 반사실 결과 차이를 직접 관측한 값이 아니다.
ATE	목표 모집단 전체에서 평균 효과는 얼마인가?	어떤 모집단의 X 분포를 평균하는지에 의존한다.
ITRC	연속적인 처치 수준에 따라 \mu_t(x)가 어떻게 변하는가?	이 논문의 주 벤치마크는 이진 처치다.

정의와 관계는 논문 §2.2, Eqs. 2–6을 따른다. CATE가 x마다 달라진다는 것은 관측 특성에 따른 효과 이질성을 모델링한다는 뜻이다. 완전히 개인화된 반사실을 알아냈다는 더 강한 주장과 구분해야 한다.

2.3 데이터가 많아도 구분할 수 없는 세계가 있다

서로 다른 인과적 데이터 생성 과정이 동일한 관측 분포 P(X,T,Y)를 만들 수 있다. 그러면 관측 데이터만으로 둘을 구별할 수 없다. 관심 효과 g가 이러한 두 세계에서 같을 때에만, 그 효과가 해당 가정 집합 아래 식별 가능하다고 말한다.

이 식은 논문 Definition 1의 핵심이다. 식별가능성은 데이터 수나 모델의 표현력보다 앞선 문제다. 같은 관측 데이터에 서로 다른 정답이 양립한다면, 더 큰 transformer도 그 데이터를 통해 어느 쪽이 실제 정답인지 알아낼 수는 없다.

이 논문의 주요 비교는 backdoor 설정을 중심으로 한다. 필요한 가정은 다음과 같이 나뉜다.

가정	의미	실무적 함의
Ignorability	Y(t)\perp T\mid X	X로 조정한 뒤에도 처치와 결과에 공통 영향을 주는 숨은 요인이 남지 않아야 한다.
Positivity / overlap	가능한 x에서 각 처치를 받을 가능성이 있다.	어떤 하위집단에서 한 처치가 전혀 관측되지 않으면 비교 정보가 없다.
SUTVA	다른 대상의 처치가 내 결과에 영향을 주지 않고, 처치의 의미가 일관되다.	집단 간 파급효과나 서로 다른 처치 버전은 별도로 모델링해야 한다.
Consistency	실제 처치에 해당하는 잠재결과가 관측 결과와 같다.	처치와 결과의 정의를 명확하게 연결한다.

이 가정 아래에서

라는 식별 관계를 이용할 수 있다. 하지만 높은 예측 정확도만으로 ignorability가 충족됐는지는 검증할 수 없다. 논문 §2.3

2.4 SCM은 인과 정답을 만들어내는 시뮬레이터다

Structural causal model(SCM)은 DAG의 각 변수에 구조방정식을 붙인다.

U_k는 관측되지 않은 외생 요인이나 잡음이다. 그래프만으로 어떤 변수가 무엇의 원인인지 나타내는 데서 나아가, 값을 생성하고 개입 결과를 계산할 수 있게 된다.

그림 2. X는 T와 Y 모두에 영향을 주므로 처치 배정과 결과의 관련성을 만든다. 점선 노드는 외생 변수다. 뒤의 사전학습 과정은 이처럼 구조와 방정식이 주어진 세계를 여러 형태로 만들어 관측과 개입을 시뮬레이션한다. Stith et al. (2026), Figure 2, PDF p. 8. 원문 도판 영역 직접 추출.

CFM은 실제 대상의 SCM을 완전히 알고 출발하는 것이 아니다. 사전학습 때 많은 SCM을 샘플링하고, 실제 추론에서는 새로운 데이터셋이 어느 가능한 세계와 부합하는지를 반영하는 예측을 학습한다. 논문 §§2.4, 3.2

3. Bayesian prediction에서 무엇이 불확실한가

3.1 Prior는 가능한 인과적 세계의 범위를 정한다

데이터 생성 과정을 \psi, 그 과정에 대한 prior를 \pi(\psi)라 하자. 관측 데이터 D_{\mathrm{obs}}가 주어지면 posterior는

가 된다. 관심 효과 g(\psi)에 대한 분포는 각 가능한 세계의 효과 값을 posterior 확률로 모아서 얻는다. 원문은 이 estimand의 posterior 분포도 PPD라는 용어로 설명한다. 논문 §2.5

전통적 Bayesian 계산은 posterior를 직접 근사한 뒤 관심량을 계산하는 경우가 많다. PFN은 이 과정을 많은 합성 과제에서 미리 학습하여, 새 데이터셋에서 posterior predictive mapping을 신경망으로 근사한다. 명시적인 MCMC를 매번 수행하지 않아도 되는 것이 계산 이득의 근원이다.

3.2 결과의 분포와 평균 결과에 대한 불확실성은 다르다

이 논문을 읽을 때 가장 중요한 구분은 아래 세 분포다.

분포	의미	평균을 취하면 얻는 것
CID-PPD	P(Y\mid do(T=t),X=x,D_{\mathrm{obs}}): 개입 후 결과의 예측 분포	CEPO의 추정값
CEPO-PPD	\mu_t(x)라는 조건부 평균 자체에 대한 posterior 분포	CEPO의 추정값
CDTE-PPD	P(Y(1)-Y(0)\mid X=x,D_{\mathrm{obs}}): 효과 차이의 예측 분포	CATE의 추정값

정의는 논문 §2.5, Eqs. 22–24를 따른다. 이름이 비슷하고 평균으로 효과를 얻을 수 있어도, 분포의 폭이 뜻하는 바는 같지 않다.

CID-PPD는 어떤 DGP인지 모르는 epistemic uncertainty와, DGP를 알아도 결과에 남는 aleatoric uncertainty를 함께 포함한다. 반면 CEPO-PPD는 이미 결과 잡음을 평균한 \mu_t(x)에 대한 불확실성을 표현한다. 개인별 결과가 크게 흔들려도 집단의 평균 효과는 정밀하게 추정할 수 있고, 그 반대도 가능하다.

식 (24)의 혼합 구조를 따르면 CDTE-PPD도 DGP 사이의 epistemic uncertainty와, 고정된 DGP 안에서 개인별 효과에 남는 이질성·잡음을 함께 포함한다. 후자는 두 잠재결과의 주변분포뿐 아니라 Y(0)와 Y(1)의 결합 구조에 의존한다. 이 구분을 다음 예시에서 확인할 수 있다.

3.3 CATE의 평균과 개별 효과의 분포를 구분해야 한다

두 처치 아래 잠재결과의 주변분포를 알아도, 같은 대상의 Y(0)와 Y(1)이 어떻게 함께 움직이는지는 알지 못할 수 있다. 그래서 backdoor 가정으로 CATE를 식별할 수 있다고 해서 CDTE 전체도 자동으로 식별되는 것은 아니다.

다음은 이 구분을 설명하기 위해 재구성한 예다. X는 일정하고, U가 0과 1을 같은 확률로 가지며, 처치 T는 U와 독립적으로 무작위 배정된다고 하자.

• 세계 A에서는 Y(0)=U, Y(1)=U다. 모든 대상의 처치 효과는 0이다.
• 세계 B에서는 Y(0)=U, Y(1)=1-U다. 절반은 효과가 +1이고 절반은 −1이다.

두 세계 모두 처치별 관측 결과는 같은 Bernoulli 분포이며 CATE와 ATE는 0이다. 그러나 개인별 효과의 분포는 전혀 다르다. 차이는 관측되지 않는 두 잠재결과 사이의 결합 구조에 있다.

따라서 CDTE를 출력하는 모델의 분포에는 SCM prior가 정한 이러한 결합 가정도 들어간다. 이를 “관측 데이터만으로 알아낸 개인별 반사실 효과의 분포”라고 해석하면 과장이다. 이 예와 해석은 논문의 잠재결과·식별가능성 정의에서 도출한 설명이며, 논문의 추가 실험 결과가 아니다.

3.4 비식별 문제에서는 prior의 영향이 사라지지 않을 수 있다

관측적으로 구분되지 않는 두 세계가 다른 효과를 갖는다면, 데이터를 늘려도 그 차이를 해결할 정보는 생기지 않는다. 이때 posterior prediction은 prior가 두 세계에 준 비중에 의존한다.

원문은 식별 조건 아래에서 충분한 데이터가 주어지면 posterior가 하나의 DGP로 집중한다고 설명하고, 비식별 상황에서는 이러한 집중이 일어나지 않는다고 덧붙인다. 다만 관심 효과를 추정하기 위해 DGP 하나를 유일하게 식별할 필요는 없다. 관측적으로 동치인 여러 DGP가 남더라도 모두 같은 g를 주면, 적절한 posterior-consistency 조건 아래 g의 posterior만 집중할 수 있다. 전체 DGP의 posterior가 하나로 집중하려면 DGP·파라미터의 식별과 Bayesian 정규성 조건을 더 확인해야 한다. 이는 논문의 조건부 서술에서 도출한 구분이며, 두 종류의 posterior 집중을 같은 명제로 읽어서는 안 된다. 논문 §§2.5, 3.1.1

이 구분 때문에 Bayesian credible interval, 반복 표본추출에서의 confidence interval, 가정 아래 가능한 효과를 모두 포함하는 identified bound도 자동으로 같은 것이 되지 않는다. 분포를 출력한다는 사실과 그 불확실성이 실제 데이터에서 잘 보정되었다는 사실은 별도로 검증해야 한다.

4. 관측 데이터로 개입 결과를 배우는 사전학습

4.1 관측 context와 인과적 정답을 서로 다르게 만든다

일반적인 지도학습 PFN은 관측된 (x,y) 예시를 보고 같은 종류의 y를 예측하도록 학습한다. CFM의 입력은 factual 데이터 (x,t,y)지만, 정답은 그 SCM에서 개입을 시뮬레이션해 얻은 인과량이다. 모델에 두 잠재결과를 모두 보여준 뒤 하나를 가리는 단순한 문제로 만들지 않는다. 실제 배포 때 두 잠재결과가 주어지지 않기 때문이다. 논문 §3.1.1

그림 5. 그래프 구조, 구조방정식, 처치 배정, 잡음 분포를 샘플링해 하나의 인과적 세계를 만든다. 같은 세계에서 관측 데이터와 개입 정답을 생성하되, 모델의 context에는 관측 데이터만 넣는다. 정답은 loss를 계산하는 데 사용한다. Stith et al. (2026), Figure 5, PDF p. 16. 원문 도판 영역 직접 추출.

학습 절차를 요약하면 다음과 같다.

1. Prior에서 SCM을 샘플링한다.
2. SCM의 원래 처치 배정 과정을 따라 관측 데이터셋을 만든다.
3. Query의 처치를 강제로 설정해 결과나 조건부 평균의 정답을 만든다.
4. 관측 데이터만 본 CFM이 그 인과적 정답에 높은 확률을 주도록 가중치를 업데이트한다.

관측 데이터만으로 직접 확보하기 어려운 정답을 합성 세계에서는 계산할 수 있다는 점이 핵심이다. 다만 합성 데이터가 다양하다는 것만으로 실제 세계의 모든 인과적 구조를 포함하는 것은 아니다.

4.2 do(T=t)는 처치 열을 조건으로 고르는 것과 다르다

그림 6. 왼쪽은 원래 구조방정식을 따라 데이터를 생성한다. 오른쪽은 T로 들어오는 영향을 끊고 T=t^로 고정한 뒤 결과를 생성한다. 학습 입력은 왼쪽의 관측 데이터, 학습 정답은 오른쪽의 개입 결과에서 얻는다. Stith et al. (2026), Figure 6, PDF p. 17. 원문 도판 영역 직접 추출.*

단순히 데이터에서 T=t인 행을 선택하면, 그 처치를 받게 만든 공변량과 교란의 영향도 함께 선택된다. 개입은 처치 배정 메커니즘 자체를 바꾸는 연산이다. SCM에서는

로 바꾸어 이를 구현한다. CEPO 정답이 필요하다면 결과 잡음에 대한 조건부 평균도 계산해야 한다. CausalPFN은 이 평균을 효율적으로 만들기 위한 SCM 구성을 사용하고, Do-PFN은 개입 결과 표본을 직접 예측 대상으로 삼는다. 두 모델의 target 차이는 정답 생성 비용과 예측 분포의 의미에도 영향을 준다. 논문 §3.2

4.3 Causal prior-data loss

CEPO를 대상으로 하는 loss의 핵심은 다음과 같다.

SCM이 알려주는 조건부 평균 \mu_t(x;\psi)에 모델이 얼마나 높은 확률을 부여하는지를 평가한다. CID를 대상으로 할 때에는 평균 자체가 아니라 개입 결과 y에 loss를 준다.

위 식은 논문 Eqs. 27–28의 표기를 간소화한 것이다. 논문이 소개하는 CEPO loss의 결과는 prior가 거의 확실하게 positivity를 만족한다는 조건 아래, 모집단 loss가 참 CEPO-PPD와 모델 분포 사이의 forward KL divergence의 기댓값에 상수를 더한 값이라는 진술이다. 또한 소개된 점근적 결과에서 context 크기가 커질 때 posterior mean이 참 CEPO로 수렴하는지는 CEPO가 prior의 지지집합에서 식별 가능한지에 달린다. CID loss의 KL 해석도 별도로 제시되지만, 그것만으로 인과효과 점추정치의 식별이 보장되지는 않는다. 논문 §3.1.1

이들은 prior와 목표 분포 및 점근 조건에 관한 결과다. 유한한 transformer가 유한한 사전학습으로, prior 밖의 실제 데이터에서도 일관된 추정치를 낸다는 보장은 아니다.

여기서 “올바른 posterior를 배운다”는 목표는 선택한 prior 아래의 posterior다. 실제 데이터 생성 과정이 prior 밖에 있거나 식별 조건을 어기면, 작은 학습 loss가 현실의 올바른 인과효과를 보증하지 않는다. 학습 최적화의 정확성, prior의 적절성, 인과적 식별가능성은 별개의 조건이다. 논문 §3.1.1

4.4 새 과제에서 바뀌는 것은 가중치가 아니라 context다

그림 3. 위쪽은 과제마다 모델 선택·튜닝·학습을 반복하는 흐름이고, 아래쪽은 pretrained CFM에 context와 query를 넣는 흐름이다. 아래쪽에 가정 설정 상자가 없더라도 인과 가정이 필요 없다는 뜻은 아니다. 그 가정은 모델의 prior와 입력 변수의 선택에 남아 있다. Stith et al. (2026), Figure 3, PDF p. 12. 원문 도판 영역 직접 추출.

Transformer에는 context의 (X,T,Y)와 query의 X 또는 (X,T)를 넣되, query의 결과값은 넣지 않는다. 논문이 설명하는 attention 구조에서는 query들이 context를 참고하되 서로의 예측에 의존하지 않도록 한다. 이렇게 context를 고정한 채 새로운 query를 처리한다. 논문 §3.1.3

이는 과제마다 pretrained weight를 미세조정하지 않는다는 의미다. 전처리, 이웃 검색, context 선택, query batching 같은 계산은 여전히 필요하다. 실제 지연을 해석할 때에는 “한 번의 forward pass”라는 개념도와 라이브러리의 전체 실행 경로를 구분해야 한다.

5. Do-PFN·CausalPFN·CausalFM의 설계 차이

5.1 Target과 prior가 모델의 성격을 결정한다

모델	예측 분포	prior와 식별 전략	중요한 설계 차이
Do-PFN	CID-PPD	비식별 DGP도 포함하는 prior	개입 결과의 분포를 예측하며 구조적 불확실성을 표현하려는 접근이다.
CausalPFN	CEPO-PPD	Strong ignorability와 SUTVA를 만족하는 backdoor prior	조건부 평균 자체의 posterior를 추정한다.
CausalFM	CDTE-PPD	Backdoor·frontdoor·IV마다 별도 prior와 모델	효과 차이를 Gaussian mixture head로 표현한다.

이 비교는 논문 Table 1에 따른다. CausalFM이 하나의 가중치로 인과 구조와 식별 전략을 자동 판별해 모든 설정을 해결한다는 뜻은 아니다.

각 모델의 원 연구는 Do-PFN, Robertson et al. (2025), CausalPFN, Balazadeh Meresht et al. (2025), CausalFM, Ma et al. (2026)이다. 이 글의 benchmark 수치는 각 원 연구의 서로 다른 실험을 합친 것이 아니라, Stith et al.의 공통 비교 실험을 따른다.

Do-PFN은 더 넓은 비식별 상황을 표현하려 하지만, 정확한 점추정치가 필요한 backdoor 과제에서는 좁고 적합한 prior가 유리할 수 있다. CausalPFN의 prior는 그런 설정에 맞춰져 있다. 반면 실제 문제에 숨은 교란이 있으면, 그 가정을 만족하는 합성 세계에만 맞춰 학습했다는 점이 제한이 된다.

이 논문이 비교하는 세 모델은 prior뿐 아니라 target, architecture, 크기, 정답 생성 방식도 다르다. 따라서 한 모델이 더 좋았다고 해서 그 원인을 CEPO target 하나나 identifiable prior 하나의 효과로 분리해 입증한 것은 아니다.

5.2 모델 규모와 점추정 방식의 차이

모델	파라미터 수	Transformer layer 수	CATE 점추정치
Do-PFN	7.3M	12	두 처치의 CID 예측 평균을 뺀다.
CausalPFN	20M	20	두 처치의 CEPO posterior 평균을 뺀다.
CausalFM	2.7M	10	효과 차이를 나타내는 GMM의 가중 평균을 취한다.

논문 Tables 1–2, Eqs. 34–36

CausalFM의 해당 head는 5개 Gaussian component를 사용한다. Component weight를 w_k, 평균을 m_k(x)라고 쓰면 CATE 추정값은 \sum_k w_km_k(x)다. 동일한 CATE를 최종 출력하더라도, 먼저 예측하는 분포가 다르므로 불확실성 해석도 동일하지 않다.

5.3 .fit()은 여전히 보이지만, 의미가 달라진다

공식 CausalPFN quickstart의 핵심 호출은 다음과 같다. X_ctx, T_ctx, Y_ctx는 관측 context 배열이고, X_qry는 효과를 추정할 대상의 공변량이다. 이 코드는 입력 배열이 준비되어 있다는 전제의 최소 사용 예다.

import numpy as np
from causalpfn import CATEEstimator

model = CATEEstimator(device="cpu", verbose=False)
model.fit(X_ctx, T_ctx, Y_ctx)
cate_hat = np.asarray(model.estimate_cate(X_qry)).reshape(-1)

공식 노트북은 .fit()이 새 데이터로 transformer의 가중치를 학습하는 호출이 아니라 context를 설정하는 호출이라고 설명한다. 다만 모델 준비와 데이터 의존적인 전처리·검색은 수행할 수 있다. 공식 quickstart, commit 549bcb72

공식 companion repository는 모델마다 다른 API를 공통 인터페이스로 묶는다. 이 설정도 벤치마크 결과를 해석할 때 함께 봐야 한다. CausalPFN wrapper는 context 크기와 처치별 이웃 수에 한도를 두고, 처치 집단이 작으면 이웃 수를 줄인다. 따라서 모든 CFM이 데이터셋 전체를 무제한 context로 처리하는 것은 아니다. 공식 CausalPFN wrapper

6. 벤치마크: 정확도와 속도를 함께 읽기

6.1 RealCause-Lalonde가 제공하는 정답은 합성 정답이다

논문은 Lalonde-CPS 16,177개 표본과 Lalonde-PSID 2,675개 표본을 기반으로 한 semi-synthetic benchmark를 사용한다. RealCause의 생성 모델로 사실·반사실 결과를 구성해 CATE와 ATE의 평가 정답을 얻는다. 실제 관측 데이터만으로는 알기 어려운 인과 정답을 평가에 사용하기 위한 절충이다. 논문 §4.1

결과 생성은 관측 공변량으로 설명되도록 구성되어 conditional ignorability를 만족한다. 따라서 처치 배정과 결과가 강하게 관련된 어려운 관측 데이터라도, 이 벤치마크는 숨은 교란에 대한 강건성을 직접 시험한 것은 아니다. CausalPFN의 backdoor prior와 평가 가정이 맞는다는 점이 결과 해석에 중요하다.

평가는 두 cohort에서 각각 10개의 semi-synthetic realization을 사용한다. 공식 벤치마크 코드는 CATE를 계산할 때 realization마다 90/10 분할을 사용하고, ATE에는 전체 데이터를 쓰는 별도 estimator를 구성한다. 그러므로 아래 ATE 열을 held-out CATE 예측의 단순 평균이라고 가정해서는 안 된다. 공식 benchmark runner

6.2 지표와 튜닝 예산

논문에서 PEHE는 CATE 오차의 RMSE로 정의된다.

ATE relative error는 |\widehat{\mathrm{ATE}}-\mathrm{ATE}|/|\mathrm{ATE}|다. CATE의 정확도와 모집단 평균 효과의 정확도는 서로 다른 목표이므로 한 지표로 다른 지표의 우열을 대신할 수 없다. 논문 Eq. 33

전통적 추정기의 nuisance model은 FLAML로 검색 한 번당 900초, 3-fold cross-validation을 사용해 튜닝한다. 모델·nuisance component·realization·cohort마다 검색이 반복되므로, 한 추정기 전체가 900초만 쓰는 설정이 아니다. IPW도 propensity model에 대한 튜닝을 받는다. CFM은 공개 checkpoint를 추가 튜닝 없이 사용한다. 논문 §4.1

6.3 CATE: CausalPFN은 강하지만 T-Learner가 사라지지는 않는다

아래 값은 원문 Table 3의 표기 단위를 유지했다. PEHE 원래 값은 표의 값에 10^3을 곱한 크기이며, 두 cohort의 값은 평균 ± 표준오차다. 평균 순위는 두 cohort의 realization을 합쳐 계산하며 낮을수록 좋다.

방법	CPS PEHE (10^3 단위)	PSID PEHE (10^3 단위)	PEHE 평균 순위
CausalPFN	8.97 ± 0.06	14.00 ± 0.41	1.75 ± 0.16
Do-PFN	11.96 ± 0.09	20.20 ± 0.39	4.80 ± 0.21
CausalFM	12.34 ± 0.02	22.27 ± 0.43	6.60 ± 0.22
T-Learner	9.04 ± 0.08	13.65 ± 0.47	1.40 ± 0.11
Debiased ML	9.96 ± 0.34	15.45 ± 1.06	3.20 ± 0.29
X-Learner	11.90 ± 0.40	20.30 ± 0.60	5.20 ± 0.34
S-Learner	12.45 ± 0.11	20.61 ± 0.41	5.80 ± 0.24
DR-Learner	13.45 ± 0.29	24.09 ± 1.90	7.25 ± 0.28

논문 Table 3

CausalPFN은 세 CFM 중 가장 좋고 CPS에서는 T-Learner보다 평균 오차가 조금 낮다. 반면 PSID와 전체 평균 순위에서는 T-Learner가 앞선다. IPW는 CATE를 출력하지 않으므로 이 순위는 나머지 8개 방법 사이에서 계산한다.

핵심은 CausalPFN이 새 데이터에 맞춘 모델 학습·튜닝 없이, 강하게 튜닝된 T-Learner에 가까운 CATE 품질을 얻었다는 점이다. 평균과 표준오차만으로 두 방법 사이 작은 차이의 통계적 유의성까지 단정하지는 않는다.

6.4 ATE: 평균 효과를 잘 복원하는 방법은 달라진다

방법	CPS ATE 상대오차	PSID ATE 상대오차	ATE 평균 순위
CausalPFN	0.17 ± 0.03	0.24 ± 0.04	2.65 ± 0.26
Do-PFN	0.88 ± 0.01	0.89 ± 0.01	6.50 ± 0.30
CausalFM	0.94 ± 0.00	0.95 ± 0.00	7.80 ± 0.26
T-Learner	0.28 ± 0.04	0.04 ± 0.01	2.25 ± 0.27
IPW	0.15 ± 0.03	0.08 ± 0.02	2.05 ± 0.20
Debiased ML	0.34 ± 0.08	0.29 ± 0.08	3.20 ± 0.27

논문 Table 3. 표에는 주요 비교 방법만 발췌했으며, ATE 평균 순위 자체는 원문의 9개 방법 전체에 대한 값이다. ±0.00은 반올림된 표기이므로 실제 변동이 완전히 없다는 뜻은 아니다.

CPS에서는 IPW, PSID에서는 T-Learner의 평균 상대오차가 가장 작다. 전체 ATE 평균 순위도 IPW가 가장 좋다. 따라서 인과효과를 추정한다는 큰 범주가 같아도, CATE의 이질성을 복원하려는지 모집단 평균을 안정적으로 추정하려는지에 따라 비교 대상이 달라진다.

Do-PFN과 CausalFM의 상대오차는 두 cohort에서 모두 1에 가깝다. 논문은 이를 효과 크기가 0 쪽으로 축소되는 양상으로 해석한다. 상대오차만으로는 축소 방향을 알 수 없지만, 공개 CSV의 부호 있는 ATE 추정값도 실제로 이런 양상을 뒷받침한다. 다만 이것이 prior, target 분포, architecture 또는 구현의 어느 요소 때문에 발생했는지는 이 비교만으로 분리되지 않는다. 논문 §4.2, 공식 CPU 결과 CSV

6.5 속도: ‘재학습하지 않는다’의 실용적 가치는 크다

방법	CPU CATE 처리시간 중앙값(초)
CausalPFN	18.4
Do-PFN	115.1
CausalFM	31.2
T-Learner	1803.0
Debiased ML	1807.9
X-Learner	2707.3
S-Learner	901.4
DR-Learner	1820.5

논문 Table 3

전통 방법은 해당 과제의 튜닝·학습·CATE 예측 시간을 포함하고, CFM은 사전학습 비용을 제외한 과제 적용 시간을 측정한다. 공개 CSV를 확인하면 이 열은 두 cohort × 10 realization의 CATE 처리시간 중앙값이다. 별도로 수행하는 전체 데이터 ATE 추정 시간까지 합친 총 실행시간이 아니다. 공식 결과 CSV·분석 노트북

CausalPFN과 T-Learner의 중앙값을 나누면 약 98배 차이다. 이미 학습된 CFM을 여러 새 과제에 적용하는 사용자에게는 중요한 절감이다. 반면 이를 같은 모델의 순수 forward latency 비교나 사전학습까지 포함한 전체 연구비용의 우위라고 부를 수는 없다. 비교 설정의 HPO 예산을 줄이면 전통 방법의 시간과 성능도 함께 바뀔 수 있다.

그림 7. 왼쪽일수록 빠르고 위쪽일수록 PEHE 순위가 좋다. 파란색은 CFM의 CPU 실행, 분홍색은 A100 GPU 실행, 주황색은 전통 추정기다. 가로축은 로그 척도의 평균 CATE runtime이며, 표의 중앙값과 다르다. 세로 오차막대는 그림에 standard deviation으로 표시되어 있어 Table 3의 standard error와 구분해야 한다. 원그림은 9개 모델이라는 축 설명을 쓰지만, CATE 순위 계산에서는 IPW가 제외되어 실제 비교 대상은 8개다. Stith et al. (2026), Figure 7, PDF p. 21 및 공식 결과 노트북. 원문 도판 영역 직접 추출.

GPU 결과는 더 빠른 적용 가능성을 보여주지만, CPU를 사용한 전통 추정기와 하드웨어까지 통제한 비교는 아니다. 정확도와 지연의 균형을 볼 때에는 같은 CPU의 표를 먼저 읽고, GPU 점은 추가적인 실행 선택지로 해석하는 편이 명확하다.

7. 논문을 해석할 때 남겨야 할 경계

7.1 Benchmark의 정답이 현실의 정답을 대신하지는 않는다

Semi-synthetic benchmark는 실제 데이터의 특징을 일부 보존하면서 관측 불가능한 정답을 계산할 수 있게 한다. 그러나 결과의 정답은 생성 모델이 정의한 것이다. Lalonde에서 나온 수치를 실제 프로그램의 역사적 인과효과로 읽으면 안 된다.

두 cohort가 서로 다른 통제집단을 사용하더라도 같은 Lalonde/RealCause 계열에 속한다. 따라서 이 실험만으로 의료·정책·마케팅·공간 데이터 전반의 우위를 주장할 수는 없다. 특히 본 평가가 만족하도록 설계된 ignorability를 실제 분석에서도 충족하는지가 더 먼저 확인되어야 한다. 논문 §4.1

7.2 Prior가 맞는지와 효과가 식별되는지는 별도 문제다

식별 가능한 prior를 쓰면 그 prior의 가정 아래에서 관심 효과를 구분할 수 있다. 하지만 실제 DGP가 그 지지집합 안에 있는지는 또 다른 질문이다. 실제로 숨은 교란이 있는데 backdoor-only prior를 사용하면, 모델은 잘못된 가정 안에서 확신 높은 추정을 낼 수 있다.

비식별 세계까지 포함하는 prior가 더 일반적이라고 해서 점추정치가 항상 좋아지는 것도 아니다. 관측적으로 구별할 수 없는 세계들의 posterior 비중이 prior에 남기 때문이다. Prior의 폭에는 단순한 우열이 없다. 분석 대상과 가정의 적합성, 출력하려는 estimand가 무엇인지를 함께 고려해야 한다.

7.3 분포 출력은 calibration의 대체물이 아니다

논문 §5.2.4는 prior-induced bias, interval coverage, 보정 방법에 대한 후속 연구를 소개한다. 일부 연구는 사전학습 prior의 교란 강도와 실제 데이터가 다를 때 효과 추정이 편향될 수 있음을 지적하며, posterior correction이나 task-specific 조정을 탐색한다. 논문 §5.2.4

현재 benchmark의 주 표는 PEHE와 ATE 상대오차를 비교한다. 이 값들이 좋아도 모든 credible interval이 명목 coverage를 만족한다는 증거는 아니다. 또한 CID의 결과 분포, CDTE의 효과 분포, CEPO의 평균에 대한 posterior는 서로 다른 불확실성을 포함하므로 같은 방식의 interval로 취급해서는 안 된다.

원문도 CausalPFN coverage를 비판한 연구에 대해 calibration 후 실험인지 명확하지 않다고 유보한다. 따라서 “모든 CFM의 uncertainty가 실패한다”는 일반화도 피해야 한다. 필요한 것은 사용하는 모델·출력 분포·보정 절차·적용 도메인을 명시한 검증이다.

7.4 ‘가중치 업데이트 없음’과 ‘설정 없음’을 구분한다

이 논문의 benchmark는 공개 checkpoint를 그대로 사용한다는 장점이 있다. 그러나 모델을 실제 데이터에 적용하려면 변수·처치·결과의 정의, scaling, context selection, query batch 크기, 출력의 단위 복원은 여전히 필요하다.

공식 wrapper는 공변량과 결과를 표준화하고, 모델의 효과 예측을 원래 결과 단위로 돌려놓는다. CausalPFN은 이웃 검색과 context 한도를 적용하며, 다른 모델의 API와 출력도 공통 형식으로 맞춘다. 이런 구현은 지연과 예측값에 영향을 줄 수 있다. 공식 wrapper 코드

따라서 “아무 설정 없이 어떤 인과 문제든 해결한다”는 문장보다, 명시한 가정과 전처리·context 구성 아래에서 과제별 신경망 재학습 없이 추정한다는 문장이 실제 기여를 더 정확하게 전달한다.

8. 분야는 어느 방향으로 확장되는가

이 논문의 후반부는 첫 세 CFM의 한계를 넘어서는 연구들을 정리한다. 아래는 논문 §5의 분류를 목적 중심으로 재구성한 것이다. 여기의 방법들이 본 논문 Table 3에서 직접 비교되었다는 뜻은 아니다.

확장 방향	해결하려는 문제	논문이 소개하는 흐름
구조적 지식 입력	표 데이터 외에 알려진 인과 관계를 반영한다.	Partial ancestral information, 그래프를 함께 받는 TabPFN-CFM
처치·시간 범위 확대	이진 처치와 정적 표를 넘어간다.	연속 처치의 CCPFN, 종단 자료의 CausalLongPFN
부분 식별·민감도	하나의 효과를 식별하지 못하는 상황을 다룬다.	IV-ICL, hidden-confounding sensitivity 분석
신뢰성과 보정	Prior mismatch에 따른 bias와 coverage를 점검한다.	Posterior correction, calibration, 입력 변수 검토
인과 발견	효과를 추정하기 위한 구조 자체를 추론한다.	Causal discovery용 PFN 및 foundation model
도메인 특화	생물학적 교란 반응이나 생존 자료의 특성을 반영한다.	Single-cell perturbation과 survival PFN

논문 §§5.2–5.4

이 가운데 효과 추정과 인과 발견도 구분해야 한다. 효과 추정은 특정 개입의 결과를 묻고, 인과 발견은 변수 사이의 구조를 묻는다. 표 데이터에서 그래프를 예측하는 모델이라고 해서 자동으로 동일한 효과 posterior를 출력하는 CFM은 아니다. 논문도 후반부에서는 자신의 엄격한 CFM 정의보다 넓은 관련 분야를 소개한다고 밝힌다.

또한 posterior quantile을 계산할 수 있다는 이유만으로 비식별 효과의 올바른 bounds를 얻는 것은 아니다. 부분 식별을 목표로 설계된 학습 문제와 가정, 그 범위에 대한 유효성 검증이 필요하다. 이 분야의 확장은 계산 속도뿐 아니라 무엇을 식별하고 무엇을 유보하는지를 출력에 명시하는 방향으로 읽을 가치가 있다.

9. 실제 활용 조건과 결론

CFM의 가장 자연스러운 활용은 비슷한 인과 분석을 여러 데이터셋·하위집단·시점에서 반복할 때다. 한 번 사전학습된 모델이 context를 바꿔가며 추정할 수 있으면, 모델 선택과 튜닝에 들던 반복 계산을 크게 줄일 수 있다. 다만 이 활용 가능성은 다음 조건들과 함께 검토해야 한다.

먼저 정할 것	필요한 확인
추정 대상	CEPO, CATE, ATE 중 무엇이 의사결정에 필요한가?
목표 모집단	ATE를 어떤 공변량 분포에 대해 평균할 것인가?
인과 가정	모델 prior와 실제 데이터의 교란·overlap·간섭 조건이 부합하는가?
입력 변수	처치 이후 변수나 collider를 무심코 공변량으로 넣고 있지 않은가?
비교 방법	Point estimate, uncertainty, 비용을 적절한 전통 추정기와 함께 비교했는가?
구현 조건	Scaling, context 한도, 작은 처치 집단, 출력 단위 복원을 검증했는가?

이는 논문의 결과에서 도출한 적용 판단 틀이며, 모든 항목을 CFM이 자동 검증한다는 뜻은 아니다. 예를 들어 지역 정책이나 네트워크 효과처럼 이웃 대상의 처치가 내 결과에 영향을 주는 문제는 단순한 no-interference 설정과 다르다. 그런 문제를 표로 표현할 수 있다는 사실만으로 첫 세 CFM의 prior가 적합해지지는 않는다.

이 논문의 가장 큰 장점은 인과추론과 foundation model을 연결하는 과정을 구체적으로 보여준다는 데 있다. SCM은 관측 데이터에 없는 학습 정답을 만들고, causal prior-data loss는 관측 데이터에서 그 인과량을 추정하도록 학습시키며, ICL은 그 계산을 새로운 과제에 재사용한다. 공개 노트북과 결과 CSV는 이 설명을 실제 비교로 이어준다.

실험이 지지하는 결론도 분명하다. CausalPFN은 이 backdoor semi-synthetic benchmark에서 강한 CATE 품질을 유지하면서 과제 적용 시간을 크게 줄였다. 동시에 T-Learner와 IPW의 경쟁력, 다른 CFM의 효과 축소, prior와 출력 분포의 차이는 “인과추론을 범용 모델 하나로 대체했다”는 결론을 제한한다.

CFM이 줄이는 것은 과제마다 반복하던 추정 계산이다. 어떤 인과효과가 관측 데이터와 가정 아래 식별 가능한지 판단하는 책임은 남는다. 그 책임을 명시하면서 prior의 적합성과 불확실성까지 검증할 때, CFM은 빠른 데모를 넘어 재사용 가능한 인과 분석 도구가 될 수 있다.

References

Balazadeh Meresht, V., Kamkari, H., Thomas, V., Ma, J., Li, B., Cresswell, J. C., & Krishnan, R. G. (2025). CausalPFN: Amortized causal effect estimation via in-context learning. Advances in Neural Information Processing Systems, 38. NeurIPS proceedings

Layer 6 AI. (2026). Causal foundation models: Companion code and notebooks [Computer software]. GitHub. 코드 스냅샷

Ma, Y., Frauen, D., Javurek, E., & Feuerriegel, S. (2026). Foundation models for causal inference via prior-data fitted networks. International Conference on Learning Representations. ICLR proceedings

Robertson, J., Reuter, A., Guo, S., Hollmann, N., Hutter, F., & Schölkopf, B. (2025). Do-PFN: In-context learning for causal effect estimation. Advances in Neural Information Processing Systems, 38. NeurIPS proceedings

Stith, C., Rahmani, H., & Cresswell, J. C. (2026). Causal foundation models (arXiv:2609.03003v1). arXiv. arXiv 논문