Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality

Paper: Nitay Calderon; Eyal Ben-David; Zorik Gekhman; Eran Ofek; Gal Yona (2026). "Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality". arXiv:2602.14080v2 / PDF

모델이 사실 질문을 틀렸을 때, 그 사실이 학습되지 않았다고 단정하기 쉽다. 이 논문은 다른 가능성을 분리한다. 모델이 원문과 비슷한 문맥에서는 사실을 이어 쓸 수 있지만, 문맥을 없애고 질문의 방향이나 표현을 바꾸면 꺼내지 못할 수 있다는 것이다. WikiProfile은 이 차이를 행동으로 측정하는 벤치마크다. 제목의 ‘빈 선반’은 저장 실패, ‘잃어버린 열쇠’는 저장했어도 접근하지 못하는 실패에 해당한다.

1. 여기서 encoding과 knowledge는 무엇인가

먼저 저자들은 정답 개체가 나오기 직전까지의 left context를 제공한다. 모델이 뒤를 이어 사실을 복원하거나, 같은 문맥에서 직접 질문에 답하면 encoding 검사를 통과할 수 있다. 이어서 문맥을 없애고 같은 사실을 네 번 묻는다. 정방향 두 질문은 object를, 역방향 두 질문은 subject를 답하게 하며, 원문 표현에 가까운 질문과 자연스러운 재표현을 모두 쓴다.

예를 들어 Oasis가 첫 공연을 한 장소라는 사실은 문맥 속 빈칸을 채울 수 있어도, “그 장소에서 첫 공연을 한 밴드는?”이라는 역방향 질문에서는 실패할 수 있다. 논문에서 knowledge는 한 번 맞힌다는 뜻이 아니다. 네 자유응답 질문 모두에서 반복 생성의 정답률이 기준보다 높아야 한다. 이 엄격한 정의 덕분에 질문 표현에 흔들리지 않는 접근성을 보려 하지만, encoding과 knowledge의 과제 수·판정 규칙도 다르다는 점을 같이 기억해야 한다.

그림 1. Calderon et al. (2026), Figure 2, arXiv v2의 원도판이다. 위는 원문에서 subject와 object가 등장하는 사실, 아래 왼쪽은 정답 직전 문맥에서 복원하는 encoding, 오른쪽은 문맥 없는 정·역방향 질문을 보인다. 이 검사는 가중치 안의 저장 위치나 실제 사전학습 문서의 존재를 직접 측정하지 않고, 정해진 입출력 과제의 성공만 관찰한다.

2. 객관식은 ‘알고 있음’의 대체가 아니다

각 자유응답 질문에는 정답과 distractor 세 개를 둔 객관식 버전도 있다. 자유 생성에서 답을 내지 못해도 후보를 보면 고를 수 있는지, 즉 recognition 또는 verification을 추가로 관찰하기 위해서다. 하지만 객관식 선택은 기본 knowledge profile을 정하는 네 자유응답을 대체하지 않는다. 보기의 표현과 distractor의 질이 다른 능력을 측정할 수 있기 때문이다.

저자들은 질문 하나당 8개 답을 생성하고 정답 응답 비율이 0.5보다 엄격히 커야 통과로 본다. 모두 채점 가능하다면 적어도 5회가 정답이어야 한다. 두 encoding 과제 중 하나만 통과하면 encoded로 보지만, 네 QA 중 하나라도 기준을 못 넘으면 knowledge가 아니다. 그래서 “문맥에서 한 번 맞힌 사실”과 “형식을 바꿔도 안정적으로 답하는 사실” 사이에 큰 틈이 생길 수 있다.

3. WikiProfile은 질문을 어떻게 만들었나

벤치마크는 Wikipedia 요약 10,000개에서 시작해, 시간에 따라 바뀌기 어렵고 답이 하나로 정해지는 사실을 골랐다. 최종적으로 2,150개 사실에 사실당 10개 과제가 붙었다. Figure 3의 품질 관리는 한 번의 ‘필터’가 아니다. 먼저 LLM이 direct·reverse 질문을 다듬어 자명해지는 경우와 부자연스러운 표현을 줄인다. 이어 Google Search에 근거한 필터가 질문의 모호성·복수 정답·추가 설명 필요 여부를 가른다. 마지막으로 모델들이 공통으로 어려워한 사례를 중심으로 사람 검토가 품질 문제를 찾아 제거했다. 같은 사실을 양방향으로 묻는 설계가 핵심이라서, 단순 closed-book QA보다 실패 유형을 더 자세히 나눈다.

그림 2. Calderon et al. (2026), Figure 3, arXiv v2의 원도판이다. 문서 분류와 개체 선택에서 시작해 direct·reverse question, 재표현, 객관식 보기 생성까지 여러 검증과 탈락 단계를 보여 준다. 이 엄격한 필터는 모호한 질문을 줄이지만, 최종 집합이 실제 사용자 질문 전체나 Wikipedia 사실의 자연 분포를 대표한다는 보장은 아니다.

특히 subject와 object는 고정된 지식 그래프 관계가 아니라 원문에서 먼저 등장한 개체와 뒤에 등장한 개체로 정한다. 따라서 역방향 실패는 인간 언어 전체에서 드문 방향을 직접 측정한 값이 아니라, 이 데이터 구성에서 역할을 바꾼 질문에 대한 결과다. 어려운 사례를 우선한 사람 검토는 품질 개선에는 유용하지만 무작위 표본 감사가 아니므로, 그 단계에서 발견한 오류 수를 데이터셋 전체의 오류율로 일반화할 수는 없다.

4. 강한 모델에서도 남는 recall failure

13개 모델의 profile을 비교한 그림에서 작은 Gemma3 계열은 encoding failure가 크고, 강한 모델은 그 부분이 작아진다. 그러나 빨간 recall failure는 강한 모델에도 남는다. Appendix Table 2의 Selected 설정에서 GPT-5는 Encodes 95.3%, Direct Recall 61.6%, Recall with Thinking 21.5%, Recall Failure 12.2%로 보고된다. Gemini-3-Pro는 Encodes 98.1%, Direct Recall 72.2%, Recall with Thinking 14.9%, Recall Failure 10.9%다.

여기서 “95.3%가 저장됐다”는 표현은 줄여 말한 것이다. 엄밀히는 논문이 만든 두 문맥 과제 중 하나를 통과한 비율이다. Direct Recall과 Recall with Thinking, Inference without Encoding을 합친 ‘Knows’도 encoding 비율과 동일하지 않다. Thinking은 일부 사실을 회복하지만, 추가 추론이 새 사실을 조합했는지 또는 접근 경로를 열었는지 행동 결과만으로 완전히 구별할 수 없다.

그림 3. Calderon et al. (2026), Figure 4, arXiv v2의 원도판이다. 누적 막대는 encoding failure, recall failure, direct recall, thinking으로 회복한 경우 등을 모델별로 나눈다. 막대의 profile 비중은 선택·제외 규칙과 네 질문 모두 통과해야 하는 정의에 의존하므로, 이를 모델 내부 메모리 용량의 순수한 비율로 해석할 수 없다.

5. 이 결과로 무엇을 바꿔야 하나

이 연구는 모든 factuality 오류를 더 많은 사전학습 데이터 부족으로 진단하는 접근을 경계한다. 평가할 때는 같은 사실을 문맥 완성, 다양한 자유 질문, 객관식 재인의 축으로 나눠 보는 편이 원인 파악에 낫다. 제품에서는 thinking을 켜는 것만으로 충분하다고 기대하기보다, 높은 위험의 사실에는 검색·인용·검증 경로를 추가해야 한다.

논문에 따르면 이 WikiProfile 프로토콜에서 recall은 중요한 병목이다. 영어 Wikipedia 기반의 선택된 2,150개 사실, 반복 생성과 자동 채점, 특정 모델·thinking 설정 밖에서 모든 파라메트릭 지식의 구조를 증명한 것은 아니다. 이 리뷰는 2026년 6월 19일 개정된 arXiv v2를 기준으로 하며, 모델을 다시 평가하지 않았다.

References

Calderon, N., Ben-David, E., Gekhman, Z., Ofek, E., & Yona, G. (2026). Empty shelves or lost keys? Recall is the bottleneck for parametric factuality (arXiv:2602.14080v2). https://arxiv.org/abs/2602.14080v2

심층 리뷰 보기