Position: LLM-Based Social Simulations Require a Boundary

Paper: Zengqing Wu; Run Peng; Takayuki Ito; Makoto Onizuka; Chuan Xiao (2026). "LLM-Based Social Simulations Require a Boundary." arXiv:2506.19806v3. PDF · arXiv record

1. 평균이 맞는다고 사람들의 분포도 맞는 것은 아니다

LLM 에이전트에게 페르소나와 상황을 주고 수천 번 응답하게 하면, 여론·군집·협력 같은 사회 패턴을 탐색할 수 있을까? 이 논문은 가능성을 부정하는 대신, 무엇을 검증했는지에 따라 주장할 수 있는 범위를 정하자고 말한다. 저자들은 서로 다른 조건을 주어도 응답이 평균적이고 비슷한 방향으로 모이는 경향을 average persona라는 핵심 문제로 지적한다.

평균 소득이나 평균 선택 비율이 실제 자료와 같아도, 어떤 하위집단이 어떻게 다르게 행동하는지까지 맞았다는 뜻은 아니다. 개별의 이질성이 상호작용을 통해 거시 패턴을 바꾸는 사회 현상에서는 특히 그렇다. 저자들은 평균 정렬(mean alignment)과 행동 분산(variance)을 함께 보아야 한다고 제안한다. 이 경계선은 시뮬레이션 결과를 현실 인간의 행동 ‘복제’나 특정 사회 현상의 원인 증명으로 곧장 읽지 않도록 한다.

그림 1. arXiv:2506.19806v3 PDF p. 2의 Figure 1 원도판을 인용했다. 평균과 분산의 정렬 상태에 따라 허용할 만한 분석 주장이 달라진다는 저자들의 틀이다. 이는 검증 프레임워크이지, 사람의 행동을 생성하는 인과 모형은 아니다.

2. 논문의 증거는 새 실험이 아니라 21편의 검토다

이 글은 포지션 페이퍼다. 새로운 인간 실험이나 대규모 시뮬레이션 성능표를 제시하지 않고 최근 LLM 사회시뮬레이션 21편을 표로 코딩한다(Table 1). 그중 14편은 인간 기준선(ground truth)과 비교했지만, 행동 분산을 분명히 검사한 것은 9편뿐이었다. 그 9편 중 7편은 인간보다 낮은 분산을 보고했고, 인간 분산과 일치한다고 보고한 연구는 없었다. 이 수치는 ‘모든 LLM이 항상 저분산’이라는 물리 법칙이 아니라, 논문이 선정한 연구들의 보고 관행을 요약한 것이다.

그림 2. arXiv:2506.19806v3 PDF p. 7의 Table 1 원도판을 인용했다. 21편에서 평균·인간 기준선·분산을 어떤 방식으로 점검했는지의 목록이다. §5의 선정 근거와 Appendix D의 코딩 기준은 있지만, 검색식·데이터베이스 조회·선별 흐름을 재현할 체계적 문헌고찰 프로토콜은 없어, 체계적 문헌고찰의 완전한 빈도 추정으로 일반화할 수는 없다.

논문은 temperature, 모델 종류, 페르소나, 에이전트 수를 바꿔도 저분산이 한 설계 요인으로만 깔끔하게 설명되지 않는다고 분석한다(Appendix C). 또한 2/3 추측 게임의 서로 다른 결과를 비교해, 같은 평균적 승패 양상처럼 보이는 결과도 분포 수준에서는 다른 문제를 숨길 수 있음을 보인다(Fig. 2). 이 비교도 원인의 실험적 판정이 아니라, 평균 하나만 보고 내릴 수 있는 과잉 해석을 보여 주는 사례다.

그림 3. arXiv:2506.19806v3 PDF p. 5의 Figure 2 원도판을 인용했다. 논문이 Wu et al. (2024)을 인용하며 제시한 시뮬레이션 선택과 NYT 선택 분포의 비교다. 이 포지션 페이퍼의 저자가 새 실험을 하거나 재분석했다는 뜻은 아니다. 새 인간 행동 검증 결과로 오해하면 안 된다.

3. 그래서 어떤 검증이 필요한가

저자들의 실용적 처방은 세 단계다. 첫째, 연구 질문이 개인 차이·소수 행동·집단 간 차이를 요구한다면 평균만 맞추는 검증으로 충분하다고 말하지 않는다. 둘째, 평균 오차와 함께 분산, 가능하면 분포·하위집단별 결과를 보고한다. 셋째, 이질성 검증이 약한 경우 결론을 ‘집합 수준의 정성적 패턴 탐색’으로 낮춘다. 예컨대 정책 A가 모든 사람에게 같은 효과를 낸다는 주장이 아니라, 주어진 프롬프트·모델·분포 아래에서 어떤 집합적 양상이 생성되는지 보는 가설 생성 도구라는 식이다.

이 구분은 인간 참여자가 없는 LLM 결과에서 특히 중요하다. 인간 설문을 기준선으로 사용했다 해도, 그 비교는 해당 설문·표본·프롬프트에서의 정렬만 보인다. 시뮬레이션이 실제 사람의 심리나 행동을 재현했다는 증명도, 시뮬레이션 안의 상호작용이 실제 사회 현상을 일으킨 인과 메커니즘이라는 증명도 아니다.

4. 경계는 금지가 아니라 주장과 근거의 맞춤이다

이 논문은 주장과 검증의 깊이를 맞추자고 제안한다. ‘LLM을 쓰지 말자’는 주장은 아니다. 복잡한 사회 현상에 개인별 설명을 붙이고 싶다면, 인간 자료에서 분포와 관계 구조까지 맞는지 확인해야 한다. 반대로 탐색 단계라면 여러 조건에서 패턴이 견고한지 확인하고 결과를 후속 인간 연구의 가설로 제시하는 방식이 정직하다.

5. 읽을 때 남는 불확실성

저자들은 사용한 LLM 세대와 검토 대상이 빨리 낡을 수 있음을 인정한다. 21편의 선정 근거와 코딩 기준은 있지만 체계적 검색·선별 절차는 재현하기 어려워, 14/21과 7/9을 분야 전체의 정밀한 비율로 읽기 어렵다. ‘충분한 이질성’의 임계값도 없다. 따라서 이 글은 후속 시뮬레이션 논문이 답해야 할 검증 질문 목록으로 쓰는 편이 맞다.

심층 보기

References

Wu, Z., Peng, R., Ito, T., Onizuka, M., & Xiao, C. (2026). LLM-Based Social Simulations Require a Boundary (arXiv:2506.19806v3). https://arxiv.org/abs/2506.19806