제2차 세계대전 당시 전투 임무를 마치고 돌아온 군용기에는 총탄과 포탄 파편에 맞은 흔적이 남아 있었습니다. 살아 돌아온 기체만 보면 날개와 동체처럼 피탄 흔적이 많이 관찰되는 부분을 먼저 보강해야 할 것처럼 보입니다. 하지만 통계학자 에이브러햄 왈드가 주목한 대상은 눈앞의 구멍만이 아니었습니다. 조사할 수 없었던 기체, 즉 임무에서 돌아오지 못한 항공기가 분석에서 빠져 있었습니다.
귀환한 항공기에 구멍이 많다는 사실은 그 부분에 맞은 뒤에도 기체가 돌아올 수 있었다는 정보입니다. 반대로 귀환기에서 피탄 흔적이 적게 보이는 엔진 같은 부위는 실제로 잘 맞지 않은 곳일 수도 있지만, 그곳에 맞은 기체가 귀환 표본에 들어오지 못했을 가능성도 있습니다.
이처럼 어떤 선택 과정을 통과해 관찰 가능한 대상으로 남은 사례만 분석하고, 탈락하거나 사라져 보이지 않는 사례를 놓쳐 결론이 왜곡되는 현상을 ‘생존자 편향(Survivorship Bias)’이라고 합니다. 생존자 편향은 선택 편향의 한 형태입니다.
생존자 편향이란 무엇인가요?
생존자 편향은 연구하거나 판단하려는 전체 집단 가운데 특정 기준을 통과한 사례만 눈에 보일 때 발생합니다. 여기서 ‘생존’은 반드시 생물학적으로 살아 있다는 뜻만은 아닙니다. 사업을 계속 운영하는 기업, 현재 판매 중인 제품, 데이터베이스에 남아 있는 투자 상품, 조사에 끝까지 참여한 사람처럼 어떤 과정 뒤에도 관찰 가능한 상태로 남은 모든 사례를 가리킬 수 있습니다.
생존한 대상만 봐도 문제가 없는 경우가 있습니다. 질문 자체가 “현재 운영 중인 기업의 특성은 무엇인가?”라면 현재 기업만 조사하는 것이 목적에 맞습니다. 문제가 되는 때는 전체 출발 집단이나 성공과 실패의 원인을 알고 싶으면서도 생존한 사례만으로 답을 만들 때입니다.
전체 모집단을 다음 두 집단으로 나누어 생각할 수 있습니다.
- 선택 과정을 통과해 관찰할 수 있는 생존 사례
- 탈락, 폐업, 사망, 중도 이탈 등으로 관찰하기 어려운 비생존 사례
두 집단의 특성이 같다면 생존 사례가 전체를 잘 대표할 수 있습니다. 하지만 관찰하려는 원인이나 결과가 생존 여부에도 영향을 준다면 남아 있는 표본은 처음 모집단과 달라집니다. 생존자만의 성공률이나 평균을 전체에 적용하면 편향된 추정이 나올 수 있습니다.
에이브러햄 왈드는 누구였나요?
에이브러햄 왈드는 1902년 당시 오스트리아-헝가리 제국에서 태어난 수학자이자 통계학자입니다. 그는 미국으로 이주한 뒤 컬럼비아대학교에서 활동했으며, 제2차 세계대전 중 컬럼비아대학교 통계연구그룹(Statistical Research Group, SRG)에 참여했습니다.
SRG는 미국 국방연구위원회 산하 응용수학패널의 지원을 받아 군사 문제에 통계 방법을 적용했습니다. 구성원들은 품질 검사, 사격, 폭격, 항공기 생존성처럼 전시 의사결정과 관련된 여러 문제를 연구했습니다.
왈드는 항공기 생존성 외에도 순차분석 발전에 중요한 기여를 했습니다. 전후에는 컬럼비아대학교 교수로 재직했으며 통계적 의사결정 이론과 계량경제학에도 연구 업적을 남겼습니다.
귀환한 항공기 자료에는 무엇이 빠져 있었을까요?
항공기 보강 문제의 목표는 제한된 무게의 장갑을 어느 부위에 배치해야 손실을 줄일 수 있는지 판단하는 것이었습니다. 장갑을 많이 붙이면 보호력은 커질 수 있지만 기체 무게도 늘어나므로 모든 부분을 똑같이 강화할 수는 없습니다.
관측 가능한 자료는 임무를 마치고 기지로 돌아온 항공기의 피탄 흔적이었습니다. 이 자료는 전체 출격기의 무작위 표본이 아닙니다. “전투에 참가했고, 피격됐을 수 있으며, 다시 기지로 돌아왔다”는 조건을 통과한 기체만 포함합니다.
돌아오지 못한 항공기는 어느 부위에 맞았는지 같은 수준으로 조사하기 어렵습니다. 그런데 장갑 보강에서 가장 필요한 정보는 바로 어떤 부위의 피격이 귀환 실패와 강하게 연결되는지입니다. 중요한 사례가 관측 단계에서 빠진 셈입니다.
귀환기의 날개나 동체에 피탄 자국이 많다면 적의 탄환이 그곳에 많이 맞았을 수도 있습니다. 동시에 그 부위에 맞아도 살아 돌아올 가능성이 높았다는 뜻일 수도 있습니다. 관측된 구멍 수만으로 피격 빈도와 치명도를 분리할 수 없습니다.
“구멍이 없는 곳”을 봐야 했던 이유
널리 알려진 설명에서는 귀환한 항공기의 구멍이 많은 부위보다 구멍이 적은 엔진과 중요 계통을 보강해야 한다고 말합니다. 논리는 다음과 같습니다.
- 돌아온 항공기에는 날개와 동체 등에 많은 피탄 흔적이 관찰됩니다.
- 그 항공기들은 해당 부위가 손상된 상태에서도 귀환했습니다.
- 치명적인 부위에 맞은 항공기는 귀환하지 못해 조사 자료에서 빠질 수 있습니다.
- 따라서 귀환기에서 구멍이 적은 곳이 오히려 높은 취약성을 가진 부위일 수 있습니다.
왈드의 핵심 작업은 이 생각을 구호로만 제시하는 데 그치지 않았습니다. 귀환한 기체의 손상 자료와 전체 손실률을 바탕으로, 특정 수의 피격을 받았을 때 격추될 확률과 기체 부위별 피격 취약성을 추정하는 수학적 방법을 만들었습니다.
원 보고서는 관찰된 귀환기만으로는 ‘특정 부위가 맞을 확률’과 ‘그 부위가 맞았을 때 생존할 확률’을 아무 가정 없이 동시에 추정할 수 없다는 점도 명시합니다. 왈드는 피격 위치와 탄종, 이전의 비치명적 피격이 다음 피격의 생존 가능성에 미치는 영향 등에 관한 가정을 세우고 분석 방법을 전개했습니다.
즉 “구멍이 없는 곳에 무조건 장갑을 붙인다”가 완전한 통계 절차는 아닙니다. 피탄 위치가 어떻게 결정되는지, 각 부위의 면적은 얼마인지, 공격 무기의 종류는 무엇인지, 전체 출격기 중 몇 대가 손실됐는지 같은 정보가 함께 필요합니다.
조건부확률로 보면 무엇이 달라질까요?
귀환기 조사에서 직접 관찰하는 값은 대략 다음과 같은 조건부확률입니다.
P(특정 부위 피격 | 항공기가 귀환함)
하지만 장갑 배치에 필요한 값은 다음 질문에 가깝습니다.
P(항공기가 귀환함 | 특정 부위가 피격됨)
두 확률은 순서가 바뀌었으며 같은 값이 아닙니다. 귀환했다는 조건 아래 피탄 위치를 보는 것과, 특정 위치에 맞았다는 조건 아래 귀환 가능성을 보는 것은 서로 다른 질문입니다.
베이즈 정리를 이용하면 두 확률 사이의 관계를 다음처럼 표현할 수 있습니다.
P(귀환 | 특정 부위 피격) = P(특정 부위 피격 | 귀환) × P(귀환) ÷ P(특정 부위 피격)
귀환기에서 특정 부위의 구멍이 적다는 정보만으로는 오른쪽 분모인 전체 항공기의 부위별 피격 확률을 알 수 없습니다. 적의 사격 방향과 기체 구조 때문에 원래 잘 맞지 않는 부위일 수도 있습니다. 그래서 왈드의 연구에는 피격 분포에 관한 가정과 전체 손실 정보가 필요했습니다.
작은 가상 자료로 이해하는 생존자 편향
계산 구조를 단순한 예로 살펴보겠습니다. 다음 숫자는 역사적 항공기 자료가 아니라 원리를 설명하기 위해 만든 가상 자료입니다.
날개에 맞은 항공기 100대와 엔진에 맞은 항공기 100대가 있었다고 가정하겠습니다. 날개에 맞은 기체 중 90대가 귀환하고 엔진에 맞은 기체 중 20대가 귀환했습니다.
- 날개 피격: 100대 중 90대 귀환, 귀환율 90%
- 엔진 피격: 100대 중 20대 귀환, 귀환율 20%
기지에서 귀환기만 조사하면 날개 쪽 피탄 흔적은 90개, 엔진 쪽은 20개가 보입니다. 눈에 보이는 구멍 수만 보면 날개가 4.5배 많습니다. 하지만 실제로는 엔진 피격의 귀환율이 훨씬 낮았습니다.
귀환한 110대만 분석하면 엔진에 맞고 돌아오지 못한 80대가 사라집니다. 날개에 맞고 돌아오지 못한 10대도 빠집니다. 탈락률이 부위마다 다른데 생존 사례만 남겼기 때문에 관찰된 구멍 분포가 전체 피격 결과를 대표하지 못합니다.
원 보고서와 유명한 그림은 구분해야 합니다
인터넷에서 생존자 편향을 설명할 때 빨간 점이 찍힌 전투기 그림이 자주 사용됩니다. 날개와 동체에는 빨간 점이 많고 엔진에는 거의 없는 모습입니다. 이 그림은 왈드의 1943년 보고서에 실린 원본 전투기 도면이 아닙니다. 후대에 개념을 설명하기 위해 제작되고 공유된 시각 자료입니다.
왈드의 연구는 여러 개의 통계연구그룹 비망록으로 작성됐으며 외부 학술지에 바로 출판되지 않았습니다. 미국 해군분석센터는 이 자료를 1980년 ‘A Method of Estimating Plane Vulnerability Based on Damage of Survivors’라는 제목의 100쪽짜리 보고서로 다시 공개했습니다. 보고서에는 여덟 개의 비망록이 수록되어 있습니다.
보고서 마지막 부분의 수치 예시는 1,000대가 출격하고 일부가 손실된 상황을 분석하지만, 원문은 이를 실제 전투 기록이 아니라 가정한 자료에 기반한 예시라고 밝힙니다. 따라서 인터넷 그림의 빨간 점 개수나 그 배치를 실제 당시 조사 결과로 인용하면 안 됩니다.
다만 대중적 그림이 전달하는 통계 원리와 왈드의 연구 주제는 연결됩니다. 왈드의 보고서는 처음부터 제목에 ‘생존기의 손상에 기반한’ 취약성 추정을 명시하고, 귀환하지 못한 항공기의 손상 자료가 직접 관찰되지 않는 상황에서 생존 확률과 취약성을 추정하는 문제를 다룹니다.
피탄 자국이 많다는 사실이 의미하는 두 가지
귀환기에서 어떤 부위의 피탄 자국이 많을 때 가능한 설명은 하나가 아닙니다.
- 그 부위가 넓거나 적에게 노출되어 실제로 더 자주 맞았습니다.
- 그 부위에 맞아도 귀환할 가능성이 높아 생존 표본에 많이 남았습니다.
- 두 요인이 동시에 작용했습니다.
- 조사와 기록 방식이 부위별로 달랐습니다.
반대로 피탄 자국이 적은 경우에도 여러 설명이 가능합니다.
- 원래 그 부위가 잘 맞지 않았습니다.
- 그 부위에 맞으면 귀환하기 어려웠습니다.
- 손상이 조사 과정에서 덜 기록됐습니다.
따라서 관측 빈도만 보고 치명도를 바로 판단할 수 없습니다. 공격을 받은 전체 기체와 귀환기 수, 부위별 면적, 피격 가능성, 탄종과 손실률을 함께 분석해야 합니다. 왈드의 수학적 연구가 필요했던 이유입니다.
생존자 편향과 선택 편향의 관계
선택 편향은 분석에 포함되는 과정이 연구 대상과 관련되어 표본이 모집단을 대표하지 못하는 넓은 범주의 문제입니다. 생존자 편향은 선택 편향 가운데 생존하거나 남아 있는 사례만 관찰되는 형태입니다.
항공기 사례에서는 귀환 여부가 선택 기준입니다. 귀환 가능성이 피격 부위에 따라 달라진다면 관찰 표본에 포함될 확률도 피격 부위별로 다릅니다. 이 선택 과정을 무시하면 기체 부위의 취약성을 반대로 해석할 수 있습니다.
생존자 편향은 단순히 실패 사례를 일부 빠뜨린다는 뜻보다 더 구체적입니다. 빠질 가능성이 분석 대상의 특성이나 결과와 체계적으로 연결되어 있기 때문에 남은 자료의 비율, 평균, 상관관계가 달라질 수 있습니다.
투자 성과에서 나타나는 생존자 편향
현재 판매 중인 펀드의 과거 성과만 모으면 이미 청산되거나 합병된 펀드가 빠질 수 있습니다. 성과가 부진한 펀드가 데이터에서 더 자주 사라진다면 남은 펀드의 평균 수익률은 처음 존재했던 전체 펀드의 평균보다 높게 보일 수 있습니다.
스티븐 브라운, 윌리엄 괴츠만, 로저 이벗슨, 스티븐 로스는 1992년 Review of Financial Studies에 발표한 연구에서 생존으로 잘린 표본이 펀드 성과의 예측 가능성에 어떤 영향을 줄 수 있는지 분석했습니다. 연구는 변동성과 수익률의 관계가 생존자만 포함한 표본에서 성과 지속성이 있는 것처럼 보이게 만들 수 있음을 수치 예시로 제시했습니다.
투자 자료를 비교할 때는 현재 존재하는 상품뿐 아니라 분석 기간 중 폐쇄되거나 합병된 상품도 가능한 범위에서 포함해야 합니다. 데이터베이스가 과거에 사라진 상품을 보존하는지 확인하지 않으면 백테스트와 평균 성과가 실제보다 유리하게 보일 수 있습니다.
이 설명은 특정 펀드나 투자 전략의 수익을 예측하는 내용이 아닙니다. 생존 여부에 따라 표본이 달라질 수 있다는 데이터 구성상의 문제를 뜻합니다.
기업 성공 사례에서 빠지기 쉬운 정보
성공한 기업가가 공통으로 사용한 전략을 조사해도 그 전략이 성공의 원인이라고 바로 결론 내릴 수는 없습니다. 같은 전략을 사용했지만 실패해 시장에서 사라진 기업의 수와 특성을 함께 알아야 하기 때문입니다.
예를 들어 성공 기업 100곳 가운데 80곳이 특정 경영 방식을 사용했다는 자료만으로 그 방식의 성공률이 80%라고 계산할 수 없습니다. 해당 방식을 사용한 전체 기업 수가 분모에 없기 때문입니다. 같은 방식을 사용한 1,000곳 가운데 920곳이 실패했다면 성공률 계산은 완전히 달라집니다.
성공한 사례의 공통점은 가설을 만드는 데 사용할 수 있습니다. 그 가설을 검증하려면 성공 사례와 실패 사례가 모두 포함된 비교 집단, 전략을 사용하기 전의 조건, 산업과 자본 규모 같은 다른 요인이 필요합니다.
의학 연구에서도 생존 여부가 표본을 바꿉니다
노년층을 대상으로 어떤 위험요인과 건강 결과의 관계를 연구하면 연구 참여 시점까지 살아 있고 참여할 수 있을 정도로 건강한 사람이 표본에 들어옵니다. 위험요인이 조기 사망에도 영향을 준다면 같은 위험요인을 가진 사람 중 건강 상태가 더 좋은 생존자가 상대적으로 많이 남을 수 있습니다.
노인의학 연구에서 사용하는 선택 편향 안내 자료는 생존자 편향을 차등 생존 또는 왼쪽 절단으로 인한 선택 편향으로 설명합니다. 연구 시작 시점까지의 생존이 노출 요인과 관련되어 있으면 연구 표본과 원래 목표 모집단이 달라질 수 있습니다.
이 문제를 줄이려면 연구 질문에 맞는 시작 시점을 정하고, 새로 발생한 사례를 추적하며, 중도 탈락과 사망을 기록하고, 누락 과정에 관한 민감도 분석을 수행할 수 있습니다. 어떤 방법이 적합한지는 연구 설계와 이용 가능한 자료에 따라 달라집니다.
생존자 편향을 발견하는 질문
자료를 해석하기 전에 다음 질문을 확인하면 보이지 않는 사례를 찾는 데 도움이 됩니다.
- 처음 분석 대상이었던 전체 집단은 누구인가요?
- 현재 자료에 포함되려면 어떤 조건을 통과해야 하나요?
- 실패, 폐업, 사망, 중도 이탈 사례는 어디에 기록되나요?
- 자료에서 빠질 확률이 분석하려는 원인이나 결과와 관련되어 있나요?
- 분모에는 처음 시작한 전체 사례가 들어 있나요?
- 현재 남아 있는 대상만 제공하는 데이터베이스는 아닌가요?
- 누락 사례를 포함하면 결론이 얼마나 달라질 수 있나요?
핵심은 눈에 보이는 표본이 어떤 경로로 만들어졌는지 추적하는 것입니다. 데이터 수집 과정이 결과와 무관하게 무작위라면 선택에 따른 왜곡이 작을 수 있습니다. 반대로 결과가 좋지 않은 대상일수록 자료에서 사라진다면 생존 사례의 평균은 체계적으로 높아질 수 있습니다.
생존자 편향을 줄이는 분석 방법
먼저 목표 모집단과 관찰 모집단을 따로 정의해야 합니다. 전체 출격기와 귀환기는 같은 집단이 아니며, 시장에 출시된 전체 펀드와 현재 판매 중인 펀드도 다릅니다.
가능하다면 선택 과정 이전부터 시작하는 코호트를 구성합니다. 기업이 성공한 뒤 조사하는 대신 창업 시점의 기업을 등록해 폐업까지 추적하고, 환자가 연구 시점까지 생존한 경우만 모으는 대신 질환 발생 시점부터 경과를 관찰하는 방식입니다.
탈락한 사례의 수와 사유도 결과 자료로 관리해야 합니다. 단순히 ‘데이터 없음’으로 처리하면 무작위 누락과 결과에 관련된 누락을 구분하기 어렵습니다. 손실된 항공기 수, 중도 탈락 환자 수, 폐쇄된 펀드 수를 함께 제시하면 선택 과정의 규모를 확인할 수 있습니다.
모든 누락 자료를 복원할 수 없다면 서로 다른 가정을 적용한 민감도 분석을 수행할 수 있습니다. 누락 사례의 결과가 관찰 사례보다 어느 정도 나쁘다고 가정할 때 결론이 유지되는지 확인하는 방식입니다. 선택확률을 추정할 수 있는 연구에서는 역확률 가중치 같은 통계 방법을 고려할 수 있지만, 어떤 방법도 확인할 수 없는 가정을 자동으로 없애 주지는 않습니다.
생존자 편향과 확증 편향은 어떻게 다를까요?
생존자 편향은 관찰 가능한 표본이 선택 과정 때문에 달라지는 문제입니다. 실패한 사례가 사라져 데이터 자체에 들어오지 않는 것이 핵심입니다.
확증 편향은 기존 믿음과 일치하는 정보를 더 찾거나 중요하게 평가하고 반대 정보를 덜 받아들이는 판단 경향입니다. 실패 자료가 실제로 존재하고 접근 가능해도 사람이 의도적으로 또는 무의식적으로 무시한다면 확증 편향이 작용할 수 있습니다.
두 현상은 함께 나타날 수 있지만 같은 개념은 아닙니다. 생존자 편향은 자료가 수집되는 구조만으로도 생길 수 있으며, 분석자가 특정 결론을 원하지 않아도 발생합니다.
자주 묻는 질문
왈드는 실제로 전투기 그림의 빨간 점을 보고 판단했나요?
현재 널리 공유되는 빨간 점 항공기 그림은 왈드의 1943년 보고서에 실린 원본 도표가 아니라 후대에 만들어진 설명용 이미지입니다. 왈드가 실제로 다룬 주제는 귀환한 항공기의 손상 자료를 이용해 기체 취약성과 격추 확률을 추정하는 문제였습니다.
총탄 자국이 없는 곳은 무조건 가장 위험한 곳인가요?
그렇게 단정할 수 없습니다. 원래 피격될 가능성이 낮은 부위일 수도 있습니다. 피격 위치 분포, 기체 부위의 면적, 탄종, 전체 손실률과 귀환 자료를 함께 분석해야 합니다. 왈드의 원 보고서도 생존기 자료만으로 모든 미지수를 가정 없이 추정할 수 없다고 설명합니다.
생존자 편향은 성공 사례를 보면 언제나 발생하나요?
아닙니다. 질문이 생존자의 특성을 설명하는 것이라면 생존자 표본이 적절할 수 있습니다. 전체 성공률이나 성공 원인을 추정하면서 실패 사례가 체계적으로 빠졌을 때 편향이 문제가 됩니다.
표본 수가 크면 생존자 편향이 사라지나요?
사라진다고 보장할 수 없습니다. 선택 과정이 체계적이면 생존 사례를 아무리 많이 모아도 빠진 집단을 대표하지 못할 수 있습니다. 큰 표본은 무작위 오차를 줄이지만 잘못된 표본 선택을 자동으로 수정하지 않습니다.
실패 자료를 구할 수 없으면 분석할 수 없나요?
분석은 가능하지만 결론의 범위를 관찰된 생존자에게 한정하거나 누락 과정에 관한 가정을 명시해야 합니다. 전체 손실 수, 외부 자료, 추적 조사와 민감도 분석을 이용해 누락이 결과에 미칠 영향을 평가할 수 있습니다.
결론: 보이는 자료가 만들어진 과정을 먼저 확인하세요
귀환한 항공기의 피탄 자국은 적의 공격 위치만 보여 주는 자료가 아닙니다. 피격된 뒤에도 돌아올 수 있었던 부위가 어디인지도 함께 반영합니다. 귀환하지 못한 항공기의 손상이 관찰되지 않는다는 사실을 무시하면 피탄 흔적이 많은 곳을 가장 취약한 곳으로 잘못 판단할 수 있습니다.
에이브러햄 왈드의 항공기 생존성 연구는 생존기 자료와 전체 손실 정보를 이용해 보이지 않는 취약성을 추정하는 문제였습니다. 유명한 “구멍이 없는 곳을 보라”는 설명은 핵심 직관을 전달하지만, 실제 연구는 여러 가정과 확률 계산을 포함한 정교한 분석이었습니다.
투자 상품, 기업 성공 사례, 의학 연구에서도 같은 원리가 적용될 수 있습니다. 현재 남아 있는 대상을 보기 전에 처음 출발한 전체 집단과 사라진 사례를 확인해야 합니다. 분석 대상이 어떤 선택 과정을 통과했는지 밝히는 것이 생존자 편향을 줄이는 출발점입니다.
참고 자료
- Abraham Wald, A Method of Estimating Plane Vulnerability Based on Damage of Survivors, CNA 재판본
- Center for Naval Analyses, Wald 보고서 소개
- Marc Mangel·Francisco J. Samaniego, Abraham Wald’s Work on Aircraft Survivability, 1984
- American Mathematical Society, The Legend of Abraham Wald 소개
- Stephen J. Brown 외, Survivorship Bias in Performance Studies, 1992
- Selection Bias Toolkit for Geriatrics Research, PMC