● 한국갤럽 2019년 11월 13일 공개 | 문의: 02-3702-2571/2621/2622
표본오차 무시한 여론조사 맹신(盲信)과 불신
만약 신(神)이 있다면, 신만이 실제 여론이 어디쯤 위치하고 있는지 어떤 모습인지 정확히 알 것입니다. 인간은 그러한 능력을 갖지 못했기에 다양한 정보를 수집하고 분석해서 어렴풋이나마 여론의 실체를 가늠할 뿐입니다. 우리는 바깥의 작은 새가 드리운 그림자를 무서운 괴물로 보고 두려움에 사로잡히는, 동굴 속에서 살아가는 존재일지도 모릅니다.
●● '대통령 직무 긍정률 50%'라는 여론조사 결과의 의미
'대통령 직무 긍정률 50%'라는 여론조사 결과는 우리 국민 중 대통령이 대통령으로서의 직무를 잘하고 있다고 보는 사람의 비율이 정확하게 50%라는 의미가 아닙니다. 1,000명 표본조사 결과라면, '95% 신뢰수준1)에서 표본오차 ±3%포인트'라는 문구를 동반합니다. 이는 '대통령 직무 긍정률이 50%±3%포인트, 즉 47~53% 범위 안에 들 확률이 95%'라는 뜻입니다. 바꿔 말하면, 실제 직무 긍정률이 그 범위를 벗어날 확률이 5%에 불과하므로 47~53% 범위 안에 있다고 판단하는 것이 타당하다는 의미입니다.
표본조사 결과를 수치가 아닌 범위로 본다면, 우리의 해석 방식은 좀 달라져야 합니다. 대통령 직무 긍정률이 지난주 대비 1%포인트 상승한 것은 어디까지나 표본이 그렇다는 것입니다. 실제 전체 국민의 여론이 어디에 있는지는 정확히 알 수 없습니다. 범위 안에 있다고 추정할 따름입니다.
표본오차 범위 내의 변동은 표본에서의 현상이며, 전체 국민의 여론이 바뀐 것이라고 단정할 수 없습니다. 표본은 동굴 속 그림자이지 실체가 아닙니다. 우리는 그림자를 통해 실체를 추측해야 합니다.
●● 표본크기와 표본오차
2019년 7월 말 우리나라 주민등록통계 기준 만 19세 이상 인구는 약 4,322만 명입니다. 평소 언론에 자주 공표되는 여론조사의 응답자 수는 대부분 1,000명으로, 전체 유권자 중 극히 일부입니다. '일부의 의견을 조사해서 전체 국민의 의견을 알 수 있는가'는 여론조사를 향한 가장 근원적인 의문입니다. 이에 대한 답은 '확률적 범위 안에서 알 수 있다'는 것입니다. 단, 전체 모집단(母集團, population)에서 확률적으로 표본(標本, sample)을 추출했다는 전제하에서입니다. 국민 개개인이 표본으로 뽑힐 확률이 일정하고 표본이 전체 국민의 축소판, 즉 표본을 구성하는 여러 특성의 분포가 전체 국민의 특성 분포와 유사해야 합니다.
예를 들어, 주사위를 던질 때 우리는 1에서 6까지 숫자가 나올 확률이 각각 1/6로 거의 같으리라 기대합니다. 그렇지 않다면 주사위가 불량이겠죠. 여론조사의 표본은 모든 사람이 선정될 확률이 일정하다는 조건을 충족해야 합니다. 현재의 표본추출은 이러한 조건을 충족하기 위해 지금까지 밝혀진 수학적, 과학적 원리를 적용한 방법론을 따릅니다.
확률추출 전제하에서 표본오차를 결정하는 주 요인은 표본의 크기입니다. 아래 그래프는 표본크기에 따라 표본오차가 어떻게 변하는지 보여줍니다. 표본크기와 표본오차는 반비례합니다. 표본크기가 작을수록 오차가 매우 커서 해석 시 특히 주의해야 합니다. 표본크기가 50명일 때 표본오차 ±14%포인트, 500명일 때 ±4.4%포인트로 줄어듭니다(이하 95% 신뢰수준 기준). 그러나 1,000명을 넘어서면 표본크기 증가에 따른 표본오차 감소 폭이 상대적으로 작습니다.
50명 표본조사에서 대통령 직무 긍정률 50%가 나왔다면 표본오차를 고려한 범위는 36~64%로 상당히 넓습니다. 다음 주에 다른 50명을 조사해 직무 긍정률이 60%로 상승하더라도 국민 여론이 바뀌었다고 볼 수 없습니다. (한국갤럽은 50사례 미만 표본에서 얻어진 결과를 아예 제시하지 않습니다.)
표본 100명일 때 표본오차는 ±10%포인트입니다. 100명 표본조사에서 대통령 직무 긍정률이 50%라면 실제 여론은 40~60% 사이 어디쯤 위치할 것입니다. 이때도 그다음 조사의 긍정률 60%가 상승 변화라고 말하기 어렵습니다.
이처럼 표본조사에서 얻어진 결과는 표본오차를 고려한 범위로 해석해야 합니다.
●● 표본오차보다 훨씬 작은 변동에 대한 의미 부여는 해석이 아니라 허구(虛構)입니다.
요즘 일부 언론이나 인사들이 표본을 통한 여론조사의 한계를 완전히 무시한 채, 단 0.1%포인트 차이도 국민 여론의 변화로 보고 그 원인을 해석합니다. 또한, 전체 표본이 아닌 지역·연령 등 표본의 하위 세부 특성별 수치 변동에 대해서도 지나친 의미를 부여하는 경향이 있습니다. 한 조사회사가 한날한시에 같은 방법으로 두 개의 조사를 병행하더라도, 그 결과가 완전히 일치하진 않습니다. 특히 표본크기가 작을수록 조사 결과의 변동 폭이 크기 때문에 이런 식의 과도한 해석은 극히 경계해야 합니다.
개별 수치에 집착하는 것은 여론조사 결과에 대한 맹신이며, 표본오차보다 훨씬 작은 변동에 의미를 부여하는 행위는 해석이 아니라 허구(fiction)와 다름없습니다. 여론조사의 한계를 생각할 때 어처구니없는 일입니다. 이런 일이 반복될수록 여론조사는 과학적 방법론에서 멀어지고 음모론의 소재로 전락해, 결국 더 깊은 불신의 늪에 빠질 것입니다.
여론조사는 전체 국민 중 일부, 즉 표본을 대상으로 합니다. 전체 국민의 의견을 반영하지만, 그 자체는 아닙니다. 언제, 누구를 대상으로, 어떤 질문으로, 어떤 방법으로 조사했는지에 따른 오차와 한계를 내포합니다. 따라서 여론조사는 국민 여론을 반영하는 그림자이며, 실제 여론 그 자체가 아니라는 점을 반드시 기억해 주시기 바랍니다.
__
1) '95% 신뢰수준'은 누가 정하는가?
신뢰수준은 조사 결과에 따라 그때그때 달라지는 것이 아니라, 판단 기준을 얼마나 엄격하게 적용할 것인가 하는 연구자의 결정 사항입니다. 의학·공학·물리학 등 자연과학 실험통계 분야에서는 가설 검증 결과를 신뢰수준 90%, 95%, 99% 등 단계적으로 표시하기도 하지만 언론에 공표되는 여론조사나 사회과학 분야 학술 연구 논문에서는 대부분 95% 신뢰수준을 적용합니다. 이는 어떤 조사 결과에 다른 잣대(신뢰수준)를 적용해 조사 결과를 오도(誤導)할 가능성을 최소화하고, 서로 다른 조사 결과를 쉽게 비교하기 위함입니다.
표본오차 무시한 여론조사 맹신(盲信)과 불신
만약 신(神)이 있다면, 신만이 실제 여론이 어디쯤 위치하고 있는지 어떤 모습인지 정확히 알 것입니다. 인간은 그러한 능력을 갖지 못했기에 다양한 정보를 수집하고 분석해서 어렴풋이나마 여론의 실체를 가늠할 뿐입니다. 우리는 바깥의 작은 새가 드리운 그림자를 무서운 괴물로 보고 두려움에 사로잡히는, 동굴 속에서 살아가는 존재일지도 모릅니다.
●● '대통령 직무 긍정률 50%'라는 여론조사 결과의 의미
'대통령 직무 긍정률 50%'라는 여론조사 결과는 우리 국민 중 대통령이 대통령으로서의 직무를 잘하고 있다고 보는 사람의 비율이 정확하게 50%라는 의미가 아닙니다. 1,000명 표본조사 결과라면, '95% 신뢰수준1)에서 표본오차 ±3%포인트'라는 문구를 동반합니다. 이는 '대통령 직무 긍정률이 50%±3%포인트, 즉 47~53% 범위 안에 들 확률이 95%'라는 뜻입니다. 바꿔 말하면, 실제 직무 긍정률이 그 범위를 벗어날 확률이 5%에 불과하므로 47~53% 범위 안에 있다고 판단하는 것이 타당하다는 의미입니다.
표본조사 결과를 수치가 아닌 범위로 본다면, 우리의 해석 방식은 좀 달라져야 합니다. 대통령 직무 긍정률이 지난주 대비 1%포인트 상승한 것은 어디까지나 표본이 그렇다는 것입니다. 실제 전체 국민의 여론이 어디에 있는지는 정확히 알 수 없습니다. 범위 안에 있다고 추정할 따름입니다.
표본오차 범위 내의 변동은 표본에서의 현상이며, 전체 국민의 여론이 바뀐 것이라고 단정할 수 없습니다. 표본은 동굴 속 그림자이지 실체가 아닙니다. 우리는 그림자를 통해 실체를 추측해야 합니다.
●● 표본크기와 표본오차
2019년 7월 말 우리나라 주민등록통계 기준 만 19세 이상 인구는 약 4,322만 명입니다. 평소 언론에 자주 공표되는 여론조사의 응답자 수는 대부분 1,000명으로, 전체 유권자 중 극히 일부입니다. '일부의 의견을 조사해서 전체 국민의 의견을 알 수 있는가'는 여론조사를 향한 가장 근원적인 의문입니다. 이에 대한 답은 '확률적 범위 안에서 알 수 있다'는 것입니다. 단, 전체 모집단(母集團, population)에서 확률적으로 표본(標本, sample)을 추출했다는 전제하에서입니다. 국민 개개인이 표본으로 뽑힐 확률이 일정하고 표본이 전체 국민의 축소판, 즉 표본을 구성하는 여러 특성의 분포가 전체 국민의 특성 분포와 유사해야 합니다.
예를 들어, 주사위를 던질 때 우리는 1에서 6까지 숫자가 나올 확률이 각각 1/6로 거의 같으리라 기대합니다. 그렇지 않다면 주사위가 불량이겠죠. 여론조사의 표본은 모든 사람이 선정될 확률이 일정하다는 조건을 충족해야 합니다. 현재의 표본추출은 이러한 조건을 충족하기 위해 지금까지 밝혀진 수학적, 과학적 원리를 적용한 방법론을 따릅니다.
확률추출 전제하에서 표본오차를 결정하는 주 요인은 표본의 크기입니다. 아래 그래프는 표본크기에 따라 표본오차가 어떻게 변하는지 보여줍니다. 표본크기와 표본오차는 반비례합니다. 표본크기가 작을수록 오차가 매우 커서 해석 시 특히 주의해야 합니다. 표본크기가 50명일 때 표본오차 ±14%포인트, 500명일 때 ±4.4%포인트로 줄어듭니다(이하 95% 신뢰수준 기준). 그러나 1,000명을 넘어서면 표본크기 증가에 따른 표본오차 감소 폭이 상대적으로 작습니다.
50명 표본조사에서 대통령 직무 긍정률 50%가 나왔다면 표본오차를 고려한 범위는 36~64%로 상당히 넓습니다. 다음 주에 다른 50명을 조사해 직무 긍정률이 60%로 상승하더라도 국민 여론이 바뀌었다고 볼 수 없습니다. (한국갤럽은 50사례 미만 표본에서 얻어진 결과를 아예 제시하지 않습니다.)
표본 100명일 때 표본오차는 ±10%포인트입니다. 100명 표본조사에서 대통령 직무 긍정률이 50%라면 실제 여론은 40~60% 사이 어디쯤 위치할 것입니다. 이때도 그다음 조사의 긍정률 60%가 상승 변화라고 말하기 어렵습니다.
이처럼 표본조사에서 얻어진 결과는 표본오차를 고려한 범위로 해석해야 합니다.
●● 표본오차보다 훨씬 작은 변동에 대한 의미 부여는 해석이 아니라 허구(虛構)입니다.
요즘 일부 언론이나 인사들이 표본을 통한 여론조사의 한계를 완전히 무시한 채, 단 0.1%포인트 차이도 국민 여론의 변화로 보고 그 원인을 해석합니다. 또한, 전체 표본이 아닌 지역·연령 등 표본의 하위 세부 특성별 수치 변동에 대해서도 지나친 의미를 부여하는 경향이 있습니다. 한 조사회사가 한날한시에 같은 방법으로 두 개의 조사를 병행하더라도, 그 결과가 완전히 일치하진 않습니다. 특히 표본크기가 작을수록 조사 결과의 변동 폭이 크기 때문에 이런 식의 과도한 해석은 극히 경계해야 합니다.
개별 수치에 집착하는 것은 여론조사 결과에 대한 맹신이며, 표본오차보다 훨씬 작은 변동에 의미를 부여하는 행위는 해석이 아니라 허구(fiction)와 다름없습니다. 여론조사의 한계를 생각할 때 어처구니없는 일입니다. 이런 일이 반복될수록 여론조사는 과학적 방법론에서 멀어지고 음모론의 소재로 전락해, 결국 더 깊은 불신의 늪에 빠질 것입니다.
여론조사는 전체 국민 중 일부, 즉 표본을 대상으로 합니다. 전체 국민의 의견을 반영하지만, 그 자체는 아닙니다. 언제, 누구를 대상으로, 어떤 질문으로, 어떤 방법으로 조사했는지에 따른 오차와 한계를 내포합니다. 따라서 여론조사는 국민 여론을 반영하는 그림자이며, 실제 여론 그 자체가 아니라는 점을 반드시 기억해 주시기 바랍니다.
__
1) '95% 신뢰수준'은 누가 정하는가?
신뢰수준은 조사 결과에 따라 그때그때 달라지는 것이 아니라, 판단 기준을 얼마나 엄격하게 적용할 것인가 하는 연구자의 결정 사항입니다. 의학·공학·물리학 등 자연과학 실험통계 분야에서는 가설 검증 결과를 신뢰수준 90%, 95%, 99% 등 단계적으로 표시하기도 하지만 언론에 공표되는 여론조사나 사회과학 분야 학술 연구 논문에서는 대부분 95% 신뢰수준을 적용합니다. 이는 어떤 조사 결과에 다른 잣대(신뢰수준)를 적용해 조사 결과를 오도(誤導)할 가능성을 최소화하고, 서로 다른 조사 결과를 쉽게 비교하기 위함입니다.