검색하기 전 자주 묻는 질문을 살펴보세요

조사담(調査談)

한국갤럽, 조사인, 조사 이야기

지난 대선 투표 후보 응답의 당선자 쏠림 현상은 표본 편향의 증거인가?
2019/11/06
● 한국갤럽 2019년 11월 6일 공개 | 문의: 02-3702-2571/2621/2622

지난 대선 투표 후보 응답의 당선자 쏠림 현상은 표본 편향의 증거인가?

최근 한 중앙일간지가 〈수상한 여론조사… 응답자 절반이 文 투표층이었다〉라는 제목의 기사를 1면에 실었습니다. 여론조사 전반에 걸친 다양한 현안을 다룬다는 측면에서 의미 있는 기획이라고 봅니다만, 사실과 다른 부분이 있어 바로잡습니다.

●● 지난 대선 투표 후보 응답의 당선자 쏠림 현상은 응답 경향이며, 조사된 표본 편향의 증거로 볼 수 없습니다.

여론조사에서 얻고자 하는 것은 응답자가 실제로 한 행동, 진정한 태도입니다. 하지만 여러 요인에 의해 다른 결과가 나오기도 합니다. 대표적 사례로 투표 의향 질문을 들 수 있습니다. 

다가오는 선거에 투표할 것인가를 물으면 ‘꼭 투표하겠다’라는 응답이 실제 투표율보다 많이 나옵니다. 이는 미래 시점 의향과 실현율 차이로, 그 간극은 매 선거에 대한 관심도와 직전 이슈 등에 따라 달라지며 응답 시 사회적 바람직성 편향(social desirability bias)도 한 원인으로 볼 수 있습니다. 이러한 특성을 아는 사람들은 투표 의향 조사 결과를 그대로 믿지 않고 일정 정도 축소하여 투표율을 예상합니다.



다른 사례 중 하나가 바로 '지난 선거에서 어느 후보에게 투표했는가'라는 질문입니다. 대체로 당선자를 더 많이 응답하는 경향이 있습니다. 몇 년 전 당선되어 현직에 있을 공직자에 대한 현재의 생각이 반영되기도 하고, 과거 낙선한 후보에게 투표했다는 사실을 밝히고 싶지 않은 경우도 배제할 수 없습니다.

따라서 지난 선거 투표 후보 응답은 투표 의향만큼이나 그대로 믿어선 안 됩니다. 이러한 응답 경향을 여론조사 표본 편향의 근거로 보는 것은 어불성설입니다.

만약 지난 선거 투표 후보 응답을 실제 득표율과 유사하게 가중치를 부여한다면 어떻게 될까요? 표본은 어그러지고, 대통령 직무 평가나 정당 지지도와 같은 현재의 지표는 실제와 동떨어진 결과를 얻게 될 것입니다.


●●
한국갤럽의 15대, 16대, 17대 대선 예측 사례

1997년 15대, 2002년 16대, 2007년 17대 대통령선거 당시 한국갤럽 여론조사 결과에 기반한 선거 예측치, 실제 득표율, 그리고 직전 대선 투표 후보 응답 간 비교 분석 사례를 소개합니다. 그에 앞서 평소 공표되는 여론조사 결과와 선거 예측치의 차이에 관한 아래 설명을 참고해 주십시오.

여론조사 결과와 선거 예측치는 다릅니다.
선거 예측치는 여론조사 단순 집계 결과(무응답이 포함된 후보 지지도)를 기반으로 투표율 적용, 무응답 배분 등을 통해 산출한 득표율 예상치입니다. 이러한 절차가 필요한 이유는 평소 여론조사 응답자와 선거 당일 실제 투표하는 유권자 특성에 차이가 있기 때문입니다. 사전 여론조사 결과에는 평소 정치에 무관심한 유권자나 선거 당일 투표하지 않는 유권자도 다수 포함되며, 투표소 안에서 누구에게 투표할 것인지 마음을 정하는 사람도 적지 않습니다.

1) 투표율
여론조사가 전체 국민을 대상으로 한다면 선거 예측치가 목표로 하는 대상은 투표자입니다. 그래서 지역, 성, 연령별 투표율을 반영해 투표자 특성을 추정합니다. 2017년 대선 투표율은 77%로, 우리나라 유권자 4명 3명 정도가 투표했습니다. 유권자 모두가 투표하지는 않습니다. 총선이나 지방선거, 보궐선거 투표율은 이보다 낮습니다. 또한 지역, 성, 연령대 등 특성에 따라 투표율이 다릅니다.

2) 부동층(浮動層)과 무응답자
여론조사에서는 투표할 후보를 결정하지 않았거나, 밝히지 않는 응답자가 존재합니다. 선거에 따라, 조사 시기에 따라 그 비율은 달라집니다. 선거 결과를 예측할 때는 이들이 누구에게 투표할 것인지 추정해야 합니다.

3) 조사일과 선거일까지의 차이
여론조사 단순 집계 결과와 선거 예측치 모두 조사 시기와 선거일까지의 차이를 고려해야 합니다. 조사일에서 선거일까지 남은 기간이 길수록, 선거일이 임박해 마음을 결정하는 유권자가 많을수록 변화 가능성은 커집니다. 선거 일주일 전 예측치와 선거 후 실제 득표율을 단순 비교한다면, 그 기간의 변화를 간과하는 것입니다. 일주일간 세상이 멈춰 아무런 변화가 없다면 모르겠지만, 그동안 유권자의 선택이 달라지거나 예상치 못한 사건이 발생해 판세가 달라질 수도 있습니다.

요약:
전체 유권자 대상 여론조사 단순 집계 결과(선거 전이나 평소 공표되는 여론조사 결과는 이 단계에 해당) 
▷ 응답자 특성별 투표율 반영
▷ 투표 후보 미결정자, 무응답자 추정 배분
▷ 선거 예측치(예상 득표율) 산출

1997년 15대 대선 예측

1997년 12월 18일 선거 당일 여론조사에 기반한 대선 예측치는 김대중 39.9%, 이회창 38.9%입니다. 이 조사에서 직전 대선인 1992년 투표한 후보를 물은 결과 김영삼 38.9%, 김대중 22.6%로 16.3%포인트 차이였습니다. 1992년 두 후보 간 실제 득표율 차이는 8.2%포인트였습니다. 제3 후보인 정주영의 응답과 득표율도 꽤 차이가 큽니다(응답 4.7%, 실제 득표율 16.3%).

만약 이것이 부정확하다고 과거 투표 결과와 유사하게 표본 구성에 변화를 주었다면, 1997년 대선 예측치는 박빙이 아니라 김대중 쪽으로 훨씬 더 치우쳤을 것입니다.



2002년 16대 대선 예측

2002년 12월 18일(선거 전날) 여론조사에 기반한 대선 예측치는 노무현 48.2%, 이회창 46.4%입니다. 이 조사에서 직전 대선인 1997년 투표한 후보를 물은 결과 김대중 39.4%, 이회창 29.2%로 10.2%포인트 차이였습니다. 1997년 두 후보 간 득표율 차이는 1.7%포인트였습니다. 제3 후보 이인제 응답과 득표율 차이 역시 큽니다(응답 7.7%, 실제 득표율 19.2%). 과거 실제 득표율과 유사하게 표본 구성을 바꿨다면, 선거 예측치는 완전히 빗나갔겠지요.

 

2007년 17대 대선 예측

2007년 대선은 박빙 경쟁이 펼쳐진 15대·16대 대선보다 상당 기간 독주 상태가 계속되는 등 선거 구도가 달랐습니다. 그 외 무엇이 당시 응답에 영향을 주었는지 속속들이 알 수는 없지만, 여론조사의 직전 대선 투표 후보 비율과 실제 득표율의 차이가 상대적으로 크지 않아 다소 이례적이었습니다.   

이상의 세 사례를 돌아볼 때 직전 대선 투표 후보 응답은 다양한 요인에 영향받음을 알 수 있습니다. 이처럼 불안정한 자료를 표본 편향의 증거나 결과 보정의 기준으로 삼아서는 안 됩니다.




●●
분별없는 비판은 여론조사와 언론의 신뢰성을 동시에 훼손합니다.

직전 대선 투표 후보 질문에 대한 응답은 당선 여부, 정치인의 현재 활동 정도와 그에 대한 평가, 이미지 등에 영향받기 때문에 실제와 얼마나 차이가 날지 알 수 없습니다. 정치적 상황과 국면에 따라 그 차이는 벌어질 수도, 작아질 수도 있습니다. 그때그때 달라 일관성을 기대하기 어렵습니다.

조사 내용 측면으로 보면 응답자의 응답 자체를 완전히 신뢰할 수 없는 경우입니다. 이는 여론조사에서 주의해야 할 비표본오차(non-sampling error)의 일종인 측정오차(measurement error) 또는 응답오차(response error)로, 총 오차를 구성하는 하나의 요소이자 이 문항의 특성에 한정된 것으로 봐야 합니다. 이미 과거에 있었고, 현재 존재하며, 미래에도 나타날 현상으로 새로운 발견이나 뉴스로 다룰 만한 사안이 아닙니다. 

조사인의 입장에서 여론조사에 관한 건설적 비판이나 현실적 대안 제시는 겸허히 수용하고자 합니다. 그러나 현재 언론은 주기적으로 여론조사를 비판하면서, 다른 한편으로 새로운 여론조사 결과 수치가 나오기만 하면 그대로 기사화하는 행태를 반복하고 있습니다. 최근 들어 여론조사, 특히 선거 예측 분야에 전문성이 부족한 일부 인사의 황당한 주장들이 여과 없이 보도되고 유튜브 등을 통해 확산하는 점 또한 우려됩니다. 사실관계를 확인하고 신중하게 옥석을 가려야 합니다.  

여론조사의 신뢰성은 조사회사 홀로 지킬 수 없습니다. 여론조사 요청에 적극적으로 응답하는 시민, 그리고 좋은 조사를 선별해서 신중하게 인용하는 언론이 공존해야 가능한 일입니다. 분별없는 비판은 여론조사와 언론의 신뢰성을 동시에 훼손합니다.