검색하기 전 자주 묻는 질문을 살펴보세요

조사담(調査談)

한국갤럽, 조사인, 조사 이야기

차기 정치 지도자 선호도 질문 방식과 조사방법 간 차이

2021/06/29
● 한국갤럽 2021년 6월 29일 공개 | 문의: 02-3702-2571/2621/2622

차기 정치 지도자 선호도 질문 방식과 조사방법 간 차이

여론조사가 보여주는 수치는 조사방법, 체계적 표본추출, 구조화된 질문 등 과학적 절차에 따라 측정된 결과입니다. 국내 선거여론조사는 2014년부터 중앙선거여론조사심의위원회(이하 ‘중앙여심위’)의 규정을 따라야 합니다. 특히, 언론 공표용 선거여론조사는 조사방법, 진행 내역, 질문지, 조사 결과 집계표를 모두 중앙여심위 홈페이지에 등록하므로 누구나 열람 가능합니다.

조사 결과는 하늘에서 뚝 떨어졌거나 특정인의 감(感)에 따른 것이 아닙니다. 모든 과정이 공개되어 있으므로, 잘 알고 보면 들쑥날쑥하지 않습니다. 여론조사를 업(業)으로 삼고 있는 이들은 늘 강조합니다. 조사방법이나 질문이 다르면 조사 결과도 다르며, 모든 조사에는 표본오차가 존재하니 작은 수치 변동에 연연하지 말고 추이를 보라고 말입니다.

주요 선거가 임박할수록 비슷한 시기에 여러 곳에서 조사 결과가 발표됩니다. 같은 제목 아래 우열이 다른 수치가 나오면 흔히 ‘들쑥날쑥’하다며 마치 조사 자체에 문제가 있는 것처럼 지적하는 기사가 뒤따라 나오곤 합니다. 하지만, 대부분 수치가 다르다는 사실만 나열하고 그러한 차이가 조사방법이나 질문이 다른 데서 비롯한다는 점은 간과하거나 가벼이 다루는 데 그쳐 오히려 독자들의 혼란을 가중합니다.

주요 정당들의 내년 대선 후보 경선이 임박하면서 요즘은 차기 정치 지도자 선호도 조사 결과에 관심이 집중되고 있습니다. 오늘은 차기 정치 지도자 선호도를 중심으로 질문 방식과 조사방법 간 차이를 설명하겠습니다.

__
질문 방식 차이: 선택형 객관식 vs 서술형 주관식(자유응답)

질문 방식에는 여러 형태가 있지만, 가장 크게는 주어진 보기에서 고르는 선택형 객관식과 자신의 생각을 그대로 답하는 서술형 주관식(자유응답) 두 가지로 구분할 수 있습니다. 한국갤럽 데일리 오피니언은 2020년 1월부터 매월 초 차기 정치 지도자 선호도를 아래와 같은 자유응답 방식으로 묻습니다.

귀하는 앞으로 우리나라를 이끌어갈 정치 지도자,
즉 다음번 대통령감으로는 누가 좋다고 생각하십니까?
(특정인을 답하지 않은 경우 재질문) 그럼, 조금이라도 마음이 가는 인물은 누구입니까?

자유응답 방식으로 묻는 이유는 두 가지입니다.

첫째, 공정성을 위해서입니다.
제20대 대통령선거가 있는 내년 3월까지는 9개월 정도 남았습니다. 조만간 주요 정당들의 예비경선이 시작되지만, 야권에선 아직 특정 정당에 적을 두지 않거나 정치 경력이 없는 인물들도 거론되고 있습니다. 남은 기간 여러 사람이 출마 선언하고, 또 불출마 의사를 밝힐 것입니다. 예비경선에서 탈락자도 나오겠지요. 아직은 누가 최종적으로 출마하여 끝까지 경쟁할지 알 수 없습니다. 이런 상황에서는 누구를 후보군에 포함하거나, 포함하지 않는 자체가 공정하지 않을 수 있습니다.

둘째, 새로운 인물을 탐색하기 위해서입니다.
기존 정치권이나 언론의 염두 밖에서 유권자가 주목하는 새로운 인물이 나타날 수 있습니다. 여러 인물을 보기로 제시하고 그중에서 선택하게 하면 응답자는 보기 이외의 인물을 떠올리거나 답하기 어렵습니다. 즉, 선택형 객관식 질문에서는 보기에 포함되지 않은 인물이 배제됩니다. 하지만 자유응답 질문에서는 누구나 동등한 조건입니다. 현재 여러 차기 정치 지도자 선호도 조사에서 선두 양강 구도를 형성하고 있는 이재명, 윤석열도 자유응답 질문을 통해 발굴됐습니다.
이재명 첫 등장: 2015년 4월 2주, 데일리 제157호
윤석열 첫 등장: 2020년 1월 2주·3주, 데일리 제385호


자유응답은 더 깊이 내재된 선호 반영

선거여론조사 이외 다양한 분야에서 자유응답 질문이 활용됩니다. 한국갤럽은 매월 1회 〈좋아하는 TV프로그램〉, 매년 말 〈올해를 빛낸 분야별 인물과 대중가요〉, 5년 주기로 〈좋아하는 40가지〉 등을 조사해 장기간 한국인의 일상과 기호를 기록해왔습니다. 이들은 모두 자유응답 방식으로 묻습니다. 주요 기업 이미지나 브랜드 파워를 측정할 때도 중요 지표들 중 일부는 자유응답 방식으로 산출합니다.

가장 좋아하는 브랜드가 무엇인지, 가장 좋아하는 스타가 누구인지 물었을 때 즉답할 수 있는 경우와 정확한 이름을 몰라 검색을 하고서야 답하는 경우, 어느 쪽의 선호(또는 팬심(fan心), 몰입도)가 더 두텁다고 할 수 있을까요? 전자와 후자는 대상에 대한 선호의 깊이가 다릅니다.
우리가 머릿속에서 떠올려 응답하는 것을 회상(回想, recall), 보거나 들어서 기억하는 것은 재인(再認, recognition)이라 합니다. 자유응답은 회상에 기초합니다. ‘대통령감’ 하면 바로 떠오르는 이름입니다. 열거된 여러 이름들 중에서 상대적으로 나아 보이는 한 명을 선택하는 것보다 더 깊이 내재된 선호의 감정에 기반한다고 볼 수 있습니다.

예비경선, 본선을 거쳐 주요 정당들의 최종 후보가 정해지고 선거 당일 투표소에서 선택을 해야 하는 순간은 다릅니다. 평소 자신이 좋아하던 인물이 최종 후보로 선출되지 않을 수도 있기에, 다른 여러 조건을 고려해 최종 후보들 중에서 상대적으로 좋거나 덜 싫은 사람에게 투표해야 합니다. 정당 후보가 확정되는 단계에 이르면 저희도 탐색적 질문이 아니라 누구에게 투표할 것인지를 묻는 질문으로 변경합니다.
그러나, 대선까지 긴 여정이 남은 현시점은 우리 유권자들이 원할 만한 차기 대통령감을 하나둘 탐색하는 시기입니다. 선호의 깊이가 다르다 보니 자유응답 방식에서 나타나는 수치(응답 비율)는 선택형 객관식보다 대체로 낮은 편입니다. ‘없다, 모르겠다’ 등의 반응, 즉 의견 유보 비율은 높습니다.

한국갤럽과 동일한 전화조사원 인터뷰 방식 정기조사로 NBS(National Barometer Survey, 전국지표조사)가 있습니다. NBS는 차기 대선 주자로 거론되는 여야 인물 십여 명 이름을 불러주고 택일하는 방식으로 진행합니다(2021년 6월 1주 NBS: 김부겸, 박용진, 심상정, 안철수, 원희룡, 유승민, 윤석열, 이낙연, 이재명, 정세균, 추미애, 홍준표, 황교안 등 13명). 아래 〈표 1〉에서 같은 시기 양사 결과를 비교 제시했습니다.



6월 1주 한국갤럽 조사는 NBS보다 의견 유보(없음/모름/응답거절) 비율이 8%포인트 높고, 윤석열 이외 인물 응답 비율은 1~4%포인트 낮습니다. 이준석은 한국갤럽 조사에서만 나타납니다. 그는 나이 미달로 내년 대선 출마가 불가하므로 여러 조사에서 후보군으로 제시되지 않고, 선택될 수도 없습니다. 후보군을 특정하지 않는 자유응답 방식의 한국갤럽 조사에서는 다릅니다. 비록 내년 대선은 아니더라도 이제 유권자들은 그를 차기 정치 지도자감으로 새로이 주목함을 보여줍니다. 이준석의 부상은 대선 입후보 하한 연령을 현행 만 40세에서 더 낮춰야 한다는 논의를 앞당긴 계기가 됐습니다.

이처럼 조사방법은 같아도 질문 방식이 다르면 결과에도 다소간 차이가 발생합니다. 자유응답 방식은 더 깊은 수준의 선호를 반영합니다. 모든 인물이 동일 조건에 놓이므로, 누구에게도 유리하거나 불리하지 않습니다.


__
조사방법 차이: 전화조사원 인터뷰 vs ARS(자동응답)
- ARS 조사는 정치 고관심층 과다 표집, 전체 여론과 괴리

차기 정치 지도자 선호도는 질문 방식뿐 아니라 조사방법에 따라서도 차이를 보입니다. 전화조사원 인터뷰는 선택형 객관식, 서술형 주관식 응답이 모두 가능하지만, ARS(자동응답)는 녹음된 음성을 듣고 번호를 찾아 누르는 방식으로 진행되므로 오로지 객관식 응답만 가능합니다. 전화조사원 인터뷰 진행 시에는 질문을 듣고 바로 인물을 답할 수 있지만, ARS에서는 자신이 좋아하는 인물의 이름이 들릴 때까지 기다렸다가 그 번호를 제대로 눌러야만 유효 처리됩니다. 십여 명의 이름을 다 듣고도 마음에 드는 인물이 없으면 그제서야 ‘다른 인물’, ‘없다’, ‘모르겠다’ 번호를 누를 수 있습니다.

이 같은 과정의 지난함 때문에 ARS 조사에는 주로 정치에 관심이 많고 조사 참여 동기가 강한 분들이 끝까지 응답합니다. 그래서 ARS 조사 표본에는 정치 고관심층이 실제보다 많은 비중을 차지합니다. 정치에 관심이 많지 않거나 자신의 견해를 소극적으로 표명하는 다수를 누락함으로써 정치 고관심층의 생각을 과다하게 반영한다고 볼 수 있습니다. 전체 유권자와 다른 특성을 지닌 표본에서 나온 조사 결과는 전체 여론과 괴리가 크고, 현상을 왜곡되게 보여줍니다.

한국갤럽은 2021년 1월부터 응답자에게 정치 관심 정도를 묻고, 교차집계표 하단에 네 단계로 구분하여 제시합니다. 여론조사에 참여하는 유권자 넷 중 한 명 정도가 평소 정치에 관심이 '많이 있다'고 답하며, 이들을 고관심층으로 분류합니다(→ C20210318). 차기 정치 지도자 질문에서 정치 고관심층은 윤석열 선호도가 두드러집니다. 이는 ARS 조사와 유사한 경향입니다.
아래 〈표 2〉에는 한국갤럽의 차기 정치 지도자 선호도를 전체 응답자 기준, 정치 고관심층 기준으로 구분 제시했고, 〈표 3〉에는 비슷한 시기 2개사의 ARS 조사 결과를 정리했습니다. 정당 지지도 역시 한국갤럽 정치 고관심층 기준 수치가 ARS 조사와 유사합니다.




__
알고 보면 들쑥날쑥하지 않습니다
- 조사방법, 질문 방식이 다르면 결과도 다릅니다

여론은 고정되어 있지 않고 변화합니다. 여론조사는 시시각각 달라지는 여론을 ‘스냅사진(snapshot)’처럼 기록하는 도구입니다. 기록 도구가 다르면 기록물도 달라지므로, 연속적 비교가 어렵습니다. 여론조사 결과 수치를 비교하거나 변화 여부를 살피기 전에 먼저 조사방법과 질문 방식이 같은지 다른지부터 확인해야 합니다. 동일 조사방법, 질문 방식이어야만 일관성이 있고 추세 파악도 가능합니다.

모든 여론조사에는 오차가 존재합니다. 한 조사회사에서 같은 날 같은 표본설계로 조사를 진행해도 결과 수치에는 얼마간 차이가 날 수 있습니다. 그러나 동일 조건하에서의 여론조사 결과 차이는 오차범위 내 확률적 차이일 뿐, 변화라고 단정할 수 없습니다. 이를 반드시 유념해야만 조사 결과를 제대로 해석할 수 있습니다.

조사방법과 질문 방식이 다르면 조사 결과도 다르다는 명백한 전제를 무시한 채, 결과 수치만 비교하여 ‘들쑥날쑥’하다고 지적하는 것은 스스로 여론조사에 대한 무지(無知)를 자백하는 것과 다름없습니다.
또한, 여론조사의 관점은 현상의 디테일을 샅샅이 들여다보는 클로즈업이 아니라 전체 구도와 윤곽을 살피는 와이드숏에 가깝습니다. 정치인이나 정당 선호 관련해 특정 시점의 조사 결과만 들어 공정성 문제를 제기하는 분에게는 전반적인 흐름과 추이를 눈여겨보시길 간곡히 당부합니다.