● 한국갤럽 2019년 10월 21일 공개 | 문의: 02-3702-2571/2621/2622
조국 장관 취임부터 사퇴까지, 상반된 조사 결과가 나온 이유
2019년 10월 14일 조국 법무부 장관이 사퇴했습니다. 이후 대통령 직무 평가와 정당 지지도를 매주 공표하는 한국갤럽과 R사가 상반된 조사 결과를 낸 것에 관해 많은 분이 의아해하셨습니다. 설명에 앞서 먼저 유념해야 할 점은, 조사방법이 다르면 결과도 달라진다는 것입니다. 한국갤럽과 R사는 조사방법이 다릅니다.
한국갤럽은 전화조사원이 컴퓨터와 자동 다이얼링 시스템의 도움을 받아 조사대상자에게 질문하고 응답을 기록하는, 즉 CATI(Computer Aided Telephone Interview: 전화조사원 인터뷰, 전화면접조사) 방식으로 조사합니다. 사람이 직접 협조를 구하므로, 응답률(협조율)이 높은 편입니다. 상대적으로 투입 인력과 비용이 많이 들지만, 조사대상자의 상황에 적합한 대응으로 참여율을 제고하고 사전에 정해진 선택지 이외 자유 서술형 의견을 수집할 수 있는 장점이 있습니다.
R사는 조사대상자가 사전에 녹음된 음성을 듣고 직접 전화기의 숫자패드를 눌러 응답하는, 즉 ARS(Auto Response System: 자동응답조사, Robocall로도 불림) 위주로 조사합니다(ARS 90%+CATI 10%). ARS는 스팸, 텔레마케팅 등으로 오인되거나 바로 전화를 끊어 버리는 사례가 많아 전화조사원 인터뷰보다 응답률이 낮습니다.
전화조사원 인터뷰와 ARS 조사 결과의 차이는 어제오늘의 일이 아닙니다. 다만 그간 언론이나 정치권이 원하는 결과를 취사선택해서 본 탓에 부각되지 않았을 뿐입니다. 따라서 단순히 이번 조사 결과에 국한하지 않고 두 조사방법의 근본적인 차이에 주목해 주시기를 바랍니다.
●● ARS는 표본의 편향성이 크고 응답된 내용도 부정확한 조사방법이므로, 언론은 무분별한 인용을 지양해야 합니다.
첫째, ARS 조사는 기계음을 듣고 번호를 누르는 방식으로 진행됩니다. 기계음을 듣자마자 전화를 끊기 일쑤인 데다, 응답 과정의 번거로움으로 참여율이 낮습니다. 이런 상황에서는 주로 정치 고관심자, 참여적 성향이 강한 분들이 끝까지 응답을 완료할 가능성이 높습니다. 즉 전체 응답 완료자 중에서 정치적 이념 성향 스펙트럼의 양극단에 위치한 사람이 상대적으로 많은 비중을 차지합니다. 이러한 ARS 표본의 특성상 민감한 정치 현안뿐 아니라 다른 일상적인 주제에서도 사안의 복잡성·난해함과 무관하게 전반적으로 의견 유보 비율이 매우 낮게 나타납니다.
둘째, ARS는 표본 편향성이 큽니다. 이는 호남 지역 자유한국당 지지도에서 가장 잘 드러납니다. 역대 선거에서 호남 지역의 보수 정당 득표율은 한 자릿수에 그쳤습니다. 그러나, 최근 R사를 비롯한 ARS 조사들의 호남 지역 자유한국당 지지도는 대부분 10%를 넘습니다.
*호남 지역 자유한국당 지지도
10월 2주 갤럽 5% / R사 16.6%
10월 3주 갤럽 6% / R사 13.6%
다른 근거로는 20대와 30대의 정당 지지도를 들 수 있습니다. 20대는 아직 투표 경험이 많지 않은 세대로 무당층 비율이 높고, 30대는 현시점 보수 정당에 대한 비호감도가 가장 높은 연령대입니다. 하지만 ARS 조사에선 20대의 민주당-한국당 지지도 차이가 크지 않고, 무당층이 적습니다. 30대에서의 한국당 지지도도 상대적으로 높고, 무당층은 적습니다.
*연령 20대 더불어민주당-자유한국당-무당층 비율
10월 2주 갤럽 41%-10%-36% / R사 34.1%-29.7%-17.4%
10월 3주 갤럽 39%-11%-34% / R사 38.2%-29.0%-17.0%
*연령 30대 더불어민주당-자유한국당-무당층 비율
10월 2주 갤럽 50%-13%-23% / R사 42.4%-27.0%-13.4%
10월 3주 갤럽 43%-15%-27% / R사 51.6%-25.6%-8.7%
*연령 20대와 30대의 10월 2주 갤럽 정당별 호감 여부(‘호감 간다’/’호감 가지 않는다’ 응답 비율)
더불어민주당 20대 46%/34%, 30대 57%/34%
자유한국당 20대 12%/70%, 30대 14%/79%
셋째, ARS는 조사 과정의 모니터링이 불가능하고 거짓 응답하더라도 확인할 수 없습니다. 예를 들어, 남성이 여성으로 답하거나(번호를 누르거나) 60대가 20대라고 해도, 어린이가 장난삼아 답해도 가려낼 방법이 없습니다. 또한, 응답자가 번호를 잘못 눌렀을 때 수정할 수 없습니다. 즉, 과정의 통제나 검증이 불가능한 조사방법입니다.
참고로, 2019년 7월 9일 CNN은 2020년 대선에서 ARS(Robocalls) 조사 결과를 인용 보도하지 않는다는 방침을 발표했습니다.
→ CNN debuts new polling standards as 2020 race heats up
●● 조국 장관 사퇴 직후뿐 아니라 장관 취임부터 한 달간 갤럽과 R사 조사 결과 흐름이 달랐습니다.
아래는 조국 장관 취임부터 사퇴 직후까지 갤럽과 R사의 대통령 직무 긍정률 흐름입니다.
- 갤럽: 9월 3주 40% → 9월 4주 41% → 10월 1주 42% → 10월 2주 43% → 10월 3주 39%
- R사: 9월 3주 45.2% → 9월 4주 47.3% → 10월 1주 44.4% → 10월 2주 41.4% → 10월 3주 45.0%
갤럽은 조국 장관 취임 직후인 9월 3주 대통령 직무 긍정률 40%를 기록, 이후 하락을 멈추고 40%대 초반에서 횡보하다가 조국 장관이 사퇴한 10월 3주에 다시 하락했습니다. 이때 대통령과 여당의 가장 탄탄한 지지 기반인 호남 지역과 30대, 그리고 성향 중도층에서의 하락 폭이 컸기에 조국 장관 주도의 검찰개혁을 기대했거나 관망했던 이들에게 허탈감을 안긴 결과로 봤습니다.
조국 장관에 부정적인 사람들은 조국 사태 이전에도 대통령에게 부정적이었습니다. 그들은 조국 장관 사퇴를 대통령이 잘한 일이 아니라 당연한 일로 보거나, 광화문 집회와 같은 보수층의 강력 반발이 영향력을 발휘한 사건이라고 볼 가능성이 큽니다. 따라서 조국 장관의 사퇴로 대통령 평가가 달라질 여지가 별로 없었습니다.
그러나 R사는 조국 장관 취임 직후인 9월 3주 45.2%에서 9월 4주 47.3%까지 올랐다가, 이후 10월 2주까지 직무 긍정률이 하락했고 민주당과 한국당 지지도가 초 근접했습니다. 조국 장관이 사퇴한 10월 3주에는 대통령 직무 긍정률과 민주당 지지도가 모두 반등했습니다. 즉 전화조사원 인터뷰와 ARS 조사가 다른 여론 흐름을 보여주었고, 그에 관한 해석도 달랐습니다.
●● 매주 발표되는 대통령 직무 긍정률 등락을 지지층의 결집이나 이탈로 해석하면 혼란해집니다.
여러 언론이 '직무 긍정률'을 '지지도'나 '지지율'로 통칭하고 있는데요. 그로 인해 실제 질문을 혼동하시고 조사 결과에 이의를 제기하는 분들이 계십니다. 평소 지지하는 사람에 대해서도 특정 시점이나 사안에는 '잘못한다'고 부정적으로 평가할 수 있고, 지지하지 않더라도 '잘한다'고 볼 만한 상황이 전개되기도 한다는 점에서 지지도와 직무 평가는 다릅니다.
어제 민주당 지지자였던 사람이 오늘 발생한 특정 사건 때문에 한국당 지지자로 돌변하기는 어렵습니다. 장기간 대통령 직무 긍정률이나 정당 지지도가 견조(堅調)한 집단에 한해서만 지지층이라고 할 수 있을 겁니다. 이런 관점에서 볼 때 10월 3주 직무 긍정률 하락 폭이 컸던 호남 지역과 30대는 대통령의 가장 탄탄한 지지 기반으로, 대통령과 여당의 다음 행보에 따라 반등의 여지가 많습니다.
__
인용 자료 출처
→ 한국갤럽 10월 2주(8, 10일 전국 성인 1,002명, 응답률 17%) | 10월 3주(15~17일 1,004명, 16%)
→ R사 10월 2주(7, 8, 10, 11일 전국 성인 2,502명, 응답률 5.3%) | 10월 3주(14~18일 2,505명, 5.6%)
→ 표본크기와 표본오차: 1,000명일 때 ±3.1%포인트, 2,500명일 때 ±2.0%포인트(95% 신뢰수준 기준)