- 〈선거여론조사 백서〉 제22대 국회의원선거 여론조사는 어떠했는가? - 선거여론조사 평가 및 과제
- 2024/11/19
- [제22대국회의원선거여론조사백서_평가및과제.pdf] 다운로드
● 중앙선거여론조사심의위원회 발행 〈선거여론조사 백서〉(2024년 7월) 게재 → 바로가기
─────────────────────────
2024년 제22대 국회의원선거 여론조사는 어떠했는가?
- 선거여론조사 평가 및 과제
─────────────────────────
작성: 한국갤럽조사연구소 연구위원 장덕현
[목차] (각 제목 클릭하면 해당 위치로 이동)
→ 1. 들어가며
→ 2. 지역구 선거여론조사 평가
1) 2016년
2) 2020년
3) 2024년
4) 조사방법별 비교
→ 3. 비례대표 선거여론조사 평가
1) 전체
2) 조사방법별
3) 조사회사별
→ 4. 선거여론조사의 현재와 향후 과제
1) 결과 요약
2) 향후 과제 ① 무응답 편향 ② 심리적 요인 ③ 여론조사 품질 ④ 조사회사 편향성
3) 제도 지원
→ 참고 자료
1. 들어가며
직업이 주는 압박감 때문인지 조사를 하는 사람들은 선거가 끝나도 쉽게 쉬지 못한다. 누가 특별히 시킨 것도 아닌데 선거결과 데이터를 살펴보고 그동안의 여론조사결과도 찾게 된다. 자연스럽게 중앙여론조사심의위원회(이하 ‘여심위’) 홈페이지를 뒤진다. 언론사 기사를 건건이 검색하던 과거와 비교하면 매우 획기적인 변화다. 매우 생소하던 선거여론조사 심의제도에 익숙해지고, 제도를 통해 축적된 정보를 활용한다. 여론조사를 하려면 휴대전화 가상번호도 구입해야 하므로 여심위 없는 여론조사를 상상하기 어렵다.
2014년 지방선거는 여심위 출범 후 첫 번째 전국선거였다. 당시의 소회는 ‘이런 절차를 따르다 보니 매우 불편하다. 전문성을 너무 침해한다. 기분 나쁘다. 하지만 과정에 더 신경이 쓰인다는 긍정적인 측면이 있다.’ 정도였다. 벌써 10년이 지났다. 그동안 두 번의 대통령선거, 각각 세 번의 지방선거와 국회의원선거를 치렀다. 좋든 싫든 이제 선거여론조사와 여심위가 공존하며 떼려야 뗄 수 없게 되어버렸다.
2024년에는 국회의원선거가 치러졌다. 여심위 출범 10주년이자 우리나라 최초 여론조사회사인 한국갤럽이 50주년을 맞는 해이기도 하다. 제도도 정착되었고 조사 경험도 풍부해졌지만, 여론조사의 신뢰성이 그만큼 체감되지 않는다. 조사의 현실은 어둡고, 응답률 하락, 여론조사의 정치화 등 해결과제는 수두룩하다.
국회의원선거 결과는 야당의 압승으로 끝났다. 정부 심판론이 거셌다. 여론조사들은 대부분 야당이 크게 이길 것을 예상했다. 그러나 선거여론조사에 대한 전반적 평가는 그렇게 긍정적이지는 않다. 그 이유는 야당 후보 지지도를 더 후하게 본 야당 과대 편향 때문이다.
여론조사는 여론을 측정하는 유용한 도구지만 완벽한 도구는 아니다. 일단 조사시기와 투표시기의 차이가 있다. 여론조사는 유권자 전체를 대상으로 하지만 모두가 투표하지 않기 때문에 간극이 생긴다. 어느 후보의 지지자가 더 투표했는지 알 수 없다. 이러한 것들이 영향을 주지 않더라도 조사 자체에는 에러가 있다.
조사를 한다는 것은 여러 가지 일들의 연속이다. 전화번호를 적절히 추출해야 하고, 꼼꼼히 연락하고 연결된 사람들을 잘 설득해서 응답을 받아야 한다. 질문을 편향되지 않게 구성하는 것도 중요하다. 조사원을 섭외하고, 교육하고, 관리하는 일도 있다. 이러한 전체 과정을 통해서 조사 데이터가 수집되는 것이다. 그리고 그 과정 중에 오류가 있을 수 있다. 하나라도 삐걱거리는 문제가 있다면 불량품이 나올 수 있다. 이러한 것들이 모두 완벽하더라도 전체 유권자 중 일부를 조사하기 때문에 나타나는 변산성(variability), 표본오차가 있다.
반면 여론을 아는 데 있어 여론조사만 한 것이 없다. 과정을 잘 관리하고 문제를 차근차근 해소해 나간다면 표본오차 범위 내 추정이 가능하다. AI, 유튜브 콘텐츠, SNS 게시글에 비해 과학적으로 검증된 접근이다.
선거가 끝나면 조사하는 사람들은 결과를 정리하고 오류를 생각하고 앞으로 어떤 과제를 해 나갈지 생각한다. 그래서 여론조사가 좀 더 과학적이 될 수 있는 방법을 찾아 나선다. 당장 개선할 수 있을지 알 수 없지만 이러한 과정이야말로 과학적 접근이라고 믿는다.
본 글에서는 제22대 국회의원선거에서 여론조사를 평가하고자 한다. 평가의 기준은 선거 득표율이다. 선거 득표율은 전체적인 투표자의 의사가 표출된 것이다. 앞서 언급했듯 시점의 차이, 투표자와 유권자 차이가 있다. 완벽한 표본이라 해도 변심했거나 투표하지 않을 수 있다. 그러나 분석을 위해 이러한 영향은 없거나 미미하다고 가정하자. 이것은 알 수도 없고, 측정되기도 어렵다.
오차에는 편향과 변산성 두 가지 요소가 있다. 편향은 예측값들이 참값으로부터 평균적으로 얼마나 벗어나 있는지, 변산성은 예측값들이 퍼진 정도를 말한다. 표적을 예로 들면, 탄착군(彈着群)이 중심으로 벗어난 정도는 편향, 탄착군이 퍼진 정도는 변산성(잡음)을 의미한다(대니얼 카너먼 등, 2022). 편향으로 오차 평균, 변산성으로 오차 표준편차를 함께 제시한다(장덕현·?조성겸, 2015).
먼저 지난 세 번의 국회의원선거에서 지역구 선거여론조사의 후보 지지도와 득표율의 차이를 살펴본다. 다음으로 이번 선거에서 비례대표 정당 지지도와 득표율의 차이를 분석한다. 지역별, 조사방법별, 조사회사별 비교를 통해 선거여론조사의 현재를 평가하고 향후 과제에 대해 논의하고자 한다.
2. 제22대 국회의원선거 지역구 선거여론조사 평가
먼저 지역구 선거여론조사를 평가해 보자. 선거여론조사와 선거 득표율 비교를 위해서는 두 가지 작업을 선행해야 한다.
선거여론조사는 ‘지지후보 없다, 모르겠다, 결정하지 않았다’(이하 부동층)를 포함한다. 이들을 어떻게 처리하는지가 관건이다. 여기엔 몇 가지 가정을 적용할 수 있다. 첫째, 부동층이 응답자들과 동일한 태도를 보일 것으로 보고, 주요 후보가 응답된 비례대로 배분한다. A가 50, B가 30이고 20이 부동층이라면, 부동층 20은 A 12.5, B 7.5로 나뉜다. 둘째, 부동층이 무작위 선택할 것으로 보아 주요 후보에 동등하게 배분한다. A 10, B 10이 더해진다. 셋째, 부동층이 실제 태도를 감춘 것으로 보아 응답된 비율의 반비례로 배분한다. A 7.5, B 12.5를 더한다(Johns, 2005). 부동층을 균등 배분하는 것이 가장 중립적이고 경험에도 부합한 안이다(Lavrakas & Traugott, 2000). 균등 배분 시 지지도의 차이는 변하지 않는다. 앞선 사례에서 20의 차이는 배분 전후 똑같다.
다음으로 선거 득표율과 후보지지도 비교 시 고려될 사항은 유권자와 투표자 차이다. 여론조사의 연령별 비율은 유권자 전체를 기준으로 하지만 투표율은 연령대별로 차이가 있다. 따라서 연령대별 투표율을 곱해 이를 반영한 후의 결과 비교가 바람직하다. 제21대, 제22대 국회의원선거 선거여론조사는 이런 절차를 선행했다.
이후 더불어민주당과 보수 대표 정당(새누리당, 미래통합당, 국민의힘) 후보의 지지도 차이를 실제 득표율 차이와 비교하였다. 따라서 양대 정당 경쟁 구도가 아닌 지역구는 모두 제외했다. 지지도 차이기 때문에 A후보가 4%P 올라가면 B후보는 4%P 내려가며, 차이는 지지도 변화의 2배인 8%P가 된다. 지지도 차이와 득표율 차이의 갭(Gap)을 오차로 보며, 전체 지역구의 평균, 표준편차를 계산한다.
1) 2016년
제20대 국회의원선거에서 여론조사는 처참한 결과를 보여줬다. 이는 예견된 일이었다. 유선전화 표본추출틀을 주로 사용했기 때문이다. 2010년 지방선거에서 큰 오차를 낸 이후로 유선전화만을 이용한 조사는 사실상 금기시되었다. 하지만 언론과 조사회사는 왜 그랬을까? 이유는 휴대전화 가상번호가 제공되지 않았기 때문이다. 이때는 표본추출틀뿐 아니라 전화면접, ARS, 앱 등의 여러 조사방법이 다양한 비율로 혼합되었다.
2016년 3월 28일부터 4월 6일까지 조사된 290건의 조사결과를 분석했다. 더불어민주당과 새누리당의 지지도와 득표율 차이를 비교한 결과 평균 -11%P의 오차를 보였다. 그만큼 새누리당 쪽으로 치우쳐 있었다. 변산성을 나타내는 표준편차는 7.7%P이다. 지역구별 500명을 조사할 때 표본오차가 4.4%P이다. 변산성은 그 정도가 되어야 한다. (연령대별 투표율은 가중하지 않았다. 이를 적용했다면 고연령대 비중이 증가해 보수로 더 치우쳤을 것이다.)
언론이 수집한 각 조사회사의 예상 의석수는 새누리당이 절반을 넘어 여유 있게 승리하는 것이었으나 실제로는 더불어민주당이 1석 앞섰다(더불어민주당 123석, 새누리당 122석). 휴대전화가 보편화되었지만, 유선전화 표본추출틀을 사용했기 때문에 조사회사들은 여심위 〈선거여론조사기준〉 중 연령대별 가중배율인 0.4~2.5(현재는 0.7~1.5)를 맞추기 어려웠다.
유선전화로 수도권 20대를 찾는 것은 불가능에 가까웠다. 이런 조사가 잘 될 리 없다. 전체 모집단을 포함하지 않은 왜곡된 추출틀로 조사대상자를 선정한다면 그 결과는 명확하다. 콩 심은 데 팥이 날 리 만무하다. 최근 온라인조사에서 확률추출에 따르지 않는 자원자 패널로 표본수를 채우는 경우가 있다. 검증 불가한 이런 접근은 하지 말아야 하고 언론도 인용하지 않아야 한다.
2) 2020년
제21대 국회의원선거에서 처음으로 언론과 조사회사가 선거여론조사에 휴대전화 가상번호를 활용했다(전국선거 중 최초는 2018년 지방선거). 표본추출틀 개선의 효과는 명확했고 그 중요성을 여실히 보여줬다. 돌이켜보면, 휴대전화 표본추출틀 확보는 2000 년대 들어서 조사업계의 화두이자 가장 중요한 과제였다. 2010년 지방선거는 유선전화 여론조사의 오류가 매우 컸다. 여심위 출범의 계기가 되었고, 조사회사의 전국 여론조사는 휴대전화 RDD(random digit dialing) 중심으로 전환되었다. 그러나 세부 지역 단위로는 마땅한 표본추출틀을 확보하지 못했다.
2020년 3월 28일부터 4월 8일까지 조사된 235건 조사 결과를 분석했다. 더불어민주당과 미래통합당의 지지도와 득표율 차이를 비교했으며, 사후적으로 공개된 투표자조사의 선거구별 연령대 투표율을 반영했다. 오차 평균은 -0.6%P, 표준편차는 7.2%P였다. 변산성은 여전했으나 편향은 거의 사라졌다.
휴대전화 가상번호가 없었다면 아마도 선거여론조사는 불신의 늪에서 헤어 나오기 어려웠을 것이다. 대단한 혼란이 있었을 것이다. 표본추출틀의 충분한 포함률은 확률추출의 기본이며, 가장 전제가 되는 조건이다. 표본추출틀의 특성대로 조사결과가 나온다. 여심위 제도에 대해 다양한 의견이 있을 수 있으나 휴대전화 가상번호 도입은 현재까지 가장 큰 기여점이다.
3) 2024년
제22대 국회의원선거 선거여론조사는 전화조사 비수신, 거절률이 높았지만 휴대전화 가상번호 도입으로 편향은 상당히 해소된 것으로 생각되었다. 후보자들이 문자, ARS 홍보를 대규모로 하고 있는 점, 보이스피싱 등 불법행위들도 횡행하는 점들이 조사환경을 악화시키는 불안요소다. 또한 정부심판론이 거셌고, 전통적으로 보수적 성향의 지역(부산, 경남 등)에서도 그러했다. 정부 심판론이 실제 투표로 이어질지가 관심이었다.
2024년 3월 21일부터 4월 3일까지 328건 조사의 후보 지지도와 실제 득표율 차이를 비교했다. 후보 지지도는 2020년 투표자 조사의 시도별 연령대 투표율을 반영했다. 오차 평균은 1.9%P로 더불어민주당 쪽으로의 편향이 있었다. 표준편차는 6.4%P로 전보다는 감소했다. 전체적인 편향이 크지 않다고 생각할 수 있으나 지역별로 보면 그렇지 않았다.
부산 27개 조사의 오차 평균은 8.5%P다. 부산은 18개 지역구 중 북구갑에서 더불어민주당 후보가 유일하게 당선, 이외는 모두 국민의힘 후보가 당선됐다. 여론조사상으로는 더불어민주당 후보가 우세하거나 경합하는 지역이 많았다. 부산 수영구는 국민의힘과 무소속 후보가 보수표를 분산해 더불어민주당 후보가 가장 앞선 결과가 많았다. 실제 보수표는 국민의힘 후보에 집중됐다.
편향 발생의 이유는 다양하다. 보수 지지자들이 덜 응답했을 가능성, 지지 의사를 밝히기 꺼렸을 가능성이 있다. 선거일을 앞두고 마음을 바꾸거나, 지지 후보를 결정하지 못했던 사람들이 마음을 정했을 수 있다. 특히 정권 심판론으로 진보 야당이 우세한 상황에서 전통적으로 보수적인 지역 유권자들이 심적 갈등을 느꼈으며, 이러한 점이 선거여론조사와 투표행동의 차이를 발생시켰을지 모른다. 이러한 다양한 요인들을 사전에 예상하거나 측정할 수 있는가가 문제 혹은 과제일 수 있다.
4) 조사방법별 비교
선거여론조사의 조사방법은 대부분 전화조사다. 전화조사는 현재 전화면접(CATI)과 ARS 방식으로 이뤄진다.
전화면접은 조사원이 직접 질문하고 응답을 받기 때문에 좀 더 협조도와 신뢰성을 높일 수 있는 방법이다. ARS는 녹음된 목소리를 듣고 스스로 번호를 선택해 응답하기 때문에 응답자의 자발성이 더 많이 개입된다. 전화면접이 ARS 대비 응답률도 높고, 고품질인 것으로 인식된다. 두 접근은 어떤 차이를 보였을까?
2020년 분석 대상 235건 여론조사 중 134개가 ARS, 전화면접이 96건, 4건은 두 방법의 혼합이었다. ARS는 오차 평균 -2.4%P, 전화면접 1.9%P로 다른 방향의 편향이 있었다. 오차 표준편차는 7.2%P, 6.4%P였다. 변산성은 전화면접이 조금 작았다.
2024년 분석대상 328건 중 ARS 166건, 전화면접 161건, 혼합은 1건이 있었으며 오차 평균은 ARS 0.9%P, 전화면접 2.9%P로 ARS 편향이 작았다. 표준편차는 ARS 6.9%P보다 전화면접이 5.6%P로 작았다. 즉 편향은 전화면접이, 변산성은 ARS가 컸다. 이러한 결과는 지역구 선거여론조사에서 전화면접이 ARS 대비 품질 우위를 보이지 못한다는 것을 보여준다.
ARS는 낮은 응답률로 편향이 더 클 것으로 예상되지만 그렇지 않았다. 응답률 자체는 편향을 전적으로 설명하지 못한다(Groves & Peytcheva, 2008). 편향 발생의 조건이 있는데 대표적으로 주제 관심도가 영향을 준 경우다(Groves et al, 2004). 지역구 선거는 여야 또는 보수, 진보를 대표하는 양대 정당후보가 경쟁한다. 보수층이든 진보층이든 정치 관심층과 비관심층을 일정하게 포함한다. 만약 특정 정치성향에서 관심층별로 지지자가 분화되었다면 어떨까? 비례대표 정당투표는 조국혁신당이 등장하면서 더불어민주연합과 조국혁신당 두 정당으로 진보의 분화가 예상된다.
3. 제22대 국회의원선거 비례대표 선거여론조사 평가
비례대표 정당인 국민의미래는 2월 27일 공식적으로 선관위에 등록됐고, 더불어민주연합과 조국혁신당은 3월 7일 공식 등록됐다. 3월 8일 이후 비례대표 정당지지도가 포함된 조사건수는 모두 54건이다.
비례대표 정당지지도에도 부동층(없음/모름/응답거절)이 포함된다. 여러 당의 경쟁이므로 지역구 후보 지지도처럼 지지도 차이를 기준으로 할 수 없다. 따라서 세 개 정당의 상대 지지도를 계산하고 이를 실제 득표율(상대 득표율)과 비교했다. 지역구에서와 마찬가지로 연령대별 투표율 가중을 부여했다. 연령대별 투표율은 직전 제21대 국회의원선거의 투표자 조사를 참고했다.
정당별 상대 지지도와 득표율의 차이를 평균한 것이 편향, 차이의 표준편차는 변산성을 의미한다. 1,000명 조사에서 표준오차만 발생하고 다른 오차가 없다면 오차의 표준편차는 1.5%P로 예상된다.
1) 전체
3월 8일 이후 54건 전국조사에서 나타난 비례대표 정당 지지도의 오차 평균은 더불어민주연합 -5.1%P, 국민의미래 -0.6%P, 조국혁신당은 5.7%P다. 더불어민주연합을 과소하게 봤고, 그만큼 조국혁신당으로 과대 추정했다. 오차 표준편차는 2.5%P, 3.2%P, 3.9%P다. 조국혁신당의 변산성이 상대적으로 컸다.
2) 조사방법별
조사방법별로 비교했다. ARS 33건, 전화면접은 21건이다. 조국혁신당 오차 평균은 ARS 6.7%P, 전화면접 4.2%P다. 더불어민주연합은 -5.9%P, -3.9%P로 조국혁신당과 반대 편향이 있었다. 오차 표준편차는 조국혁신당 기준 ARS 2.8%P, 전화면접 4.8%P로, 오히려 전화면접에서 변산성이 더 컸다.
두 방식을 모두 실시한 F사의 경우 전화면접을 한 다른 회사들과 차이가 컸기 때문에 이를 제외하고 볼 필요가 있다. 이 경우 조사방법보다는 하우스이펙트의 영향이 더 컸다고 볼 수 있다. 각각 F사 조사 3건을 제외하면 ARS는 차이가 거의 없는 반면, 전화면접은 조국혁신당 오차 평균이 4.2%P에서 2.9%P로 줄었다. 더불어민주연합은 변화가 없지만 국민의미래가 -0.2%P에서 0.8%P로 늘었다.
3) 조사회사별
세 건 이상 조사한 회사는 아홉 개였다. 이 중 다섯 개 회사는 ARS, 세 개 회사는 전화면접을 했고, 한 개 회사는 두 방법을 모두 실시했다.
ARS를 한 A부터 E사까지는 조국혁신당 오차 평균이 3.9%P ~ 9.2%P 범위에 있었다. 더불어민주연합 오차 평균은 –7.3%P ~ -5.1%P였다. 정도 차이는 있으나 조국혁신당 과대, 더불어민주연합을 과소 추정하는 경향은 같았다.
전화면접을 한 회사의 경우 G와 I사 대비 H사의 편향이 컸다. H사는 더불어민주연합 오차 평균이 -5.0%P, 조국혁신당은 2.9%P다. 두 방식을 모두 한 F사는 조국혁신당 오차 평균이 9.3%P이고 더불어민주연합 -5.1%P, 국민의미래 -4.3%P였다. 그만큼 진보 편향이 강했다. 조사를 구성하는 다양한 요소들 중 조사회사의 정치적 중립성이 매우 중요함을 새삼 확인할 수 있다.
ARS와 전화면접의 차이는 왜 발생하는 것일까? ARS에서 조국혁신당 지지도가 더 높게 나타나는 것은 정치관심도의 차이가 영향을 준 것 같다(박인호 등, 2019; 장덕현, 2021). 진보 성향의 유권자들은 정치 관심도에 따라 선택이 달랐다.
한국갤럽 데일리 오피니언 3월 4주차 결과를 정치 관심도별로 살펴보면 조국혁신당 지지도는 고관심층에서 가장 높고, 관심도가 낮아질수록 하락했지만 더불어민주연합은 고관심층보다 약관심층에서, 그보다는 저관심층에서 높았다. 관심도가 낮을수록 부동층이 늘기 때문에 정당지지도는 하락하는 것이 자연스럽다. 그만큼 저관심일수록 더불어민주연합을 선택했다는 의미다. ARS에는 정치 고관심층 비중이 크기 때문에 조국혁신당 지지도가 상대적으로 높을 수 있다.
그렇다면 전화면접을 하는 회사 간 차이가 발생한 이유는 무엇일까?
H사는 선택항목 중 ‘아직 결정하지 않았다’, ‘투표할 정당이 없다’가 포함되어 있다. 다른 회사들은 ‘투표할 정당이 없다’ 하나를 제시하는 것이 일반적이다. 선택지가 많으니 지지정당을 밝히지 않은 부동층 비율이 상대적으로 많다(25~29%). G사는 그 비율이 11~14%, I사는 20~24%다. 이러한 응답은 비본질적 응답(non–substantive response)으로 볼 수 있다.
단지 생각하기 싫어서 또는 자신의 의견을 드러내기 귀찮아서 응답하지 않기도 하며, 일부는 스스로를 감추기 위해 응답을 회피한다(오인환, 1992; Johns, 2005; Raaijmakerset al, 2000). 재질문을 통해 확인(probing)하는 것이 필요하다. 데일리 오피니언 3월 4주 조사에서는 최초 질문에서 부동층에게는 어느 정당 투표가 조금이라도 나은지를 다시 물었다.
최초 질문에서 지지 정당을 말하지 않은 201명에게 재질문한 결과는 더불어민주연합과 국민의미래가 각각 15%, 조국혁신당은 2%에 불과했다. 조국혁신당 지지층은 적극적으로 지지의사를 표명하기 때문에 재질문에서 추가되는 부분이 적다. 재질문이 없다면 조국혁신당의 비중이 늘게 된다.
전화면접으로 응답률을 높이더라도 재질문 등 지침을 통해서 문항별 응답을 최대한 받으려는 노력이 필요하다. ‘보통이다, 아직 결정하지 않았다’와 같은 응답 회피의 도구가 되는 비본질적 응답을 줄여야 한다.
4. 선거여론조사의 현재와 향후 과제
1) 결과 요약
선거가 끝나면 여론조사는 비판의 무대 위에 선다. 국회의원선거는 ‘여론조사의 무덤’이라 불릴 정도다. 이번에도 주요 선거구에서 출구조사가 당선자를 잘못 예측해 지탄을 받았다. 사전 선거여론조사를 평가하면 전반적으로 야당 후보 지지도를 더 높게 보는 편향이 있었다.
3월 21일 이후 조사된 양대 정당 후보 경쟁 지역구 선거여론조사 328건을 분석한 결과 양대 정당 지지도 차이는 실제 득표율 차이 대비 1.9%P의 편향을 보였다. 전체적으로 크지 않지만, 세부적으로 달랐는데 특히 부산에서 야당 편향이 컸다(8.5%P). 이것이 전체적인 판세 인식에 영향을 줬다.
부산 18개 지역구 중 1개에서만 더불어민주당 후보가 당선했고, 사전 선거여론조사에서는 야당 후보가 앞서는 경우가 많았다(사전 여론조사상 9개 지역구가 민주·진보 후보 우세 또는 경합). 휴대전화 가상번호 제도가 국회의원선거에 처음 적용된 2020년과 비교하면 변산성은 줄었지만, 편향이 커졌다.
비례대표 정당 지지도는 조국혁신당을 과대하게 봤고, 그만큼 더불어민주연합을 과소하게 봤다. 전화면접보다 ARS에서 그러한 경향이 컸다. 야당 지지자 중 정치 고관심층에서 조국혁신당 지지가 많았는데, 관심도에 따라 야당 지지층이 분화된 점, 그리고 정치 관심도가 낮을수록 ARS에 응답하지 않는 점이 영향을 준 것 같다.
2) 향후 과제
사전 선거여론조사의 과정은 일견 단순하다. 전국적으로 추출된 전화번호로 조사 참여를 요청하고 후보 지지도 등을 물어 응답 내용을 집계한다. 그러한 과정 속에 오류 요인이 있다. 일부는 신경을 쓰고 노력하면 최소화할 수 있지만 그렇지 않은 경우도 많다. 아직은 연구와 지식이 부족하기도 하고 불가능해 보이는 것도 있다.
조사와 투표의 시점 차이는 시간을 되돌리거나 거슬러 올라가야 한다. 불가능한 일이다. 과거를 향한 기억은 왜곡되기 쉽고, 미래의 행동은 예상하기 어렵다. 부산의 표심이 여론조사 공표 금지기간 동안 변했을 수도 있다.
투표참여를 예상하는 것도 쉽지 않다. 사전 선거여론조사 응답자 대부분은 반드시 투표하겠다고 응답한다. 각 지지층 중 누가 더 참여하는지에 따라 선거 결과가 달라진다. 부산의 보수층이 진보층보다 더 많이 투표 참여했을 수 있다.
조사 무응답자의 생각들은 알 수가 없다. 현재 무응답 편향에 대한 가정은 ‘무응답 편향이 무시할 수 있을 정도로 작거나 지역, 성, 연령대 정보로 보정할 수 있다’이다. 그러나 그걸 어떻게 알 수 있겠는가? 대부분 사전 선거여론조사에서 추출된 조사대상 중 5% 미만이 응답하고, 95%는 비수신하거나 거절한다. 5%로 나머지 95%를 완전히 설명할 수 있을까?
응답의 내용도 문제다. 일부는 지지도 질문에 ‘지지 후보 없다, 모르겠다’로 반응한다. 일부는 단지 귀찮아서, 일부는 자신의 의사를 숨기기 위해서다. 여러 이유로 본심과는 다른 의견을 말할 수 있다. 이들 하나하나가 미지의 영역들이고 사실상 알 수 없는 것들이다.
선거결과와 사전여론조사에서의 지지도를 비교할 때의 전제는 ‘투표일까지 사람들의 마음은 변하지 않는다, 투표 참여는 지지자별로 차이 나지 않는다(지역, 성, 연령대 정보로 예상 가능), 조사 응답자와 무응답자의 의견이 다르지 않다(지역, 성, 연령대별로 일정함), 지지 응답을 하지 않은 사람들의 의견은 고르게 분산된다(영향을 주지 않는다)’는 것이다.
전제가 달라지면 모든 것이 달라진다. 그런 점에서 우려가 있다. 특히 응답률이 매우 낮고, 그마저도 하락하는 추세에서 무응답 편향이 우려된다. 무응답 편향에 접근하기 위해서는 응답하지 않는 사람들의 정치적 성향, 또는 지지 성향과 관련된 특성을 알고 있어야 한다. 그러나 이에 대한 정보는 아예 없다고 봐야 한다.
해외 연구를 보더라도 전체 유권자의 정치적 성향을 제공받지 않는 이상 무응답 편향을 미리 진단하고 보정할 뾰족한 수는 없는 것 같다(West & Andridge, 2023; Voogt & Kempen 2002; Clinton et al, 2022). 이러한 점들이 해결되지 않는다면 여론조사의 한계는 명확하다. 조사회사와 연구자들이 노력해야 할 부분은 당연히 있다. 아마도 그 지점에서 제도적 지원이 뒤따라야 할 것이다. 지속적으로 관심을 두고 연구할 주제는 다음과 같다.
① 무응답 편향
무응답 편향을 사전에 진단, 측정하고 보정할 방법이 없을까? 무응답 편향의 발생 메커니즘 중 가장 골치 아픈 것은 후보의 지지 성향에 따라 응답 여부가 영향을 받는다는 점이다. 보수 후보 지지자들이 체계적으로 응답하지 않으면 결과는 왜곡된다. 이것을 비임의결측 조건이라고 하고, 조사대상의 자기 선택이 원인이 된 선택 편향이라고 불린다(Groves & Peytcheva, 2008).
몇몇 해외 사례들이 이러한 접근을 시도하고 있다. West & Andridge(2023)는 무시할 수 없는 선택 편향의 측정과 보정을 위해 MUBP(the measure of unadjusted bias for a proposion)를 제안하고 있다. MUBP는 후보 지지도와 공변량과의 관계모형을 통해 지지도 예측 변수를 산출하고, 모집단의 총합적인 공변량 분포를 통해 응답자와 무응답자의 차이인 편향 정도를 추정한다. 조사단위별로 세세하게 알지 못해도 후보 지지도에 영향을 주는 여러 공변량의 총합 통계(평균과 분산)를 안다면 적용할 수 있다. 총합 통계가 필요한 공변량은 지역, 성, 연령대, 학력, 인종과 같은 사회인구학 변수뿐 아니라 이념성향, 정당지지도 등 정치적 태도를 나타내는 변수도 포함된다. 후보 지지도를 설명하는 다양한 요인들이다. 이러한 변수들의 총합 통계를 확보해야 한다. 우리 맥락에서 기준이 될 만한 통계 확보가 매우 어려운 일이다.
Clinton 등(2022)은 2020년 대선에서 사전 정보에 따라 모든 관련 변수를 통제한 이후에도 민주당 지지자가 공화당 지지자에 비해 전화조사에 더 협조적이었다는 점을 밝히고 있다 .
현재 우리는 정치적 태도에 대한 사전 정보 또는 총합 자료 모두 매우 부족하다. 응답자의 지지 성향을 파악하기 위한 기초자료 축적, 분석방법 연구가 필요한 상황이다. 아직은 갈 길이 멀다.
② 심리적 요인
선거여론조사의 편향이 왜 발생하는가와 관련한 심리적 요인이 주목된다. 침묵의 나선, 동조, 집단 착각 등에 따라 대세적인 흐름 인식은 여론조사 참여와 응답에 영향을 주며, 편향을 좌우할 수 있다. 인간은 사회적 동물로 다수의 판단에 주목하고 거기에 속하거나 적어도 소외되지 않으려 한다. 대세에 편승해 생각을 바꾸기도 침묵하기도 하는데 이러한 심리가 영향을 줄 수 있다(토드 로즈, 2023).
부산은 이번 선거에서 가장 부조화의 지점에 있었다. 전통적으로 보수적인 선택을 했으나 현 정부에 대해서는 부정적인 인식이 강한 지역이다. 정권에 부정적이어서 심판이 필요하다고 느끼지만 진보 후보의 선택도 마뜩잖은 사람들이 이런 갈등 상황을 어떻게 해소했을까? 또는 정권 심판론이 우세한 상황에서 보수 지지자들이 응답을 회피했을까? 이러한 질문들이 제기될 수 있다.
또한 선거일이 임박할수록 선택 영향 요인이 달라질 수 있다는 점도 주목해야 한다. 어쩌면 최근의 정치 상황과 그동안의 지지 성향 중에서 갈등하는 지역에 영향을 줄 수 있다. 선거일이 멀수록 대세적인 흐름과 긍정적인 측면을 보지만 선거일이 다가올수록 결과의 부정적인 측면을 생각하게 된다. 즉 선거일이 다가올수록 야당 압승에 대한 우려가 작용할 수 있다(Kim et al, 2009; 장덕현·?김근배, 2012).
여러 심리적 요인에 의해 대세적인 흐름에 반하는 경우 여론조사에 숨을 수 있다. 심리적 요인들은 무응답 편향과 응답에서의 편향 발생, 선거 임박한 시점의 태도 변화 등에 영향을 줄 수 있다.
③ 여론조사 품질
전화면접이 ARS보다 우위에 있는가? 국회의원선거 선거여론조사에서 전화면접의 품질 우위가 확인되지 않는 점은 딜레마다. 특히 지역구 조사에서 그런 경향이 강하다. 왜 전화면접 조사의 편향이 더 크게 나타날까? 그 이유는 그만한 품질을 확보하지 못해서가 아닐까 싶다.
전화면접에서 짧은 기간 다수 조사 진행을 위해서는 평소보다 더 많은 조사원을 동원해야 한다. 조사원이 필요 없는 ARS 상황과는 확연히 다른 조건이다. 그뿐만 아니라 조사를 전반적으로 운영하는 전문 인력도 부족할 수 있다. 역량들이 분산될 수 있는 조건이다. 조사방법의 선택이 효과적으로 되기 위해서는 전체적인 과정 관리가 그만큼 따라줘야 한다. 그렇지 못하다면 품질 우위 확보는 어렵다.
또한 질문의 문제도 있다. ‘지지 후보가 없다, 결정하지 않았다, 모르겠다’는 비본질적 응답이다. 세 가지 조건이 따른다. 정말로 그런 경우, 지지 후보를 말할 수 있으나 생각하기 싫어 말하지 않는 경우, 그리고 여러 이유로 지지후보를 숨기는 경우다(Johns 2005). 특히 관심도가 낮을 경우 비본질적 응답을 할 수 있기 때문에 이를 최소화하는 노력이 필요하다.
재질문을 통해 어느 쪽이 조금이라도 더 나은지 확인하는 절차가 있어야 한다. 일부 전화면접에서 재질문을 포함하지 않았기 때문에 지지 성향을 밝히지 않은 비본질적 응답이 과도하게 나올 수 있다.
비례대표 정당 지지도로 볼 때 정치 관심층에 따른 영향이 있었다. 관심도에 따라 야권의 지지도가 더불어민주연합과 조국혁신당으로 갈렸고 이는 ARS에서 조국혁신당 지지가 더 높았던 편향을 설명할 수 있는 부분이다. 전화면접을 하는 경우 재질문을 포함하는지 여부가 영향을 줬다.
고품질의 조사는 하나의 요인으로 달성되기 어렵다. 조사방법의 선택과 체계적인 과정관리, 응답을 이끌어내는 노력 등이 모두 충족되어야 할 것이다.
선거여론조사기관 등록제로 전문성이 부족한 조사회사를 퇴출한 점, 휴대전화 가상번호를 30배까지 제한하고, 가중배율 및 최소기준을 설정한 것들이 ARS의 품질 개선 효과가 있었다. 전화면접의 장점을 발휘하고 품질 우위를 확보하기 위해서는 더 세밀하고 철저한 관리가 요구된다는 점을 명심해야 한다.
④ 조사회사 편향성
이번 선거에서 주목되는 현상 중 하나는 조사회사의 정치적 편향성이다. 그동안 주요 조사회사들은 한쪽 편을 드는 것을 경계해 왔다. 중립성을 잃으면 조사결과도 왜곡될 것이기 때문이다. 이러한 점을 당연하게 생각해 왔으며 여러 강령에 명시되어 있다(일례로 한국조사협회 정치선거 전화여론조사기준).
이번에는 정치성향이 두드러진 것으로 평가되는 조사기관이 대규모로 조사를 수행하고 발표했으며, 그 조사결과가 가장 편향적이어서 하우스이펙트의 전형을 몸소 보여줬다. 다행인 것은 주요 언론들이 인용하지 않음으로써 자정 역할을 했다는 점이다. 제도가 효과적으로 통제할 수 없는 부분에 대해 앞으로도 언론의 역할이 기대된다. 그러나 정치 양극화가 심화되고 진영을 대변하는 매체가 많아지는 점은 매우 우려된다.
3) 제도 지원
여론조사는 국민의 참여를 기반으로 한다. 응답해야 정확한 조사가 된다. 조사에 참여하지 않으면서 고품질 조사를 바라는 것은 이율배반적이다. 하지만 보이스피싱, 홍보마케팅 등 전화를 받지 않을 이유가 늘면서 여론조사 요청은 이들에 묻힌다. 여론조사의 가치, 유용성에 대한 설명만으로는 참여를 이끌기 어렵다. 응답률 개선은커녕 계속 하락할 가능성이 커 보인다. 이런 상황에서 제도적인 지원이 필요한 부분이 있다.
첫째, 선거여론조사를 위한 안심발신번호다. 여론조사의 가장 큰 어려움은 조사대상자가 전화를 받지 않는다는 점이다. 콜백을 거듭하더라도 접촉률 50%가 힘들다. 전화를 받지 않는 이유는 개인적 상황이나 전화 기피증 등 다양한 요인이 있겠지만 모르는 발신번호를 신뢰할 수 없기 때문이기도 하다. 마케팅, 상품 홍보 등으로 괴로울 수 있고 보이스피싱 위험까지도 있다. 여론조사용으로 안전성이 보장되는 안심발신번호를 제공하면 어떨까? 정확한 조사를 위해 여심위에서 여론조사용 발신번호를 보증하는 방안을 검토했으면 한다.
둘째, 휴대전화 가상번호 문자메시지 서비스다. 현재 휴대전화 가상번호는 음성통화만 가능하다. 접촉률을 높이기 위해서는 시간대를 달리해 콜백하는 방법뿐이다. 일부는 음성통화를 불편해하고 문자를 선호할 수 있다. 신뢰할 수 있는 대상으로부터 문자가 받고 링크를 통해 답할 수 있다면 응답률을 높일 수도 있다.
셋째, 휴대전화 가상번호 관리다. 전화조사 표본추출틀인 휴대전화 가상번호 관리가 매우 중요하다. 국회의원선거를 거치며 유권자의 피로감이 매우 크다. 특히 관심 선거구에 조사가 집중되었다. 개인이 자신의 번호를 여론조사에 이용할 수 없도록 휴대전화 가상번호 제공거부를 요청할 수 있다. 때문에 휴대전화 가상번호를 현 수준으로 유지할 수 있는가가 관건이다.
넷째, 표본추출틀 추가 확보다. 현재의 휴대전화 가상번호는 알뜰폰 가입자를 포함하지 않는다. 알뜰폰 가입자는 증가 중이고, 기존 휴대전화 가상번호 제공 거부자도 많아져 조사자 입장에서는 불안하다. 휴대전화 가상번호를 쓸 수 없다면 RDD가 대안이지만 임의 발생 번호이다 보니 이용자 특성에 대한 정보가 없다. 전체 일반국민을 모두 포함하면서 이용자 정보도 활용할 수 있는 표본추출틀을 구축하는 방법에 대한 고민이 필요하다.
──
참고 자료
• 대니얼 카너먼?올리비에 시보니?캐스 선스타인. 2022. 노이즈: 생각의 잡음, 장진영 역. 김영사.
• 오인환. 1992. 사회조사 방법론: 오차요인 집중연구. 나남.
• 토드 로즈. 2023. 집단 착각 – 인간본능이 빚어낸 집단사고의 오류와 광기에 대하여, 노정태 역. 21세기북스.
• 중앙선거관리위원회. 제21대 국회의원 선거 투표율 분석 통계자료.
• 중앙선거여론조사심의위원회 → 여론조사결과보기
• 한국조사협회 → 정치선거 전화여론조사기준
• 박인호·임종호·박민규. 2019. 선거여론조사의 객관성·신뢰성 제고를 위한 조사방법론 개선방안 연구, 중앙선거여론조사심의위원회 연구용역보고서.
• 장덕현. 2021. 정치관심도와 여론조사 표본대표성. 2021 한국조사협회-한국조사연구학회 공동세미나 발표 자료.
• 장덕현·김근배. 2012. 시간 거리, 조절초점 프레임 간 적합이 선호에 미치는 영향: 정치적 설득에서 자아일치성의 역할을 중심으로. 한국심리학회지: 소비자·광고 13(4): 617-644.
• 장덕현·조성겸. 2015. 2014 지방선거에서의 여론조사의 정확성 연구: 조사방법별 정밀성과 편향. 조사연구 16권 1호: 129-153.
• Clinton, J.D, J.S. Lapinski. and M.J. Trussler. 2022. Reluctant Republicans, Eager Democrats? Partisan Nonresponse and the Accuracy of 2020 Presidential Preelection Telephone Polls. Public Opinion Quarterly 87 (S): 575-601.
• Groves, R.M. and E. Peytcheva. 2008. The Impact of Nonresponse Rates on Nonresponse Bias: Meta Analysis. Public Opinion Quarterly 72 (2): 167-189.
• Groves, R.M., S. Presser and S. Dipko. 2004. The Role of Topic Interest in Survey Participation Decisions. Public Opinion Quarterly 68(1): 2-31.
• Johns, R. 2005. One Size Doesn’t Fit All: Selecting Response Scales For Attitude Items. Journal of Elections, Public Opinion and Parties 15(2): 237- 264.
• Kim, H., A.R. Rao, and A.Y. Lee. 2009. It’s Time to Vote: The Effect of Matching Message Orientation and Temporal Frame on Political Persuasion. Journal of Consumer Research. 35: 877-889.
• Lavrakas, P.J. and M.W. Traugott. 2000. Election Polls, the News Media, and Democracy. New York: Chatham House Publishers.
• Raaijmakers, Q.A.W., A.V. Hoof, H. Hart, T.F.M.A. Verbogt, and W.A.M. Vollebergh. 2000. Adolescent’ Midpoint Responses on Likert-type Scale Items: Neutral or Missing Values? International Journal of Public Opinion Research 12(2): 208-215.
• Voogt, R.J.J. and H.V. Kempen .2002. Non-response Bias and Stimulus Effect in the Dutch National Election Study. Quality & Quantity. 36:325-345.
• West, B.T. and R.R. Andridge. 2023. Evaluating Pre-election Polling Estimates Using a New Measure of Non-ignorable Selection Bias. Public Opinion Quartelyr 87 (S): 575-601.
─────────────────────────
2024년 제22대 국회의원선거 여론조사는 어떠했는가?
- 선거여론조사 평가 및 과제
─────────────────────────
작성: 한국갤럽조사연구소 연구위원 장덕현
[목차] (각 제목 클릭하면 해당 위치로 이동)
→ 1. 들어가며
→ 2. 지역구 선거여론조사 평가
1) 2016년
2) 2020년
3) 2024년
4) 조사방법별 비교
→ 3. 비례대표 선거여론조사 평가
1) 전체
2) 조사방법별
3) 조사회사별
→ 4. 선거여론조사의 현재와 향후 과제
1) 결과 요약
2) 향후 과제 ① 무응답 편향 ② 심리적 요인 ③ 여론조사 품질 ④ 조사회사 편향성
3) 제도 지원
→ 참고 자료
1. 들어가며
직업이 주는 압박감 때문인지 조사를 하는 사람들은 선거가 끝나도 쉽게 쉬지 못한다. 누가 특별히 시킨 것도 아닌데 선거결과 데이터를 살펴보고 그동안의 여론조사결과도 찾게 된다. 자연스럽게 중앙여론조사심의위원회(이하 ‘여심위’) 홈페이지를 뒤진다. 언론사 기사를 건건이 검색하던 과거와 비교하면 매우 획기적인 변화다. 매우 생소하던 선거여론조사 심의제도에 익숙해지고, 제도를 통해 축적된 정보를 활용한다. 여론조사를 하려면 휴대전화 가상번호도 구입해야 하므로 여심위 없는 여론조사를 상상하기 어렵다.
2014년 지방선거는 여심위 출범 후 첫 번째 전국선거였다. 당시의 소회는 ‘이런 절차를 따르다 보니 매우 불편하다. 전문성을 너무 침해한다. 기분 나쁘다. 하지만 과정에 더 신경이 쓰인다는 긍정적인 측면이 있다.’ 정도였다. 벌써 10년이 지났다. 그동안 두 번의 대통령선거, 각각 세 번의 지방선거와 국회의원선거를 치렀다. 좋든 싫든 이제 선거여론조사와 여심위가 공존하며 떼려야 뗄 수 없게 되어버렸다.
2024년에는 국회의원선거가 치러졌다. 여심위 출범 10주년이자 우리나라 최초 여론조사회사인 한국갤럽이 50주년을 맞는 해이기도 하다. 제도도 정착되었고 조사 경험도 풍부해졌지만, 여론조사의 신뢰성이 그만큼 체감되지 않는다. 조사의 현실은 어둡고, 응답률 하락, 여론조사의 정치화 등 해결과제는 수두룩하다.
국회의원선거 결과는 야당의 압승으로 끝났다. 정부 심판론이 거셌다. 여론조사들은 대부분 야당이 크게 이길 것을 예상했다. 그러나 선거여론조사에 대한 전반적 평가는 그렇게 긍정적이지는 않다. 그 이유는 야당 후보 지지도를 더 후하게 본 야당 과대 편향 때문이다.
여론조사는 여론을 측정하는 유용한 도구지만 완벽한 도구는 아니다. 일단 조사시기와 투표시기의 차이가 있다. 여론조사는 유권자 전체를 대상으로 하지만 모두가 투표하지 않기 때문에 간극이 생긴다. 어느 후보의 지지자가 더 투표했는지 알 수 없다. 이러한 것들이 영향을 주지 않더라도 조사 자체에는 에러가 있다.
조사를 한다는 것은 여러 가지 일들의 연속이다. 전화번호를 적절히 추출해야 하고, 꼼꼼히 연락하고 연결된 사람들을 잘 설득해서 응답을 받아야 한다. 질문을 편향되지 않게 구성하는 것도 중요하다. 조사원을 섭외하고, 교육하고, 관리하는 일도 있다. 이러한 전체 과정을 통해서 조사 데이터가 수집되는 것이다. 그리고 그 과정 중에 오류가 있을 수 있다. 하나라도 삐걱거리는 문제가 있다면 불량품이 나올 수 있다. 이러한 것들이 모두 완벽하더라도 전체 유권자 중 일부를 조사하기 때문에 나타나는 변산성(variability), 표본오차가 있다.
반면 여론을 아는 데 있어 여론조사만 한 것이 없다. 과정을 잘 관리하고 문제를 차근차근 해소해 나간다면 표본오차 범위 내 추정이 가능하다. AI, 유튜브 콘텐츠, SNS 게시글에 비해 과학적으로 검증된 접근이다.
선거가 끝나면 조사하는 사람들은 결과를 정리하고 오류를 생각하고 앞으로 어떤 과제를 해 나갈지 생각한다. 그래서 여론조사가 좀 더 과학적이 될 수 있는 방법을 찾아 나선다. 당장 개선할 수 있을지 알 수 없지만 이러한 과정이야말로 과학적 접근이라고 믿는다.
본 글에서는 제22대 국회의원선거에서 여론조사를 평가하고자 한다. 평가의 기준은 선거 득표율이다. 선거 득표율은 전체적인 투표자의 의사가 표출된 것이다. 앞서 언급했듯 시점의 차이, 투표자와 유권자 차이가 있다. 완벽한 표본이라 해도 변심했거나 투표하지 않을 수 있다. 그러나 분석을 위해 이러한 영향은 없거나 미미하다고 가정하자. 이것은 알 수도 없고, 측정되기도 어렵다.
오차에는 편향과 변산성 두 가지 요소가 있다. 편향은 예측값들이 참값으로부터 평균적으로 얼마나 벗어나 있는지, 변산성은 예측값들이 퍼진 정도를 말한다. 표적을 예로 들면, 탄착군(彈着群)이 중심으로 벗어난 정도는 편향, 탄착군이 퍼진 정도는 변산성(잡음)을 의미한다(대니얼 카너먼 등, 2022). 편향으로 오차 평균, 변산성으로 오차 표준편차를 함께 제시한다(장덕현·?조성겸, 2015).
먼저 지난 세 번의 국회의원선거에서 지역구 선거여론조사의 후보 지지도와 득표율의 차이를 살펴본다. 다음으로 이번 선거에서 비례대표 정당 지지도와 득표율의 차이를 분석한다. 지역별, 조사방법별, 조사회사별 비교를 통해 선거여론조사의 현재를 평가하고 향후 과제에 대해 논의하고자 한다.
2. 제22대 국회의원선거 지역구 선거여론조사 평가
먼저 지역구 선거여론조사를 평가해 보자. 선거여론조사와 선거 득표율 비교를 위해서는 두 가지 작업을 선행해야 한다.
선거여론조사는 ‘지지후보 없다, 모르겠다, 결정하지 않았다’(이하 부동층)를 포함한다. 이들을 어떻게 처리하는지가 관건이다. 여기엔 몇 가지 가정을 적용할 수 있다. 첫째, 부동층이 응답자들과 동일한 태도를 보일 것으로 보고, 주요 후보가 응답된 비례대로 배분한다. A가 50, B가 30이고 20이 부동층이라면, 부동층 20은 A 12.5, B 7.5로 나뉜다. 둘째, 부동층이 무작위 선택할 것으로 보아 주요 후보에 동등하게 배분한다. A 10, B 10이 더해진다. 셋째, 부동층이 실제 태도를 감춘 것으로 보아 응답된 비율의 반비례로 배분한다. A 7.5, B 12.5를 더한다(Johns, 2005). 부동층을 균등 배분하는 것이 가장 중립적이고 경험에도 부합한 안이다(Lavrakas & Traugott, 2000). 균등 배분 시 지지도의 차이는 변하지 않는다. 앞선 사례에서 20의 차이는 배분 전후 똑같다.
다음으로 선거 득표율과 후보지지도 비교 시 고려될 사항은 유권자와 투표자 차이다. 여론조사의 연령별 비율은 유권자 전체를 기준으로 하지만 투표율은 연령대별로 차이가 있다. 따라서 연령대별 투표율을 곱해 이를 반영한 후의 결과 비교가 바람직하다. 제21대, 제22대 국회의원선거 선거여론조사는 이런 절차를 선행했다.
이후 더불어민주당과 보수 대표 정당(새누리당, 미래통합당, 국민의힘) 후보의 지지도 차이를 실제 득표율 차이와 비교하였다. 따라서 양대 정당 경쟁 구도가 아닌 지역구는 모두 제외했다. 지지도 차이기 때문에 A후보가 4%P 올라가면 B후보는 4%P 내려가며, 차이는 지지도 변화의 2배인 8%P가 된다. 지지도 차이와 득표율 차이의 갭(Gap)을 오차로 보며, 전체 지역구의 평균, 표준편차를 계산한다.
1) 2016년
제20대 국회의원선거에서 여론조사는 처참한 결과를 보여줬다. 이는 예견된 일이었다. 유선전화 표본추출틀을 주로 사용했기 때문이다. 2010년 지방선거에서 큰 오차를 낸 이후로 유선전화만을 이용한 조사는 사실상 금기시되었다. 하지만 언론과 조사회사는 왜 그랬을까? 이유는 휴대전화 가상번호가 제공되지 않았기 때문이다. 이때는 표본추출틀뿐 아니라 전화면접, ARS, 앱 등의 여러 조사방법이 다양한 비율로 혼합되었다.
2016년 3월 28일부터 4월 6일까지 조사된 290건의 조사결과를 분석했다. 더불어민주당과 새누리당의 지지도와 득표율 차이를 비교한 결과 평균 -11%P의 오차를 보였다. 그만큼 새누리당 쪽으로 치우쳐 있었다. 변산성을 나타내는 표준편차는 7.7%P이다. 지역구별 500명을 조사할 때 표본오차가 4.4%P이다. 변산성은 그 정도가 되어야 한다. (연령대별 투표율은 가중하지 않았다. 이를 적용했다면 고연령대 비중이 증가해 보수로 더 치우쳤을 것이다.)
언론이 수집한 각 조사회사의 예상 의석수는 새누리당이 절반을 넘어 여유 있게 승리하는 것이었으나 실제로는 더불어민주당이 1석 앞섰다(더불어민주당 123석, 새누리당 122석). 휴대전화가 보편화되었지만, 유선전화 표본추출틀을 사용했기 때문에 조사회사들은 여심위 〈선거여론조사기준〉 중 연령대별 가중배율인 0.4~2.5(현재는 0.7~1.5)를 맞추기 어려웠다.
유선전화로 수도권 20대를 찾는 것은 불가능에 가까웠다. 이런 조사가 잘 될 리 없다. 전체 모집단을 포함하지 않은 왜곡된 추출틀로 조사대상자를 선정한다면 그 결과는 명확하다. 콩 심은 데 팥이 날 리 만무하다. 최근 온라인조사에서 확률추출에 따르지 않는 자원자 패널로 표본수를 채우는 경우가 있다. 검증 불가한 이런 접근은 하지 말아야 하고 언론도 인용하지 않아야 한다.
2) 2020년
제21대 국회의원선거에서 처음으로 언론과 조사회사가 선거여론조사에 휴대전화 가상번호를 활용했다(전국선거 중 최초는 2018년 지방선거). 표본추출틀 개선의 효과는 명확했고 그 중요성을 여실히 보여줬다. 돌이켜보면, 휴대전화 표본추출틀 확보는 2000 년대 들어서 조사업계의 화두이자 가장 중요한 과제였다. 2010년 지방선거는 유선전화 여론조사의 오류가 매우 컸다. 여심위 출범의 계기가 되었고, 조사회사의 전국 여론조사는 휴대전화 RDD(random digit dialing) 중심으로 전환되었다. 그러나 세부 지역 단위로는 마땅한 표본추출틀을 확보하지 못했다.
2020년 3월 28일부터 4월 8일까지 조사된 235건 조사 결과를 분석했다. 더불어민주당과 미래통합당의 지지도와 득표율 차이를 비교했으며, 사후적으로 공개된 투표자조사의 선거구별 연령대 투표율을 반영했다. 오차 평균은 -0.6%P, 표준편차는 7.2%P였다. 변산성은 여전했으나 편향은 거의 사라졌다.
휴대전화 가상번호가 없었다면 아마도 선거여론조사는 불신의 늪에서 헤어 나오기 어려웠을 것이다. 대단한 혼란이 있었을 것이다. 표본추출틀의 충분한 포함률은 확률추출의 기본이며, 가장 전제가 되는 조건이다. 표본추출틀의 특성대로 조사결과가 나온다. 여심위 제도에 대해 다양한 의견이 있을 수 있으나 휴대전화 가상번호 도입은 현재까지 가장 큰 기여점이다.
3) 2024년
제22대 국회의원선거 선거여론조사는 전화조사 비수신, 거절률이 높았지만 휴대전화 가상번호 도입으로 편향은 상당히 해소된 것으로 생각되었다. 후보자들이 문자, ARS 홍보를 대규모로 하고 있는 점, 보이스피싱 등 불법행위들도 횡행하는 점들이 조사환경을 악화시키는 불안요소다. 또한 정부심판론이 거셌고, 전통적으로 보수적 성향의 지역(부산, 경남 등)에서도 그러했다. 정부 심판론이 실제 투표로 이어질지가 관심이었다.
2024년 3월 21일부터 4월 3일까지 328건 조사의 후보 지지도와 실제 득표율 차이를 비교했다. 후보 지지도는 2020년 투표자 조사의 시도별 연령대 투표율을 반영했다. 오차 평균은 1.9%P로 더불어민주당 쪽으로의 편향이 있었다. 표준편차는 6.4%P로 전보다는 감소했다. 전체적인 편향이 크지 않다고 생각할 수 있으나 지역별로 보면 그렇지 않았다.
부산 27개 조사의 오차 평균은 8.5%P다. 부산은 18개 지역구 중 북구갑에서 더불어민주당 후보가 유일하게 당선, 이외는 모두 국민의힘 후보가 당선됐다. 여론조사상으로는 더불어민주당 후보가 우세하거나 경합하는 지역이 많았다. 부산 수영구는 국민의힘과 무소속 후보가 보수표를 분산해 더불어민주당 후보가 가장 앞선 결과가 많았다. 실제 보수표는 국민의힘 후보에 집중됐다.
편향 발생의 이유는 다양하다. 보수 지지자들이 덜 응답했을 가능성, 지지 의사를 밝히기 꺼렸을 가능성이 있다. 선거일을 앞두고 마음을 바꾸거나, 지지 후보를 결정하지 못했던 사람들이 마음을 정했을 수 있다. 특히 정권 심판론으로 진보 야당이 우세한 상황에서 전통적으로 보수적인 지역 유권자들이 심적 갈등을 느꼈으며, 이러한 점이 선거여론조사와 투표행동의 차이를 발생시켰을지 모른다. 이러한 다양한 요인들을 사전에 예상하거나 측정할 수 있는가가 문제 혹은 과제일 수 있다.
4) 조사방법별 비교
선거여론조사의 조사방법은 대부분 전화조사다. 전화조사는 현재 전화면접(CATI)과 ARS 방식으로 이뤄진다.
전화면접은 조사원이 직접 질문하고 응답을 받기 때문에 좀 더 협조도와 신뢰성을 높일 수 있는 방법이다. ARS는 녹음된 목소리를 듣고 스스로 번호를 선택해 응답하기 때문에 응답자의 자발성이 더 많이 개입된다. 전화면접이 ARS 대비 응답률도 높고, 고품질인 것으로 인식된다. 두 접근은 어떤 차이를 보였을까?
2020년 분석 대상 235건 여론조사 중 134개가 ARS, 전화면접이 96건, 4건은 두 방법의 혼합이었다. ARS는 오차 평균 -2.4%P, 전화면접 1.9%P로 다른 방향의 편향이 있었다. 오차 표준편차는 7.2%P, 6.4%P였다. 변산성은 전화면접이 조금 작았다.
2024년 분석대상 328건 중 ARS 166건, 전화면접 161건, 혼합은 1건이 있었으며 오차 평균은 ARS 0.9%P, 전화면접 2.9%P로 ARS 편향이 작았다. 표준편차는 ARS 6.9%P보다 전화면접이 5.6%P로 작았다. 즉 편향은 전화면접이, 변산성은 ARS가 컸다. 이러한 결과는 지역구 선거여론조사에서 전화면접이 ARS 대비 품질 우위를 보이지 못한다는 것을 보여준다.
ARS는 낮은 응답률로 편향이 더 클 것으로 예상되지만 그렇지 않았다. 응답률 자체는 편향을 전적으로 설명하지 못한다(Groves & Peytcheva, 2008). 편향 발생의 조건이 있는데 대표적으로 주제 관심도가 영향을 준 경우다(Groves et al, 2004). 지역구 선거는 여야 또는 보수, 진보를 대표하는 양대 정당후보가 경쟁한다. 보수층이든 진보층이든 정치 관심층과 비관심층을 일정하게 포함한다. 만약 특정 정치성향에서 관심층별로 지지자가 분화되었다면 어떨까? 비례대표 정당투표는 조국혁신당이 등장하면서 더불어민주연합과 조국혁신당 두 정당으로 진보의 분화가 예상된다.
3. 제22대 국회의원선거 비례대표 선거여론조사 평가
비례대표 정당인 국민의미래는 2월 27일 공식적으로 선관위에 등록됐고, 더불어민주연합과 조국혁신당은 3월 7일 공식 등록됐다. 3월 8일 이후 비례대표 정당지지도가 포함된 조사건수는 모두 54건이다.
비례대표 정당지지도에도 부동층(없음/모름/응답거절)이 포함된다. 여러 당의 경쟁이므로 지역구 후보 지지도처럼 지지도 차이를 기준으로 할 수 없다. 따라서 세 개 정당의 상대 지지도를 계산하고 이를 실제 득표율(상대 득표율)과 비교했다. 지역구에서와 마찬가지로 연령대별 투표율 가중을 부여했다. 연령대별 투표율은 직전 제21대 국회의원선거의 투표자 조사를 참고했다.
정당별 상대 지지도와 득표율의 차이를 평균한 것이 편향, 차이의 표준편차는 변산성을 의미한다. 1,000명 조사에서 표준오차만 발생하고 다른 오차가 없다면 오차의 표준편차는 1.5%P로 예상된다.
1) 전체
3월 8일 이후 54건 전국조사에서 나타난 비례대표 정당 지지도의 오차 평균은 더불어민주연합 -5.1%P, 국민의미래 -0.6%P, 조국혁신당은 5.7%P다. 더불어민주연합을 과소하게 봤고, 그만큼 조국혁신당으로 과대 추정했다. 오차 표준편차는 2.5%P, 3.2%P, 3.9%P다. 조국혁신당의 변산성이 상대적으로 컸다.
2) 조사방법별
조사방법별로 비교했다. ARS 33건, 전화면접은 21건이다. 조국혁신당 오차 평균은 ARS 6.7%P, 전화면접 4.2%P다. 더불어민주연합은 -5.9%P, -3.9%P로 조국혁신당과 반대 편향이 있었다. 오차 표준편차는 조국혁신당 기준 ARS 2.8%P, 전화면접 4.8%P로, 오히려 전화면접에서 변산성이 더 컸다.
두 방식을 모두 실시한 F사의 경우 전화면접을 한 다른 회사들과 차이가 컸기 때문에 이를 제외하고 볼 필요가 있다. 이 경우 조사방법보다는 하우스이펙트의 영향이 더 컸다고 볼 수 있다. 각각 F사 조사 3건을 제외하면 ARS는 차이가 거의 없는 반면, 전화면접은 조국혁신당 오차 평균이 4.2%P에서 2.9%P로 줄었다. 더불어민주연합은 변화가 없지만 국민의미래가 -0.2%P에서 0.8%P로 늘었다.
3) 조사회사별
세 건 이상 조사한 회사는 아홉 개였다. 이 중 다섯 개 회사는 ARS, 세 개 회사는 전화면접을 했고, 한 개 회사는 두 방법을 모두 실시했다.
ARS를 한 A부터 E사까지는 조국혁신당 오차 평균이 3.9%P ~ 9.2%P 범위에 있었다. 더불어민주연합 오차 평균은 –7.3%P ~ -5.1%P였다. 정도 차이는 있으나 조국혁신당 과대, 더불어민주연합을 과소 추정하는 경향은 같았다.
전화면접을 한 회사의 경우 G와 I사 대비 H사의 편향이 컸다. H사는 더불어민주연합 오차 평균이 -5.0%P, 조국혁신당은 2.9%P다. 두 방식을 모두 한 F사는 조국혁신당 오차 평균이 9.3%P이고 더불어민주연합 -5.1%P, 국민의미래 -4.3%P였다. 그만큼 진보 편향이 강했다. 조사를 구성하는 다양한 요소들 중 조사회사의 정치적 중립성이 매우 중요함을 새삼 확인할 수 있다.
ARS와 전화면접의 차이는 왜 발생하는 것일까? ARS에서 조국혁신당 지지도가 더 높게 나타나는 것은 정치관심도의 차이가 영향을 준 것 같다(박인호 등, 2019; 장덕현, 2021). 진보 성향의 유권자들은 정치 관심도에 따라 선택이 달랐다.
한국갤럽 데일리 오피니언 3월 4주차 결과를 정치 관심도별로 살펴보면 조국혁신당 지지도는 고관심층에서 가장 높고, 관심도가 낮아질수록 하락했지만 더불어민주연합은 고관심층보다 약관심층에서, 그보다는 저관심층에서 높았다. 관심도가 낮을수록 부동층이 늘기 때문에 정당지지도는 하락하는 것이 자연스럽다. 그만큼 저관심일수록 더불어민주연합을 선택했다는 의미다. ARS에는 정치 고관심층 비중이 크기 때문에 조국혁신당 지지도가 상대적으로 높을 수 있다.
그렇다면 전화면접을 하는 회사 간 차이가 발생한 이유는 무엇일까?
H사는 선택항목 중 ‘아직 결정하지 않았다’, ‘투표할 정당이 없다’가 포함되어 있다. 다른 회사들은 ‘투표할 정당이 없다’ 하나를 제시하는 것이 일반적이다. 선택지가 많으니 지지정당을 밝히지 않은 부동층 비율이 상대적으로 많다(25~29%). G사는 그 비율이 11~14%, I사는 20~24%다. 이러한 응답은 비본질적 응답(non–substantive response)으로 볼 수 있다.
단지 생각하기 싫어서 또는 자신의 의견을 드러내기 귀찮아서 응답하지 않기도 하며, 일부는 스스로를 감추기 위해 응답을 회피한다(오인환, 1992; Johns, 2005; Raaijmakerset al, 2000). 재질문을 통해 확인(probing)하는 것이 필요하다. 데일리 오피니언 3월 4주 조사에서는 최초 질문에서 부동층에게는 어느 정당 투표가 조금이라도 나은지를 다시 물었다.
최초 질문에서 지지 정당을 말하지 않은 201명에게 재질문한 결과는 더불어민주연합과 국민의미래가 각각 15%, 조국혁신당은 2%에 불과했다. 조국혁신당 지지층은 적극적으로 지지의사를 표명하기 때문에 재질문에서 추가되는 부분이 적다. 재질문이 없다면 조국혁신당의 비중이 늘게 된다.
전화면접으로 응답률을 높이더라도 재질문 등 지침을 통해서 문항별 응답을 최대한 받으려는 노력이 필요하다. ‘보통이다, 아직 결정하지 않았다’와 같은 응답 회피의 도구가 되는 비본질적 응답을 줄여야 한다.
4. 선거여론조사의 현재와 향후 과제
1) 결과 요약
선거가 끝나면 여론조사는 비판의 무대 위에 선다. 국회의원선거는 ‘여론조사의 무덤’이라 불릴 정도다. 이번에도 주요 선거구에서 출구조사가 당선자를 잘못 예측해 지탄을 받았다. 사전 선거여론조사를 평가하면 전반적으로 야당 후보 지지도를 더 높게 보는 편향이 있었다.
3월 21일 이후 조사된 양대 정당 후보 경쟁 지역구 선거여론조사 328건을 분석한 결과 양대 정당 지지도 차이는 실제 득표율 차이 대비 1.9%P의 편향을 보였다. 전체적으로 크지 않지만, 세부적으로 달랐는데 특히 부산에서 야당 편향이 컸다(8.5%P). 이것이 전체적인 판세 인식에 영향을 줬다.
부산 18개 지역구 중 1개에서만 더불어민주당 후보가 당선했고, 사전 선거여론조사에서는 야당 후보가 앞서는 경우가 많았다(사전 여론조사상 9개 지역구가 민주·진보 후보 우세 또는 경합). 휴대전화 가상번호 제도가 국회의원선거에 처음 적용된 2020년과 비교하면 변산성은 줄었지만, 편향이 커졌다.
비례대표 정당 지지도는 조국혁신당을 과대하게 봤고, 그만큼 더불어민주연합을 과소하게 봤다. 전화면접보다 ARS에서 그러한 경향이 컸다. 야당 지지자 중 정치 고관심층에서 조국혁신당 지지가 많았는데, 관심도에 따라 야당 지지층이 분화된 점, 그리고 정치 관심도가 낮을수록 ARS에 응답하지 않는 점이 영향을 준 것 같다.
2) 향후 과제
사전 선거여론조사의 과정은 일견 단순하다. 전국적으로 추출된 전화번호로 조사 참여를 요청하고 후보 지지도 등을 물어 응답 내용을 집계한다. 그러한 과정 속에 오류 요인이 있다. 일부는 신경을 쓰고 노력하면 최소화할 수 있지만 그렇지 않은 경우도 많다. 아직은 연구와 지식이 부족하기도 하고 불가능해 보이는 것도 있다.
조사와 투표의 시점 차이는 시간을 되돌리거나 거슬러 올라가야 한다. 불가능한 일이다. 과거를 향한 기억은 왜곡되기 쉽고, 미래의 행동은 예상하기 어렵다. 부산의 표심이 여론조사 공표 금지기간 동안 변했을 수도 있다.
투표참여를 예상하는 것도 쉽지 않다. 사전 선거여론조사 응답자 대부분은 반드시 투표하겠다고 응답한다. 각 지지층 중 누가 더 참여하는지에 따라 선거 결과가 달라진다. 부산의 보수층이 진보층보다 더 많이 투표 참여했을 수 있다.
조사 무응답자의 생각들은 알 수가 없다. 현재 무응답 편향에 대한 가정은 ‘무응답 편향이 무시할 수 있을 정도로 작거나 지역, 성, 연령대 정보로 보정할 수 있다’이다. 그러나 그걸 어떻게 알 수 있겠는가? 대부분 사전 선거여론조사에서 추출된 조사대상 중 5% 미만이 응답하고, 95%는 비수신하거나 거절한다. 5%로 나머지 95%를 완전히 설명할 수 있을까?
응답의 내용도 문제다. 일부는 지지도 질문에 ‘지지 후보 없다, 모르겠다’로 반응한다. 일부는 단지 귀찮아서, 일부는 자신의 의사를 숨기기 위해서다. 여러 이유로 본심과는 다른 의견을 말할 수 있다. 이들 하나하나가 미지의 영역들이고 사실상 알 수 없는 것들이다.
선거결과와 사전여론조사에서의 지지도를 비교할 때의 전제는 ‘투표일까지 사람들의 마음은 변하지 않는다, 투표 참여는 지지자별로 차이 나지 않는다(지역, 성, 연령대 정보로 예상 가능), 조사 응답자와 무응답자의 의견이 다르지 않다(지역, 성, 연령대별로 일정함), 지지 응답을 하지 않은 사람들의 의견은 고르게 분산된다(영향을 주지 않는다)’는 것이다.
전제가 달라지면 모든 것이 달라진다. 그런 점에서 우려가 있다. 특히 응답률이 매우 낮고, 그마저도 하락하는 추세에서 무응답 편향이 우려된다. 무응답 편향에 접근하기 위해서는 응답하지 않는 사람들의 정치적 성향, 또는 지지 성향과 관련된 특성을 알고 있어야 한다. 그러나 이에 대한 정보는 아예 없다고 봐야 한다.
해외 연구를 보더라도 전체 유권자의 정치적 성향을 제공받지 않는 이상 무응답 편향을 미리 진단하고 보정할 뾰족한 수는 없는 것 같다(West & Andridge, 2023; Voogt & Kempen 2002; Clinton et al, 2022). 이러한 점들이 해결되지 않는다면 여론조사의 한계는 명확하다. 조사회사와 연구자들이 노력해야 할 부분은 당연히 있다. 아마도 그 지점에서 제도적 지원이 뒤따라야 할 것이다. 지속적으로 관심을 두고 연구할 주제는 다음과 같다.
① 무응답 편향
무응답 편향을 사전에 진단, 측정하고 보정할 방법이 없을까? 무응답 편향의 발생 메커니즘 중 가장 골치 아픈 것은 후보의 지지 성향에 따라 응답 여부가 영향을 받는다는 점이다. 보수 후보 지지자들이 체계적으로 응답하지 않으면 결과는 왜곡된다. 이것을 비임의결측 조건이라고 하고, 조사대상의 자기 선택이 원인이 된 선택 편향이라고 불린다(Groves & Peytcheva, 2008).
몇몇 해외 사례들이 이러한 접근을 시도하고 있다. West & Andridge(2023)는 무시할 수 없는 선택 편향의 측정과 보정을 위해 MUBP(the measure of unadjusted bias for a proposion)를 제안하고 있다. MUBP는 후보 지지도와 공변량과의 관계모형을 통해 지지도 예측 변수를 산출하고, 모집단의 총합적인 공변량 분포를 통해 응답자와 무응답자의 차이인 편향 정도를 추정한다. 조사단위별로 세세하게 알지 못해도 후보 지지도에 영향을 주는 여러 공변량의 총합 통계(평균과 분산)를 안다면 적용할 수 있다. 총합 통계가 필요한 공변량은 지역, 성, 연령대, 학력, 인종과 같은 사회인구학 변수뿐 아니라 이념성향, 정당지지도 등 정치적 태도를 나타내는 변수도 포함된다. 후보 지지도를 설명하는 다양한 요인들이다. 이러한 변수들의 총합 통계를 확보해야 한다. 우리 맥락에서 기준이 될 만한 통계 확보가 매우 어려운 일이다.
Clinton 등(2022)은 2020년 대선에서 사전 정보에 따라 모든 관련 변수를 통제한 이후에도 민주당 지지자가 공화당 지지자에 비해 전화조사에 더 협조적이었다는 점을 밝히고 있다 .
현재 우리는 정치적 태도에 대한 사전 정보 또는 총합 자료 모두 매우 부족하다. 응답자의 지지 성향을 파악하기 위한 기초자료 축적, 분석방법 연구가 필요한 상황이다. 아직은 갈 길이 멀다.
② 심리적 요인
선거여론조사의 편향이 왜 발생하는가와 관련한 심리적 요인이 주목된다. 침묵의 나선, 동조, 집단 착각 등에 따라 대세적인 흐름 인식은 여론조사 참여와 응답에 영향을 주며, 편향을 좌우할 수 있다. 인간은 사회적 동물로 다수의 판단에 주목하고 거기에 속하거나 적어도 소외되지 않으려 한다. 대세에 편승해 생각을 바꾸기도 침묵하기도 하는데 이러한 심리가 영향을 줄 수 있다(토드 로즈, 2023).
부산은 이번 선거에서 가장 부조화의 지점에 있었다. 전통적으로 보수적인 선택을 했으나 현 정부에 대해서는 부정적인 인식이 강한 지역이다. 정권에 부정적이어서 심판이 필요하다고 느끼지만 진보 후보의 선택도 마뜩잖은 사람들이 이런 갈등 상황을 어떻게 해소했을까? 또는 정권 심판론이 우세한 상황에서 보수 지지자들이 응답을 회피했을까? 이러한 질문들이 제기될 수 있다.
또한 선거일이 임박할수록 선택 영향 요인이 달라질 수 있다는 점도 주목해야 한다. 어쩌면 최근의 정치 상황과 그동안의 지지 성향 중에서 갈등하는 지역에 영향을 줄 수 있다. 선거일이 멀수록 대세적인 흐름과 긍정적인 측면을 보지만 선거일이 다가올수록 결과의 부정적인 측면을 생각하게 된다. 즉 선거일이 다가올수록 야당 압승에 대한 우려가 작용할 수 있다(Kim et al, 2009; 장덕현·?김근배, 2012).
여러 심리적 요인에 의해 대세적인 흐름에 반하는 경우 여론조사에 숨을 수 있다. 심리적 요인들은 무응답 편향과 응답에서의 편향 발생, 선거 임박한 시점의 태도 변화 등에 영향을 줄 수 있다.
③ 여론조사 품질
전화면접이 ARS보다 우위에 있는가? 국회의원선거 선거여론조사에서 전화면접의 품질 우위가 확인되지 않는 점은 딜레마다. 특히 지역구 조사에서 그런 경향이 강하다. 왜 전화면접 조사의 편향이 더 크게 나타날까? 그 이유는 그만한 품질을 확보하지 못해서가 아닐까 싶다.
전화면접에서 짧은 기간 다수 조사 진행을 위해서는 평소보다 더 많은 조사원을 동원해야 한다. 조사원이 필요 없는 ARS 상황과는 확연히 다른 조건이다. 그뿐만 아니라 조사를 전반적으로 운영하는 전문 인력도 부족할 수 있다. 역량들이 분산될 수 있는 조건이다. 조사방법의 선택이 효과적으로 되기 위해서는 전체적인 과정 관리가 그만큼 따라줘야 한다. 그렇지 못하다면 품질 우위 확보는 어렵다.
또한 질문의 문제도 있다. ‘지지 후보가 없다, 결정하지 않았다, 모르겠다’는 비본질적 응답이다. 세 가지 조건이 따른다. 정말로 그런 경우, 지지 후보를 말할 수 있으나 생각하기 싫어 말하지 않는 경우, 그리고 여러 이유로 지지후보를 숨기는 경우다(Johns 2005). 특히 관심도가 낮을 경우 비본질적 응답을 할 수 있기 때문에 이를 최소화하는 노력이 필요하다.
재질문을 통해 어느 쪽이 조금이라도 더 나은지 확인하는 절차가 있어야 한다. 일부 전화면접에서 재질문을 포함하지 않았기 때문에 지지 성향을 밝히지 않은 비본질적 응답이 과도하게 나올 수 있다.
비례대표 정당 지지도로 볼 때 정치 관심층에 따른 영향이 있었다. 관심도에 따라 야권의 지지도가 더불어민주연합과 조국혁신당으로 갈렸고 이는 ARS에서 조국혁신당 지지가 더 높았던 편향을 설명할 수 있는 부분이다. 전화면접을 하는 경우 재질문을 포함하는지 여부가 영향을 줬다.
고품질의 조사는 하나의 요인으로 달성되기 어렵다. 조사방법의 선택과 체계적인 과정관리, 응답을 이끌어내는 노력 등이 모두 충족되어야 할 것이다.
선거여론조사기관 등록제로 전문성이 부족한 조사회사를 퇴출한 점, 휴대전화 가상번호를 30배까지 제한하고, 가중배율 및 최소기준을 설정한 것들이 ARS의 품질 개선 효과가 있었다. 전화면접의 장점을 발휘하고 품질 우위를 확보하기 위해서는 더 세밀하고 철저한 관리가 요구된다는 점을 명심해야 한다.
④ 조사회사 편향성
이번 선거에서 주목되는 현상 중 하나는 조사회사의 정치적 편향성이다. 그동안 주요 조사회사들은 한쪽 편을 드는 것을 경계해 왔다. 중립성을 잃으면 조사결과도 왜곡될 것이기 때문이다. 이러한 점을 당연하게 생각해 왔으며 여러 강령에 명시되어 있다(일례로 한국조사협회 정치선거 전화여론조사기준).
이번에는 정치성향이 두드러진 것으로 평가되는 조사기관이 대규모로 조사를 수행하고 발표했으며, 그 조사결과가 가장 편향적이어서 하우스이펙트의 전형을 몸소 보여줬다. 다행인 것은 주요 언론들이 인용하지 않음으로써 자정 역할을 했다는 점이다. 제도가 효과적으로 통제할 수 없는 부분에 대해 앞으로도 언론의 역할이 기대된다. 그러나 정치 양극화가 심화되고 진영을 대변하는 매체가 많아지는 점은 매우 우려된다.
3) 제도 지원
여론조사는 국민의 참여를 기반으로 한다. 응답해야 정확한 조사가 된다. 조사에 참여하지 않으면서 고품질 조사를 바라는 것은 이율배반적이다. 하지만 보이스피싱, 홍보마케팅 등 전화를 받지 않을 이유가 늘면서 여론조사 요청은 이들에 묻힌다. 여론조사의 가치, 유용성에 대한 설명만으로는 참여를 이끌기 어렵다. 응답률 개선은커녕 계속 하락할 가능성이 커 보인다. 이런 상황에서 제도적인 지원이 필요한 부분이 있다.
첫째, 선거여론조사를 위한 안심발신번호다. 여론조사의 가장 큰 어려움은 조사대상자가 전화를 받지 않는다는 점이다. 콜백을 거듭하더라도 접촉률 50%가 힘들다. 전화를 받지 않는 이유는 개인적 상황이나 전화 기피증 등 다양한 요인이 있겠지만 모르는 발신번호를 신뢰할 수 없기 때문이기도 하다. 마케팅, 상품 홍보 등으로 괴로울 수 있고 보이스피싱 위험까지도 있다. 여론조사용으로 안전성이 보장되는 안심발신번호를 제공하면 어떨까? 정확한 조사를 위해 여심위에서 여론조사용 발신번호를 보증하는 방안을 검토했으면 한다.
둘째, 휴대전화 가상번호 문자메시지 서비스다. 현재 휴대전화 가상번호는 음성통화만 가능하다. 접촉률을 높이기 위해서는 시간대를 달리해 콜백하는 방법뿐이다. 일부는 음성통화를 불편해하고 문자를 선호할 수 있다. 신뢰할 수 있는 대상으로부터 문자가 받고 링크를 통해 답할 수 있다면 응답률을 높일 수도 있다.
셋째, 휴대전화 가상번호 관리다. 전화조사 표본추출틀인 휴대전화 가상번호 관리가 매우 중요하다. 국회의원선거를 거치며 유권자의 피로감이 매우 크다. 특히 관심 선거구에 조사가 집중되었다. 개인이 자신의 번호를 여론조사에 이용할 수 없도록 휴대전화 가상번호 제공거부를 요청할 수 있다. 때문에 휴대전화 가상번호를 현 수준으로 유지할 수 있는가가 관건이다.
넷째, 표본추출틀 추가 확보다. 현재의 휴대전화 가상번호는 알뜰폰 가입자를 포함하지 않는다. 알뜰폰 가입자는 증가 중이고, 기존 휴대전화 가상번호 제공 거부자도 많아져 조사자 입장에서는 불안하다. 휴대전화 가상번호를 쓸 수 없다면 RDD가 대안이지만 임의 발생 번호이다 보니 이용자 특성에 대한 정보가 없다. 전체 일반국민을 모두 포함하면서 이용자 정보도 활용할 수 있는 표본추출틀을 구축하는 방법에 대한 고민이 필요하다.
──
참고 자료
• 대니얼 카너먼?올리비에 시보니?캐스 선스타인. 2022. 노이즈: 생각의 잡음, 장진영 역. 김영사.
• 오인환. 1992. 사회조사 방법론: 오차요인 집중연구. 나남.
• 토드 로즈. 2023. 집단 착각 – 인간본능이 빚어낸 집단사고의 오류와 광기에 대하여, 노정태 역. 21세기북스.
• 중앙선거관리위원회. 제21대 국회의원 선거 투표율 분석 통계자료.
• 중앙선거여론조사심의위원회 → 여론조사결과보기
• 한국조사협회 → 정치선거 전화여론조사기준
• 박인호·임종호·박민규. 2019. 선거여론조사의 객관성·신뢰성 제고를 위한 조사방법론 개선방안 연구, 중앙선거여론조사심의위원회 연구용역보고서.
• 장덕현. 2021. 정치관심도와 여론조사 표본대표성. 2021 한국조사협회-한국조사연구학회 공동세미나 발표 자료.
• 장덕현·김근배. 2012. 시간 거리, 조절초점 프레임 간 적합이 선호에 미치는 영향: 정치적 설득에서 자아일치성의 역할을 중심으로. 한국심리학회지: 소비자·광고 13(4): 617-644.
• 장덕현·조성겸. 2015. 2014 지방선거에서의 여론조사의 정확성 연구: 조사방법별 정밀성과 편향. 조사연구 16권 1호: 129-153.
• Clinton, J.D, J.S. Lapinski. and M.J. Trussler. 2022. Reluctant Republicans, Eager Democrats? Partisan Nonresponse and the Accuracy of 2020 Presidential Preelection Telephone Polls. Public Opinion Quarterly 87 (S): 575-601.
• Groves, R.M. and E. Peytcheva. 2008. The Impact of Nonresponse Rates on Nonresponse Bias: Meta Analysis. Public Opinion Quarterly 72 (2): 167-189.
• Groves, R.M., S. Presser and S. Dipko. 2004. The Role of Topic Interest in Survey Participation Decisions. Public Opinion Quarterly 68(1): 2-31.
• Johns, R. 2005. One Size Doesn’t Fit All: Selecting Response Scales For Attitude Items. Journal of Elections, Public Opinion and Parties 15(2): 237- 264.
• Kim, H., A.R. Rao, and A.Y. Lee. 2009. It’s Time to Vote: The Effect of Matching Message Orientation and Temporal Frame on Political Persuasion. Journal of Consumer Research. 35: 877-889.
• Lavrakas, P.J. and M.W. Traugott. 2000. Election Polls, the News Media, and Democracy. New York: Chatham House Publishers.
• Raaijmakers, Q.A.W., A.V. Hoof, H. Hart, T.F.M.A. Verbogt, and W.A.M. Vollebergh. 2000. Adolescent’ Midpoint Responses on Likert-type Scale Items: Neutral or Missing Values? International Journal of Public Opinion Research 12(2): 208-215.
• Voogt, R.J.J. and H.V. Kempen .2002. Non-response Bias and Stimulus Effect in the Dutch National Election Study. Quality & Quantity. 36:325-345.
• West, B.T. and R.R. Andridge. 2023. Evaluating Pre-election Polling Estimates Using a New Measure of Non-ignorable Selection Bias. Public Opinion Quartelyr 87 (S): 575-601.