조사담(調査談)

● 2017년 발행 단행본 〈조사인으로 살다: 박무익 회고록〉에서 발췌

한계와 오해

지금까지 앞에서도 여러 번 언급했지만, 국회의원 선거 예측은 대통령 선거나 지방 선거보다 훨씬 어렵다. 한국갤럽은 과거 몇 차례 시도한 출구조사에서 성공과 실패를 경험했으나, 2000년 제16대 국회의원 선거를 끝으로 출구조사를 하지 않고 있다. 처음에는 출구조사에 부정적인 나의 고집 때문에, 나중에는 타사에 비해 출구조사 실전 경험이 부족해 컨소시엄 참여가 어려워진 것이 솔직한 이유다.

우리 연구원들은 선거 때마다 출구조사 컨소시엄에 참여하자고 제안도 하고 다른 회사의 출구조사 사례를 나름대로 연구하기도 했다. 그러나 나는 여전히 선거 예측에서 당락을 맞추는 것보다는 예측 오차를 줄이는 것이 중요하다는 입장이다. 출구조사는 선거 당일 방송사 보도 목적으로만 할 수 있다. 그보다는 선거뿐 아니라 상시적인 여론조사에 가장 많이 활용하는 전화조사방법론을 개선하는 데 역량과 투자를 집중하는 것이 낫다고 생각하기 때문이다. 지금도 출구조사에 대한 나의 기본 입장은 변함없지만, 아쉬워하는 연구원들을 보면 그들의 의욕을 가로막았나 싶어 좀 겸연쩍기도 하다.

2002년 제3회 지방 선거부터 선거 예측 정확도 면에서 출구조사는 전화조사를 넘어섰다. 방송사들은 개표 방송의 성공을 위해 출구조사에 비용 투자를 점진적으로 확대했다. 2004년 제17대, 2008년 제18대 국회의원 선거에서는 전화조사와 일부 선거구 출구조사를 병행했으나, 2012년 4월 11일 제19대 국회의원 선거 예측을 위해서는 방송3사가 60억 이상을 공동 투자해 최초로 246개 전 선거구에서 출구조사를 했다.

결론부터 말하면 제19대 국회의원 선거 예측은 ‘헛발질’이라고 비난받을 정도로 형편없지 않았고 방송3사가 거액을 투자한 만큼 성과도 향상됐다. 17개 선거구에서 당선자를 맞추지 못했으나 이는 역대 최소이며, 당선자 기준 예측 오차 평균 역시 1.9%포인트로 역대 최소다. 당선자 예측에 실패한 17개 선거구의 예측 오차는 평균 2%포인트, 대부분 3%포인트 이하다. 2%포인트 오차는 1, 2위 득표율 차이가 4%포인트일 때 순위가 바뀔 수 있음을 의미하는데, 1, 2위 득표율 차이가 4.5%포인트인 강원 춘천을 제외한 나머지 16개 선거구는 4%포인트 이하의 경합 지역이었다. 다만 예측 실패 선거구 17개 중 14개에서 예측과 달리 새누리당 후보가 당선함으로써 나타난 예측 편향이란 해결 과제를 남겼다.

2016년 4월 13일 제20대 국회의원 선거 때도 방송3사는 253개 전 선거구 공동 출구조사를 했다. 총선에서는 처음으로 이뤄진 사전투표 등 장애 요인이 적지 않았으나 이전의 시행착오를 통해 보완한 것으로 보였다. 접전 지역에서 특정 정당 당선 쏠림 현상도 적어 큰 오류는 피했다. 그러나 선거 1주일 전까지 발표된 지역별 사전조사를 토대로 대다수 언론은 새누리당 과반 의석 확보를 예상했다. 그와 달리 개표 결과는 더불어민주당 123석(지역구 110석, 비례 13석), 새누리당 122석(105석, 17석), 국민의당 38석(25석, 13석), 정의당 6석(2석, 4석), 무소속 11석으로 16년 만의 ‘여소야대’ 국회가 됐다. 의석 수는 공동 출구조사를 한 방송3사 중 KBS와 MBC의 예측 범위에 들었으나, 전반적으로는 ‘1당 예측 실패’로 비쳤다. 사전조사와 판이한 결과를 낸 지역구가 화제로 떠오르며 또다시 ‘여론조사 무용론’ 주장이 거세게 일었다.
정말 그럴까? 선거 예측과 출구조사에 대한 투자는 의미도, 효과도 없단 말인가? 한국갤럽은 최근 총선 예측과 출구조사에 참여하지 않았지만, 조사인의 입장에서 몇 가지 오해를 해명하고자 한다.

첫째, 역대 총선 후에는 늘 ‘이번 선거에는 박빙 지역, 초접전 지역이 많았다’는 식의 기사가 뒤따랐다. 이는 상대적으로 선거 예측 적중률이 낮은 총선 특성상 방송사나 언론의 면피용(免避用) 핑계일 수도 있겠고, 실제로 많은 관심 선거구에서 1, 2위 득표 차가 작은 데 기인한다. 역대 총선에서는 평균적으로 50개 내외의 선거구가 5%포인트 내에서 경합했고, 2%포인트 이하 초경합 지역은 20개 내외로 거의 비슷했다. 1, 2위 간 득표율 차이가 2%포인트라면 1%만 잘못 예측해도 순위가 바뀔 수 있다. 1, 2위 격차가 5%포인트일 때는 2.5% 잘못 예측하면 순위가 바뀐다. 총선에서 5%포인트 이내 경합 선거구가 항상 50개 내외라는 점은 전 선거구 예측 적중을 기대하기가 거의 불가능함을 의미한다. 선거 당일 출구조사가 아무리 대규모라 해도 결국은 표본조사다. 사전 전화조사 역시 마찬가지다. 선거 예측은 표본조사 데이터를 바탕으로 한다. 결국 예측은 표본조사의 한계를 넘을 수 없다.

둘째, 출구조사보다 더 많은 문제를 노출한 것은 사전 전화조사다. 선거 당일 하루만 대규모로 하는 출구조사에 비해 전화조사는 매우 다양한 상황 변수의 영향을 받는다. 조사 주체와 목적도 다양하다. 전화조사 표본 프레임의 한계도 더해진다.
2016년 기준으로 유선전화(집전화)는 두 집 중 한 집 수준에 불과하다. 실제 사용률은 그 절반에 그친다. 즉 전체 가구의 1/4 정도만 유선전화로 접근 가능한 상황이니 유선전화가 전체 유권자를 대표하지 못함은 너무도 자명(自明)하다. 일정 비용을 투자해서 RDD(random digit dialing) 시스템을 구축하면, 유선전화는 지역 고유 국번을 기반으로 17개 시도 접근이 가능하다.
우리나라에서 사용되고 있는 무선전화(휴대전화) 번호 수는 이미 인구수를 넘어섰다. 무선전화번호부라는 표본 프레임은 존재하지 않지만, RDD 시스템으로 유효번호에 접근할 수 있다. 유선전화보다 모집단 포함률(coverage)이 높다. 그러나 무선전화번호만으로는 지역을 알 수 없기 때문에 전국 조사에 한해서만 유용하다. 비교적 인구 수가 많은 서울, 경기도, 경상도, 전라도 등 광역자치시도 조사에는 어느 정도 접근 가능하다. 다만 전국 조사에 비해 시간과 인력을 몇 배 더 투입해야 한다.
사정이 이러하니 국회의원 선거 지역구별 무선전화번호를 RDD 시스템으로 진행하기란 현실적으로 불가능하다. 대안으로 대규모의 자발적 가입 기반 인터넷 또는 스마트폰앱 패널을 보유한 회사에서 선거구별로 패널 가입자를 대상으로 조사하기도 한다. 이는 전화조사가 아니라 패널조사를 결합한 것으로 봐야 한다. 자발적으로 가입한 패널이 얼마나 모집단을 대표할 수 있는가도 문제다.

셋째, 여러 조사 결과를 인용하는 언론은 조사방법 차이를 고려하지 않고 결과만으로 시시비비(是是非非)를 따지는 경우가 많다. 한국갤럽은 오래전부터 ‘여론조사 보도에서 언론인이 던져야 할 20가지 질문(한국조사연구학회 보도지침)’을 조사 결과 발표 때마다 함께 고지해왔다. 안타깝게도 이를 주목하거나 준수하는 언론은 과거에도, 현재도 거의 없다.
2000년대 중반 이후 ARS(Auto Response System, 자동응답) 전화조사를 주로 하는 회사가 많아졌다. 일정 비용을 지급하면 직접 질문지를 작성하고 응답 결과를 집계할 수 있는 시스템 서비스를 제공하는 회사도 늘었다. 조사원이 직접 인터뷰하는 기존 전화조사 방식에 비해 비용이 저렴하다. 여론조사의 문턱이 낮아지며 조사회사가 난립하게 됐다. 이러한 업계의 양적(量的) 성장은 여론조사 전반의 질적(質的) 저하를 초래했다. 유권자들은 총선 기간 중 잦은 여론조사 전화에 시달렸고, 매일 쏟아지는 결과에 혼란이 가중됐다.

2014년 지방 선거를 앞두고 중앙선거관리위원회가 선거여론조사공정심의위원회(이하 ‘여심위’)를 구성했다. 여심위 홈페이지에 언론 공표용 선거 후보나 정당 지지도 관련 조사의 진행 내역과 결과를 반드시 등록하도록 했다. 조사인 입장에서는 이전에 없던 절차가 생겨 번거롭게 됐다. 하지만 조사 내역과 결과를 상세하게 공개하면 조사 품질의 우열(優劣)이 가려지리라 내심 기대했다.
그러나 시간이 흐르면서 여심위에 등록되는 조사들의 면면(面面)은, 적어도 한국갤럽의 기준으로 볼 때 오히려 하향 평준화됐다. 여심위 홈페이지는 언론 공표용 선거 관련 조사 내역을 소정의 가이드라인에 따라 공개하는 용도다. 품질의 좋고 나쁨은 보는 사람이 판단해야 한다. 하지만 그 판단이 조사 전문가의 영역이다 보니 일반인이나 기자들은 ‘공공기관인 여심위 등록 조사=별 문제 없는 조사’로 오인(誤認)하고 있다.

여심위 출범 후 몇 년에 걸쳐 선거 조사 가이드라인도 여러 차례 바뀌었다. 제20대 총선을 앞두고 정치권은 ‘휴대전화 가상번호(안심번호)’를 조사에 활용할 수 있게 했다. 일반 휴대전화 RDD 시스템으로는 접근할 수 없는 지역 선거구 조사를 위해 이동통신사로부터 지역 정보를 포함하되 일정 기간만 유효한 휴대전화 가상번호를 유료로 공급받아 조사할 수 있게 한 것이다. 문제는 이 휴대전화 가상번호를 정당, 즉 정치권만 활용할 수 있게 한 점이다. 많은 언론 기사를 통해 사람들은 휴대전화 가상번호를 활용한 조사가 좀 더 믿을 만하다고 인식하게 됐지만, 대다수의 언론 공표용 조사를 하는 조사회사들은 쓰고 싶어도 쓸 수 없었다¹⁾.

새로운 조사방법을 도입할 때는 매우 신중하고도 면밀한 검토가 필요하다. 그런데 이동통신사의 휴대전화 가상번호 정보가 얼마나 정확한지, 모집단을 어느 정도 대표할 수 있는지, 순수한 휴대전화 RDD 시스템으로 진행한 조사와 어떤 차이가 있는지에 대한 연구가 전무한 상황에서 갑작스레 시도되었다는 점을 지적하고 싶다. 휴대전화 가상번호 활용은 정치권 주도로 논의의 테두리 안으로 성큼 들어온 반면, 여심위 가이드라인에 규정되지 않은 연구 목적의 선거 조사 기회는 원천적으로 봉쇄된 점 또한 아쉽다.

넷째, 언론에 마지막으로 공표되는 사전 전화조사는 선거일 1주일 전에 한 것이므로 실제 개표 결과와 다를 수밖에 없다. 상당수 유권자는 선거일이 임박해서야 어디에 투표할 것인지 마음을 결정한다. 투표율도 100%가 아니어서 사전조사에 응답한 사람이 모두 실제로 투표소에 가는 것도 아니다.
사전 전화조사 결과는 그 시점의 상황이나 그때까지의 흐름을 보여줄 뿐이지, 선거 당일 투표율까지 예측해 반영한 것이 아니다. 하지만 선거 개표 후 언론이나 많은 유권자는 사전조사의 1위 후보와 실제 당선자가 일치하지 않으면 ‘조사가 틀렸다’고 분개하곤 한다. 물론 총선 지역구 조사에서는 여러 조사회사의 동일 시점 조사 결과가 심한 차이를 보이는 경우도 종종 있다. 특히 20대 총선은 3당 체제여서 더 혼란스러웠을 수 있다. 한국갤럽 조사에 따르면 20대 총선 비례대표 투표 표심은 선거 2~3일 전에야 명확해졌다. 하지만 그때의 조사 결과는 언론 공표가 불가했기에 유권자들은 그 변화를 모른 채 개표 결과를 보고서야 놀랐던 것이다.

선거 예측과 사전 전화조사에 대한 비난은, 어떻게 보면 ‘여론조사에는 어느 정도 현실이 반영되어 있을 것’이란 믿음에서 비롯한 것인가 싶기도 하다. 생각해 볼 가치도 없는 것이라면 사람들이 그토록 의식하거나, 예측이 빗나갔을 때 심한 배신감을 느끼지는 않을 것이기 때문이다. 나 역시 여론조사의 한계를 잘 알면서도 이왕이면 우리의 예측이 적중하기를 누구보다 간절히 바란다.

모든 사람은 각자 저마다의 한계가 있다. 잘 모르는 사실에 대해서는 오해도, 억측도 할 수 있다. 조사인은 앞날을 내다보는 점쟁이가 아니다. 조사인의 임무는 지금까지 검증된 과학적 절차에 따라 여론을 측정해 보여주는 것임을 명확히 인식할 필요가 있다. 섣부른 비난에 휘둘리지 않고 오해에는 제대로 맞서기 위해, 어제보다 오늘 한 걸음 더 한계에 다가서기 위해 조사인은 조사 실무뿐 아니라 이론적으로도 단단히 무장해야 할 것이다.

__
1) 2017년 초에는 일반 조사회사도 조만간 휴대전화 가상번호를 쓸 수 있게끔 선거법이 개정됐다. 그러나 이번에 마련된 시스템은 기존 이동통신 3사 가입자에 한해서만 가상번호를 제공한다. 최근 몇 년간 급증해 전체 휴대전화 회선의 10% 이상을 차지하는 알뜰폰(MVNO) 서비스 가입자는 제외된다. 그런 점에서 올해 대통령 선거는 기존 RDD 시스템이 오히려 더 나은 접근법일 수 있다. 이동통신사가 제공하는 휴대전화 가상번호의 유용성은 아마도 2018년 지방 선거 때 검증 가능할 것으로 보인다.