● 2017년 발행 단행본 〈조사인으로 살다: 박무익 회고록〉에서 발췌
부끄러운 여론조사 보도
따르릉! “여기는 XX 여론조사회사입니다. 선생님께서는 어느 정당을 지지하십니까? A당이면 1번, B당이면 2번, … 을 눌러 주십시오.”
이렇게 녹음된 음성이 흘러나오는 여론조사 전화를 받아본 사람들이 많으리라 생각된다. 받자마자 전화를 끊는 사람이 100명 중 95명이다. 응답률 5% 이내. 이런 ARS(자동응답시스템) 조사에 대한 불신도 상당하다. 통계학을 배우지 않은 사람조차 전화를 끊어버린 95명의 여론은 어떨지 궁금해한다.
ARS 조사 결과도 언론에 발표될 때는 표본 수 1,000명, 95% 신뢰수준에 표본오차 ±3%포인트라고 쓰고 있다. 심하게 찌그러진 표본으로 구성된 조사의 표본오차를 이렇게만 표시하는 것은 난센스(nonsense)다. 실제 인구 분포에 맞춰 보정을 하더라도 원래 조사된 표본 편향이 심할 경우에는 여론을 제대로 반영하는 데 한계가 있기 때문이다.
ARS 조사들의 응답자 구성비를 보면 실제 인구 분포에 비해 고령층과 남성이 차지하는 비중이 높다. 또한 평균 이상으로 정치에 관심이 많거나, 특정 정당을 열성적으로 지지하는 사람들이 많을 것으로 추정된다. 여러 ARS 조사 결과로 미루어 볼 때 보수와 진보 양극단의 특성은 강하게 나타나는 반면 중도, 즉 중간 지대의 존재감은 상대적으로 미약하다. 더욱 유감스러운 것은 국내 언론에 보도되는 여론조사의 약 80%가 ARS 조사라는 점이다. 언론 보도에 ARS 조사 결과가 이처럼 많이 다뤄지는 나라는 없는 것으로 안다.
여론조사는 여론을 측정하는 수단이지 여론 그 자체로 받아들여서는 안 된다. 또한 모든 여론조사에는 오차가 있다. 따라서 그 결과를 인용하고 해석할 때는 자료 수집 방법이나 과정도 함께 살피는 식의 신중한 접근이 필요하다.
언론이 여론조사 결과를 인용 보도할 때는 먼저 그 조사가 조사의 기본을 지켰는가 따져보고 타당성과 신뢰성이 미흡하다면 쓰레기통에 던져야 한다. 그럼에도 불구하고 다소 의심스럽지만 나온 수치가 자극적인 기사가 될 것 같으면 그대로 기사를 쓴다는 기자들도 많이 본다. 이는 옐로 저널리즘(yellow journalism)에 빠진 우리 언론들의 안타까운 모습이다. 여론조사에 대한 무지(無知)나 직무 유기 때문에 우리 언론이 오보(誤報)를 내고 있다면 얼마나 슬픈 일인가?
한 예를 들어보자. 2015년 2월 새정치민주연합 당 대표로 문재인 의원이 선출됐을 즈음 한 ARS 조사 결과를 인용해 컨벤션 효과 등의 이유로 야당 지지도가 여당을 거의 따라잡고 있고 ‘여야 격차 초근접’이라는 식의 기사를 낸 언론이 많았다. 그러나 당시 한국갤럽 조사에서는 양당 지지도 격차가 여전히 10%포인트를 넘었고, 초근접이라 할 만큼 좁혀진 적이 없었다. 두 조사 결과를 성, 연령, 지역, 직업별로 상세히 비교해 보면 어떤 차이가 있는지 금방 알 수 있을 것이다.
또 다른 예는 이완구 총리 임명 찬반 여론과 관련해 충청도민이 하루아침에 이완구 총리 찬성으로 돌아섰다는 ARS 조사 결과를 인용한 기사다. 즉, 2월 11일 조사에서는 이완구 총리 임명에 대한 충청도민의 반대가 57.4%였으나 12일 조사에서는 반대가 31.2%로 낮아지고 찬성이 33.2%에서 66.1%로 올라가 무려 34.9%포인트 차이로 역전됐다고 했다. 이 무슨 여론조사의 곡예인가. 이 때문에 국내 언론들은 ‘야당조차 충청도민 여론을 의식해 적극적으로 반대할 수 없을 것’이란 해석을 내놓기도 했다. 만약 이 여론조사 때문에 이완구 총리 인준이 성사된 것이라면 불행한 일이다.
이런 엉터리 자(尺) 위에서 우리 언론이 춤춘다면 정밀 저널리즘(precision journalism)과 멀어도 너무 멀다고 하지 않을 수 없다. 최근 한 칼럼니스트는 정당 지지도가 하루에도 2~3%씩 널뛰는 조사 결과를 매일 생중계 식으로 보도하는 나라는 한국밖에 없다고 탄식했다. 무슨 정당 지지도가 고무줄인가. 만일 그런 결과가 있다면 그 변화는 표본이 찌그러진 ARS 조사에서나 있을 수 있는 비표본오차인 것이지 실제 여론의 변화라고 볼 수 없다.
ARS 조사의 또 다른 폐해는 일반 국민의 조사 협조도를 낮춘다는 점이다. ARS 조사는 값싸고 신속하게 수치를 얻을 수 있다는 점 때문에 10여 년 전부터 조사회사뿐 아니라 각 정당이 선거를 앞두고 후보자를 결정할 때 많이 이용하게 됐다. 그러나 ARS 조사의 응답률은 약 5% 내외로, 예컨대 1,000명의 응답을 얻기 위해서는 20,000명에게 전화를 걸어야 한다. 어떤 정당이 200개 지역의 후보 공천자를 결정하기 위해 ARS 조사 전화를 한다면 무려 400만 번 전화를 걸어 국민을 괴롭힌다는 뜻이다. 여기에 덧붙여 국회의원 선거 때는 200여 지역에 출마한 여러 입후보자가 각자의 이름을 홍보하기 위해 전 지역구민에게 수시로 전화하기 때문에 해당 지역 주민들은 선거 때만 되면 이른바 ‘ARS 전화 공해’에 시달린다.
또한 이 방식은 응답을 하다가 질문을 잘못 이해했거나 번호를 잘못 눌러 넘어가더라도 이를 다시 묻거나 정정할 수 없다. 초등학생이 재미 삼아 답하는 것도 막을 방법이 없다. 이런 상황이 시도 때도 없이 계속되면 사람들로 하여금 여론조사는 귀찮은 것, 무시해도 될 만큼 가치 없는 것으로 여기게 하고 불신을 조장해 우리나라 전체의 조사 풍토는 더 황폐해질 것이다.
2014년 7월 14일 우리나라 조사업계를 대표하는 조사회사 41개사로 구성된 한국조사협회(KORA)는 ARS 조사를 하지 않기로 결의했다. 나아가 우리 언론에도 비과학적인 ARS 조사 결과를 보도하지 말 것을 권고한 바 있다. 또한 조사 관련 학회인 한국통계학회와 한국조사연구학회도 같은 입장임을 밝혔다.
우리 언론은 언제까지 신뢰성이 의심스러운 ARS 조사를 이용함으로써 본의 아니게 독자나 시청자를 오도할 것인가? 이를 멈추지 않는다면 스스로 삼류 언론 혹은 기자임을 자백하는 셈이다. 지난 40여 년 조사인으로 살아온 나로서는 요즘 언론의 여론조사 보도를 보면 부끄럽다1).
__
1) 최근 빅 데이터 분석의 활용 사례와 가능성에도 관심이 집중되고 있다. 그러나 여론조사와 빅 데이터는 대체재가 아니라 상호보완재다. 여론조사가 부정확하기 때문에 과거에 누가 언제 어디서 무엇을 했는가 하는 조사가 필요 없다고는 할 수 없다. 시대가 바뀌어도 랜덤 샘플링에 근거한 여론조사 수치(figure) 자체의 고유 가치를 무시해선 안 된다. 사건의 발생과 시간 흐름에 따라 사람의 생각이나 태도, 즉 여론을 파악하는 수단으로서 여론조사는 여전히 유용하며 앞으로도 그럴 것이다.