● 한국갤럽은 우리 언론에 한국조사연구학회 여론조사 보도 지침 준수를 간곡히 당부합니다.
여론조사 보도 지침
→ 출처: 한국조사연구학회
언론인과 여론조사자가 정보를 수집하기 위해 가장 흔히 사용하는 도구가 바로 질문이다. 여기 제시하는 것은 언론인이 여론조사 결과를 보도하기 전에 여론조사자에게 물어 보아야 할 20가지 질문이다. 이것은 여론조사 실시방법에 관한 입문서가 아니라, 현역 언론인들이 여론조사 보도를 좀 더 전문적으로 할 수 있도록 도와주기 위한 것이다.
언론은 '과학적인' 여론조사만을 보도해야 한다. 여기 제시된 많은 질문은 어떤 여론조사가 보도할 가치가 있는 과학적 조사인지 아니면 가치가 없는 비과학적 조사인지를 결정하는 데 도움을 줄 것이다. 비과학적인 사이비 조사가 많은데 이런 조사는 간혹 재미는 있을지 몰라도 전혀 의미가 없다. 말하자면 수신자부담 전화를 이용해 참여하는 전화조사, 거리에서 아무나 잡고 하는 조사, 대부분의 인터넷 여론조사, 쇼핑몰 여론조사 등이 그런 예다.
과학적인 조사와 비과학적인 조사의 두드러진 차이는 누가 응답자들을 선정하는가 하는 점이다. 과학적 조사의 경우는, 여론조사자가 응답자를 규정하고 찾는다. 비과학적인 조사의 경우에는, 대체로 응답자들 스스로가 조사대상자가 되어 자발적으로 의견을 개진한다.
제대로 이루어진 과학적 여론조사는 응답자들뿐만 아니라 그 보다 훨씬 더 많은 사람들의 의견까지 알 수 있는 믿을만한 정보를 제공한다. 심지어는 전체 국민의 의견까지도 알 수 있다. 반면에 비과학적 조사는 단순히 응답자들의 의견을 말해 줄 뿐 그 이상의 어떤 정보도 제공하지 않는다.
언론인들은 여기 제시된 20개 질문을 통해 올바른 여론조사 보도를 위해 필요한 핵심 정보를 구할 수 있을 것이다.
2000년 3월 23일
한국조사연구학회 초대 회장 홍두승
●● 여론조사 보도에서 언론인이 던져야 할 20가지 질문
1. 누가 여론조사를 했는가?
2. 누가 여론조사의 비용을 지불했으며, 조사의 목적은 무엇인가?
3. 조사응답자의 수는 몇 명인가?
4. 조사대상자들을 어떻게 선정했는가?
5. 조사대상자의 모집단을 어떻게 규정하고 있는가? 조사대상자를 어느 지역 혹은 어떤 집단에서 구했는가?
6. 여론조사 결과는 모든 응답자의 대답에 근거하여 산출한 것인가?
7. 응답률은 얼마인가?
8. 언제 여론조사를 했는가?
9. 어떤 조사 방법을 사용했는가?
10. 인터넷이나 웹상에서의 여론조사는 믿을만한 것인가?
11. 여론조사에서 표집오차란 무엇인가?
12. 누가 선두인가?
13. 조사 결과를 왜곡시키는 요인으로는 또 어떤 것이 있는가?
14. 어떤 질문을 사용했는가?
15. 어떤 순서로 질문했는가?
16. 여론조사를 가장한 '푸시 폴(Push Poll)'은 어떻게 해야 하는가?
17. 동일한 주제에 관한 다른 조사들이 있었는가? 그 조사들도 같은 결과를 보여주는가? 다르다면, 왜 다른가?
18. 묻고자 하는 질문은 모두 물었다. 대답 또한 매우 그럴 듯 해 보인다. 그렇다면 그 조사는 정확한 것이라고 생각할 수 있나?
19. 잠재적 문제가 있음에도 불구하고 조사 결과를 보도해야 하는가?
20. 이 여론조사 결과는 보도할 만한 가치가 있는가?
1. 누가 여론조사를 했는가?
우선 누가 여론조사를 실시했는가를 알아야 한다. 이를테면 조사를 실시한 주체가 정당, 연구소, 전문 여론조사기관 혹은 기업인지를 먼저 파악해야 한다. 조사자의 신원을 알 수 없다면 여론조사 결과와 관련한 여러 질문을 물을 수 없게 된다. 조사자가 누구인지를 알려주지 않는다면 조사의 신뢰성이나 정확성을 의심해야 할 것이다. 대부분의 유력한 여론조사 기관들은 조사과정에서 발생할 수 있는 오류를 최대한으로 줄이려는 노력을 기울였음을 공개함으로써 좋은 평판을 얻고자 하므로 조사 결과를 평가하는 데 필요한 다양한 정보를 제공해 준다.
2. 누가 여론조사의 비용을 지불했으며, 조사의 목적은 무엇인가?
누가 여론조사의 비용을 지불했는지를 알아야 한다. 그래야만 누가 이런 질문을 궁금하다고 여겨 비용까지 지불하면서 조사하고자 했는지를 알아낼 수 있으며, 이는 언론인이나 독자들이 조사 결과의 의미를 파악하는 데 도움을 준다.
여론조사는 나름의 목적을 달성하기 위해서 실시된다. 여기서 목적이란 어떤 작업을 수행하는 데 필요한 정보를 얻기 위한 것일 수도 있으며, 혹은 어떤 주장을 펴기 위한 것일 수 있다. 실제로 언론사는 좋은 기삿거리를 얻기 위해서, 정치인은 선거에 당선되기 위해서, 기업은 새로운 제품의 판매촉진을 위해서 그리고 이익집단은 여론을 환기해 특정한 이해를 증진하기 위해서 여론조사를 한다.
여론조사의 목적이 조사 결과의 타당성을 훼손시킬 만큼 부당한 것이라면 보도 여부를 신중하게 검토해야 한다. 선거운동 과정에서 특정인을 홍보하기 위한 수단으로 진행되는 여론조사는 오직 그 후보가 선거에서 승리하도록 하기 위해 매우 편향된 질문과 비과학적인 표집 방법을 사용하기 때문이다. 게다가 이런 조사는 새로운 선거구호와 상대방에 대한 비방의 효과를 시험하고 선거쟁점을 개발하는 수단으로 이용되고 있으며 따라서 조사 결과 또한 왜곡될 수 있으므로 각별한 주의를 기울여야 한다.
이익단체가 실시한 여론조사를 보도할 때에도 조심해야 한다. 예를 들어 어떤 환경단체가 자체적으로 여론조사를 실시한 결과 대다수 국민은 매우 강경한 환경보호 정책을 선호하고 있음을 발견하고 이를 대대적으로 홍보한다고 할 때, 뚜렷한 목적을 지닌 특정한 이익단체가 여론조사를 했다는 점에 유의할 필요가 있다. 이 경우 질문의 어법, 여론조사의 시점, 조사대상자의 선정, 그리고 질문항목의 배열순서 등을 결정하는 과정에서 편견이 개입되었을지도 모르기 때문이다. 특정 단체의 주장을 홍보하는 위한 것이 아니라 일반인의 의견을 정확히 반영하기 위해 조사 결과를 보도한다는 언론인의 사명을 명심할 필요가 있다.
3. 조사응답자의 수는 몇 명인가?
여론조사에는 다른 모든 조건이 동일할 경우 조사응답자의 수가 많을수록 표집 과정에서 생기는 오류는 적어진다. 그러나 응답자의 수가 많다고 무조건 좋은 것이 아니라는 점에 유의해야 한다. 응답자 규모가 클수록 표집오차가 작아지기는 하지만 여론조사의 신뢰도에 영향을 미치는 많은 요인이 있음을 알아야 한다.
4. 조사대상자들을 어떻게 선정했는가?
여론조사 결과의 정확성을 평가하는 가장 중요한 기준은 조사대상자가 무작위로 선정되었는지 여부라고 하겠다. 과학적 여론조사를 수행하는 조사자라면 조사대상자를 선정하기 위해 확률이론에 근거한 특정한 표집 방법을 사용하지만, 비과학적 여론조사에서는 원하는 사람들이 자발적으로 조사에 참여하도록 허용한다.
과학적 조사를 위한 표집 방법은 통계학적 원리를 수용하고 있는데, 표집 과정에서 가장 중요한 원칙은 모집단에서 표본으로 선정될 확률을 알아야 한다는 것이다. 그래야만 표본을 대상으로 한 조사 결과를 모집단으로까지 확대하여 해석할 수 있다. 이러한 과정을 거쳐 만들어진 표본을 무선표본 혹은 확률표본이라 하며, 이런 표집 방법을 채택함으로써 성인 1,000명을 대상으로 한 조사를 통해 우리나라의 4천만 명 이상이 되는 성인들의 의견분포를 추론해 볼 수 있는 것이다.
여론조사를 위한 표본을 추출하기 위해서 다양한 방식을 채택할 수 있다. 예를 들어, 전화조사의 표집을 위해서 무선으로 추출된 전화번호를 그대로 이용하지 않고 응답률을 높이기 위해서 실제로 사용되고 있는 전화번호의 목록을 사용하는 경우가 있다. 등록된 모든 전화번호에 근거해서 추출한 표본과 실제 사용되고 있는 전화번호들 이용한 표본이 동일하지 않다. 무선표집을 시도했다고 해서 모집단을 완벽하게 반영하는 것은 아니다. 전화가 없는 사람, 대답을 거부하는 사람, 조사 당시 집을 비운 사람들이 있기 때문이다.
5. 조사대상자의 모집단을 어떻게 규정하고 있는가? 조사대상자를 어느 지역 혹은 어떤 집단에서 구했는가?
조사대상자들이 어느 지역 혹은 어떤 집단에서 추출되었는지를 알아야 한다. 표본이 전국의 모든 성인 중에서 추출되었는지, 혹은 오직 특정한 도나 시에서 추출되었는지, 또는 특정한 집단에서 추출되었는지를 꼭 알아야 한다. 예를 들어 사업가들을 대상으로 한 여론조사는 사업가들의 의견을 반영할 수 있을지언정, 모든 성인의 의견을 반영하지는 못한다. 그러므로 조사대상자들이 전국의 모든 성인으로부터 추출되었을 때에만 조사 결과가 전국의 모든 성인의 의견을 반영하는 것이라고 말할 수 있다.
전화 조사의 경우 모집단은 전화가 있는 집에 거주하는 사람들이다. 따라서 빈민이나 노숙자들의 견해에 관한 여론조사를 하고자 한다면, 전화조사는 적합한 자료수집 방법이 아니다. 과학적인 표집 절차를 따랐다고 해서 반드시 조사에서 의도했던 모집단을 조사했음을 의미하는 것은 아니라는 것이다.
선거에 관한 여론조사의 보도에도 모집단에 대한 이해가 필요하다. 모집단이 모든 유권자를 다 포함하는 것인지, 모집단에서 배제된 연령층, 지역, 직업집단은 없는지 등을 살펴보아야 할 것이다. 특히 특정 지역이나 투표 참여율이 높은 연령층의 유권자가 모집단에서 빠졌다면 이는 조사 결과에 중대한 영향을 미칠 수 있음을 알아야 한다.
6. 여론조사 결과는 모든 응답자의 대답에 근거하여 산출한 것인가?
여론조사 결과 가운데 특정한 하위집단 응답 결과만을 보도하는 방식은 지양해야 한다. 우리나라처럼 지역별 지지정당이 명확히 구분되는 경우에 어느 한 지역 유권자들의 응답만을 보도하는 것은 아무런 의미가 없다.
7. 응답률은 얼마인가?
조사대상자 모두를 조사하는 경우는 드물다. 응답을 구하지 못한 조상대상자가 나오기 마련이기 때문이다. 조사자가 응답률을 높이기 위해서 어떤 노력과 조처를 했는지를 알아야 한다. 조사대상자와의 접촉을 시도한 횟수와 기간 등의 정보가 확보되어야 한다.
조사대상자를 실제로 전부 조사하지 못한 데에는 여러 가지 이유가 있다. 예를 들어 조사대상자들이 조사를 거절하거나 조사자가 전화했을 때 아무도 집에 없을 수도 있다. 또한 조사대상자가 언어를 이해하지 못하거나 청력에 문제가 있어 응답을 구하지 못하는 경우도 있다.
8. 언제 여론조사를 했는가?
조사 기간에 일어나는 주요 사건들은 여론조사 결과에 중대한 영향을 미칠 수 있다. 따라서 이런 주요 사건들의 영향력을 고려하여 조사 결과를 해석해야 한다. 가장 최근에 실시된 여론조사 결과조차 이런저런 사건들에 의해 영향을 받을 수 있다. 조사 기간에 대통령이 국민에게 중대한 연설을 할 수도 있고, 주식시장이 붕괴하거나 유조선이 해변에 몇만 톤의 원유를 누출하는 사건이 발생할 수도 있는 것이다.
9. 어떤 조사 방법을 사용했는가?
여론조사는 대체로 면접, 전화, 우편을 통해 실시되는데, 현재 대부분 조사는 전화 인터뷰로 응답을 구하고 있다. 그러나 때에 따라서는 조사원을 직접 조사대상자의 가정으로 보내 면접을 한다. 우편조사의 경우에도 설문지를 받고 응답한 후 이를 회신할 조사대상자를 과학적으로 추출해야 한다.
우편조사의 가장 큰 약점은 우편조사를 하는데 보통 몇 주나 걸린다는 것이다. 우편조사는 전화조사에 비해 시의적절한 여론조사자료를 제공하지 못할 수 있다. 그리고 우편조사는 응답률이 낮기 때문에 조사 결과를 해석하는 데 신중을 기해야 한다.
쇼핑몰이나 상점, 또는 길거리에서 행해진 여론조사의 결과는 조사후원자에게 소용이 있을지 몰라도 뉴스로서는 별로 가치가 없다. 이런 조사로 사람들이 흥미를 갖는 이야깃거리를 만들어 낼 수는 있지만 이를 의미 있는 여론조사로 간주하여 보도해서는 안 된다.
컴퓨터기술의 진보는 전화를 걸어서 응답자에게 테이프에 녹음된 질문을 틀어준 후, 전화기의 숫자를 눌러 응답을 기록하는 전산화된 인터뷰 시스템의 발달을 가능케 했다. 그러한 조사는 응답자 선정을 통제할 수 없으며 응답률이 저조하다는 등의 문제점을 낳고 있다.
10. 인터넷이나 웹상에서의 여론조사는 믿을만한 것인가?
인터넷과 월드와이드웹의 확산으로 말미암아 다양한 형태의 온라인 여론조사가 등장하였다. 많은 온라인 여론조사는 오락적 요소를 지니고 있지만, 여론에 대해서는 아무것도 말해주지 않는다.
대부분의 인터넷 여론조사는 최근에 등장한 사이비 여론조사의 한 유형에 불과하다. 웹 조사를 하건, 수신자 부담 여론조사를 하건, 그 결과는 보도할 만한 가치가 없는 것이다. 모든 사이비 여론조사는 동일한 문제를 안고 있는데, 이는 응답자가 스스로가 조사대상자가 된다. 개인이 스스로 여론조사에 참여하므로 조사자의 조사대상자 선정과정이 생략되기 마련이다.
여론조사의 목적은 표본이 아닌 모집단에 대한 결론을 도출해 내는 것이라는 점을 기억하라. 이러한 사이비 여론조사는 그 결과를 더 큰 집단에 반영할 이론적 근거를 지니고 있지 못하다.
웹사이트의 투표란에 있는 특정 후보자 버튼을 누름으로써 온라인 여론조사의 특정 후보자 지지율 숫자를 올릴 수 있을지 모른다. 그러나 이런 유형의 온라인 조사는 응답자를 선정하거나, 한 이용자가 여러 번 투표하는 것을 제한하거나, 일반적으로 그 웹사이트를 방문하지 않는 사람들에게 접근하기 위한 노력을 전혀 기울이지 않는다.
결코 응답 수 규모에 현혹되어서는 안 된다. 어떤 경우에는 소수의 사람이 몇천 번 접속하는 경우가 있다. 50만 명이 인터넷에 접속하여 응답하였다고 하더라도 그러한 조사 결과는 별로 큰 의미를 지니지 못한다.
우편 쿠폰 여론조사도 나쁘기는 마찬가지다. 잡지나 신문에는 질문에 응답했을 경우 반송해 주는 쿠폰이 들어있다. 이 경우도 역시 누가 응답했는지, 한 사람이 몇 번이나 응답했는지를 알 수가 없다.
사이비 여론조사는 모금 활동에도 이용된다. 우편을 통해 응답자에게 각각의 후보자에 관한 견해를 묻고, 특정 후보나 정당에 후원금을 보내줄 것을 응답자에게 요청하는 기법은 정당과 특정 이익단체에서부터 자선단체에 이르기까지 다양한 조직에 의해 이용된다. 만약 여론조사가 자금 조달과 관련되는 것이라면 그 여론조사 결과는 아무 쓸모가 없는 것이다.
인터넷과 관련해서, 초기 단계이긴 하지만 온라인에 접근할 수 있는 사람들의 의견을 표집할 수 있는 방법들이 개발되고 있다. 비록 인터넷에 접근할 수 있는 사람들을 정확히 표집했다고 하더라도, 여전히 그 조사는 전 국민을 대상으로 한 여론조사가 아니다. 왜냐하면 아직 전국 성인 가운데 비교적 소수만이 인터넷에 접근 가능하기 때문이다.
11. 여론조사에서 표집오차란 무엇인가?
과학적으로 선정한 1,000명의 표본이라면 4천만이 넘는 한국인들의 의견을 거의 정확히 반영할 수 있다. 이것은 말하자면 1,000명을 대상으로 제대로 이루어진 조사라면 4천만 명 모두를 대상으로 한 조사와 비슷한 결과를 얻는다는 것이다. 그러나 만일 1,000명을 대상으로 제대로 한 다른 조사가 처음 조사와 조금 다른 결과를 보여준다면 어떻게 되는가? 그 둘 중 어느 조사도 틀린 것은 아니다. 이처럼 있을 수 있는 차이의 범위를 표집에 의한 오차라고 하는데, 흔히 오차한계라고 부른다.
여기서 '오차'는 실수를 범한다는 의미의 오류가 아니다. 그보다는 표본을 사용하는 여론조사에서 그 결과는 근사치일 수밖에 없는데 그 근사치의 가능한 범위를 나타낸다. 여론조사자는 표본에 입각한 조사 결과의 확실성 정도를 '신뢰도 수준'으로 표현한다. 이것은 말하자면 표본을 통해 얻은 결과가 전체 모집단을 대상으로 조사했을 경우 얻게 될 결과의 일정한 범위에 속할 확률을 의미하는데, 보통은 95%의 신뢰도를 사용해 그러한 판단을 내린다.
예를 들어, 전국적 규모의 어떤 여론조사에서 오차한계가 ±3%포인트라는 말은 만일에 전국의 모든 성인을 대상으로 같은 시기에 같은 방법으로 동일한 질문을 조사했다면, 그 여론조사의 결과가 모집단 값의 ±3%포인트 내에 속할 가능성이 95%임을 의미한다.
이는 응답자들이 여론조사에 협조적이었는지, 질문을 잘 이해했는지, 또는 다른 방법론적 문제가 있는지 등과는 아무런 상관이 없다. 표집오차는 전체모집단 대신 표본을 사용하는 데서 오는 오차로, 여론조사의 온갖 잠재적인 오류 가운데 하나일 뿐이다. 표집오차는 응답 거부나 인터뷰가 여의치 않은 사람들에 대한 정보는 전혀 제공하지 않는다. 또 질문을 어떻게 하느냐에 따라서 그리고 인터뷰 도중에 조사원이 어떻게 하느냐에 따라서 응답이 달라질 수 있는데, 표집오차는 이런 것에 대해서는 아무것도 말해 주지 않는다.
표집오차는 조사 결과의 모든 수치에 각각 적용된다는 사실을 명심해야 한다. 위의 예를 들면, 수치 하나하나에 대해 적어도 ±3%포인트의 오차가 있다는 것이다. 그래서 대통령선거에 관한 여론조사에서 후보자가 2명이면 표집오차는 두 사람 모두에게 적용되는 것이다.
12. 누가 선두인가?
표집오차는 여론조사 결과 보도에서 가장 성가신 문제 중의 하나를 제기한다. 즉, 경마식 보도에서 언제 한 후보가 다른 후보를 정말로 앞섰다고 할 수 있는가이다. 만일 두 후보 간 격차가 오차한계보다 작다면 한 후보가 다른 후보를 앞섰다고 말해선 안 된다는 것이 확실하다. 대신에 '접전을 벌인다', '대체로 비슷하다', '후보들간에 별로 큰 차이가 없다'고는 말할 수 있다. 그렇지만 그 두 후보의 지지율이 같지 않는 한, 결승점에 동시에 도착한다고 말 할 수는 없다.
한편 확실한 것은, 후보자가 두 명이고 부동층이 없을 경우 두 후보 간의 격차가 오차한계의 두 배(위의 예를 들면 6%포인트) 이상이면 한 후보가 다른 후보를 확실히 앞섰다고 자신 있게 말할 수 있다. 두 후보 간의 격차가 오차한계보다는 크지만 두 배 미만일 경우는, 한 후보가 '앞서고 있다'라거나 '유리하다'고 말해야 할 것이다. 또한 다른 후보가 앞설 약간의 가능성도 있다고 언급해야 한다.
그러나 실제 현실에서 보듯이 후보자가 둘 이상이고 부동층이 있을 경우, 문제는 좀 더 복잡해진다. 해결책은 통계적으로는 복잡하지만 오차한계를 예측함으로써 상황을 상당히 쉽게 평가할 수 있다. 이는 각 후보의 지지율을 전체 응답자 수로 (적절하다고 판단되면 투표 의사가 있는 유권자들만의 수로) 곱함으로써 가능하다. 이를 통해 얻은 숫자가 판단하게 될 새로운 표본의 크기다. 통계표에서 이 작은 표본에 해당하는 표집오차를 찾아서 해당 후보의 지지율에 적용하라. 이렇게 새로운 오차를 적용한 각 후보자의 지지율이 서로 겹치면, 어느 한 후보가 앞섰다고 말할 수 없다. 그러나 겹치지 않으면 한 후보가 앞섰다고 판단할 수 있다.
또한 주의해야 할 것은 여자, 농민, 청년 등 하위집단의 결과를 보고할 때에는 그 수치들에 대한 표집오차가 전체표본을 대상으로 한 오차보다 더 크다는 사실이다.
13. 조사 결과를 왜곡시키는 요인으로는 또 어떤 것이 있는가?
표집오차는 여론조사를 부정확하게 만드는 한 가지 요인일 뿐이다. 그것이 반드시 여론조사의 오류를 가져오는 가장 큰 원인은 아니다. 표집오차를 사용하는 이유는 그것이 수량화할 수 있는 유일한 오차이기 때문이다. 또한 다른 조건이 동일하다면 여론조사 결과 간의 차이가 통계적으로 의미 있는지를 판단하는 데 유용하다.
질문유형과 질문순서도 흔히 왜곡의 원인이 된다. 부적합한 조사원 훈련과 관리, 자료 처리상의 오류, 그리고 다른 운영상 문제들 또한 오류를 야기한다. 일반적으로 이런 문제는 전문적인 여론조사보다 일반 지원자들에 의해 이루어지는 신뢰도가 낮은 조사에서 나타날 가능성이 크다.
한편, 여론조사 결과에 가중치가 적용되었는지를 꼭 물어보아야 한다. 표본의 선정 확률이 동등하지 않은 경우에, 또 표본의 인구통계적 특성을 전체모집단의 분포와 비슷해지도록 하기 위해 약간의 조절이 필요한 경우에는 가중치가 적용된다. 그러나 가중치를 부당하게 적용함으로써 여론조사 결과를 원하는 방향으로 조작할 수도 있음을 알아야 한다. 어떤 경우에는 가중치 적용이 적절하지만 어떤 경우에는 그렇지 않다. 과학적 여론조사에 가중치를 부여하는 것은 불균등한 확률을 반영하기 위한 경우와 독립적 수치 즉 상수로 조절하기 위한 경우에만 적용해야 한다.
14. 어떤 질문을 사용했는가?
여론조사 질문의 정확한 어법과 표현방식을 알아야 한다. 왜냐하면, 질문의 어법과 표현방식에 따라 결과가 크게 다를 수 있기 때문이다. 아마도 여론조사 질문을 검증하는 가장 적절한 방법은 그 질문에 대한 자신의 반응일 것이다. 그 질문이 공정하고 편견이 없는가? 질문에 대한 답이 빠짐없이 제시되어 있는가? 대부분의 사람이 그 질문에 응답할 수 있는가? 등을 물어본다.
질문내용이 아주 민감한 것이라면 질문 전체를 기사 속에 포함하는 것이 좋다. 그런 민감한 문제들은 다른 기관의 조사 결과와 비교해 보는 것도 가치가 있다. 이때 질문의 정확한 표현과 질문에 대한 결과를 모두 주의 깊게 검토해야 한다.
15. 어떤 순서로 질문했는가?
때때로 질문순서가 결과에 영향을 미칠 수 있다. 그 영향은 종종 의도적인 경우도 있고 그렇지 않은 경우도 있다. 질문순서의 영향은 대개 포착하기 힘든 경우가 많다.
예를 들어, 경제적으로 어려운 시기에 대통령의 인기도를 묻기 전에 경제에 관해 어떻게 생각하는지 물었다면, 그 반대의 순서로 질문했을 경우보다 대통령의 인기도는 아마 낮게 나올 것이다. 반대로 경제적 호황기에는 그 반대의 결과가 나올 수 있다.
여기서 중요한 것은 핵심질문 앞에 제시된 질문들이 조사 결과를 좌우할 수 있는가 하는 점이다. 만일 성범죄자의 공개 여부를 묻는 말에 앞서 미성년자 매춘에 대해 질문한다면 이것은 다음 질문의 결과에 영향을 줄 수 있을 것이다.
16. 여론조사를 가장한 '푸시 폴(Push Poll)'은 어떻게 해야 하는가?
최근에 일부 정치집단이나 이익집단이 반대자에 대한 소문이나 심지어는 공공연한 거짓을 퍼뜨리기 위해 "푸시 폴"(Push Poll)이라는 기법을 사용하는 경우가 많아졌다. 이것은 여론조사가 아니라 여론조사를 가장한 정치적 조작이다.
'푸시 폴' 조사는 많은 사람에게 전화를 걸어 어떤 목적을 지닌 조사에 참여할 것을 요구하는 것이다. 그 조사의 질문들이란 알고 보면 경쟁자에 대한 비난이거나 개인적 또는 직업적 행위에 관한 소문들이다. 여기서는 응답자의 의견을 구하는 것이 목적이 아니라 질문을 통해서 응답자들이 그러한 비난과 소문을 분명히 듣고 알도록 하는 것이 목적이다.
'푸시 폴' 조사는 비윤리적인 것으로서, 선거캠페인의 일환으로 행해지는 다른 합법적인 여론조사와는 구분해야 한다. 선거캠페인 조사에서 때로는 후보자들의 상반된 정치적 입장을 물을 수도 있고, 또 때로는 한 후보에 대해 부정적인 측면을 포함해서 다양한 질문들을 할 수 있다. 이러한 질문들은 특정 후보의 입장이나 경력에 대해서 일반 공중의 반응을 알아내고자 하는 정당한 질문들이다.
합법적인 여론조사와 '푸시 폴' 조사는 일반적으로 다음과 같이 구별할 수 있다.
1) 전화의 횟수: '푸시 폴' 조사는 대부분의 여론조사에 비해 엄청나게 많은 전화를 한다.
2) 전화 송신자의 정체: 과학적 여론조사는 대개 여론조사 회사가 맡아 하지만, '푸시 폴' 조사는 텔레마케팅 회사나 선거캠페인 당사자들이 실시한다.
3) 허위 정보를 퍼뜨리는 것이 목적인 '푸시 폴' 조사에서는 당연히 진실한 자료 수집이 있을 수 없다.
17. 동일한 주제에 관한 다른 조사들이 있었는가? 그 조사들도 같은 결과를 보여주는가? 다르다면, 왜 다른가?
신문사나 방송국, 여론조사 회사, 또는 심지어 상대 후보자에 의해 시행된 여론조사의 결과도 점검하고 자신이 얻은 조사 결과와 대조해 보아야 한다. 만일 조사 결과가 다르다면 우선 조사시기를 확인하라. 조사시기가 다르다면 그 상이한 결과는 여론의 변화를 나타내는 것일 수도 있다. 조사시기가 같다면 각각의 조사기관에 그 차이에 관한 설명을 요구하라. 상반된 조사 결과는 종종 좋은 기사를 만든다.
18. 묻고자 하는 질문은 모두 했다. 대답 또한 매우 그럴 듯해 보인다. 그렇다면 그 조사는 정확한 것으로 생각할 수 있나?
대체로 그렇다. 그러나 확률이론에 따르면 스무 번의 조사 결과 가운데 한번은 바로 표집오차 때문에 공중의 실제 의견과는 다른 결과를 얻을 수 있다는 점을 명심하라. 또한 조사가 아무리 잘 되고, 후보 간의 차이가 크게 나고, 표본이 크다 할지라도 특정 후보의 승리가 확실해진 것은 아니라는 사실을 명심해야 한다. 정치란 살아 있는 생물로서 상황은 자주 그리고 극적으로 바뀐다. 선거에 출마한 후보자들이 끝까지 선거운동을 하는 이유도 여기에 있다.
19. 잠재적 문제가 있음에도 불구하고 조사 결과를 보도해야 하는가?
그렇다. 왜냐하면 명성 있는 조사기관이라면 대체로 일을 믿을 수 있게 하기 때문이다. 여러 가지 어려움에도 불구하고 제대로만 실시된다면 여론조사는 여전히 공중의 의견을 객관적으로 측정하는 최고의 방법이다.
20. 이 여론조사 결과는 보도할 만한 가치가 있는가?
조사가 올바르게 수행되었고 지금까지 여기서 설명한 정보를 귀하가 입수할 수 있다면, 다른 기사와 마찬가지로 귀하와 편집책임자의 뉴스 판단기준을 여론조사에도 적용해야 할 것이다.