대통령 직무수행평가, 척도와 재질문 여부에 따른 차이
한국갤럽은 대통령 직무 평가 질문 방식은 1987년 부활된 직선제로 당선한 노태우 대통령 취임 1년 차인 1988년부터 2019년 현재까지 동일합니다. 그렇기 때문에 30여 년 차이가 있음에도 노태우 대통령부터 문재인 대통령에 이르기까지 여러 대통령의 재임 기간 직무 평가 결과를 비교할 수 있습니다.
질문: 귀하는 ○○○ 대통령이 대통령으로서의 직무를 잘 수행하고 있다고 보십니까, 혹은 잘못 수행하고 있다고 보십니까? (긍정/부정을 답하지 않은 경우 재질문) 굳이 말씀하신다면 '잘하고 있다'와 '잘못하고 있다' 중 어느 쪽입니까?
- 잘하고 있다 / 잘못하고 있다 / 의견 유보(어느 쪽도 아니다, 모름·응답거절)로 응답 분류
한국갤럽은 조사원이 직접 인터뷰하여 응답받는 방식으로 조사하기 때문에 제시한 척도(보기) 이외의 응답이 불가능한 ARS(자동응답)나 온라인(웹)조사와 달리 정규 척도 이외의 응답이 허용됩니다. 한국갤럽의 직무 수행 평가는 '잘하고 있다, 잘못하고 있다'만을 제시하는 2점 척도 질문입니다. 둘 중 하나를 선택할 수 없을 때 응답자는 주로 '어느 쪽도 아니다, 잘 모르겠다'라는 반응을 보입니다. 이는 '비본질적 응답(non-substantive responses)'으로, 척도에 해당하지 않습니다.
재질문하는 이유는 어느 날 갑자기 접한 질문에 자신의 생각하는 바를 즉답하지 못하는 분이나, 단순히 생각하기 싫어서 모른다는 말로 넘어가는 분에게 한 번 더 생각할 시간적 여유와 기회를 부여하기 위함입니다. 재질문에서도 '어느 쪽도 아니다, 잘 모르겠다'고 하면 최종 응답으로 확정됩니다.
우리는 연구 목적으로 다른 질문 방식을 채택하는 연구자의 주장을 존중합니다. 그러나 이런 실험적 시도에서 얻어진 결과를 언론에 공표하는 것은 위험한 일입니다. 연구자가 아무리 다름을 강조한다 해도 오늘날 정치권이나 언론 환경은 그런 연구자의 당부에 귀 기울일 만큼 이성적이지 않습니다. 조금이라도 자기 진영에 유리하거나, 눈길을 끌어 클릭을 유도할 수 있다면 어떤 수치든 서슴지 않고 인용하기 때문입니다.
다음은 내일신문이 창간기념으로 2019년 9월 26일부터 10월 2일까지 조사하고, 10월 7일 공표한 조사 관련 기사입니다. 대통령 직무 긍정률이 타사보다 매우 낮게 나와 논란이 됐습니다('잘하고 있다' 32.4%, '못하고 있다' 49.3%, '잘 모르겠다' 18.3%). 10월 10일 내일신문은 이에 관하여 부연 설명했습니다만, 이미 다른 언론에 의해 왜곡 보도된 이후의 대응입니다.
→ [대통령 국정지지도 논란에 대하여] 조사 방식 달라 단순비교는 곤란
→ '잘 모르겠다' 문항 없는 국정지지도 조사의 비밀
그리고 위 기사 중 한국갤럽 조사를 오해할 만한 부분이 있어 바로잡습니다.
"...지문에 '잘 모름'을 넣는 이유는 실제 민심을 반영하기 위해서이다."
첫째,
한국갤럽은 직무 평가 질문에서 ‘잘 모르겠다’ 보기를 읽어주지 않지만, 첫 번째 질문에서 의견 유보('어느 쪽도 아니다/모르겠다') 비율이 내일신문이 이번에 발표한 18%(10월 1~2일 기준) 정도 됩니다. 이들 의견 유보자에게 재질문했을 때는 그 비율이 6%로 줄었습니다. 그러므로 내일신문 조사에서 ‘잘 모르겠다’ 비율이 많은 것은 응답자에게 보기를 제시해서(불러줘서)가 아니라 재질문을 하지 않아서라고 보는 편이 타당합니다.
참고로, 아래 데일리 오피니언 대통령 직무 수행 평가 첫 질문, 재질문 후 의견 유보 비율 추이를 제시합니다. 문재인 대통령 취임 초기인 2017년 6월부터 2019년 10월 둘째 주까지 매주 직무 평가 첫 질문에서의 의견 유보 비율은 평균 23%(최대 30%, 최소 15%), 재질문 후 의견 유보 비율은 평균 9%(최대 11%, 최소 6%)입니다.
역대 대통령 직무 평가에서 재질문까지 하더라도 의견 유보 비율은 시대적·정치적 상황에 따라 10% 미만에서부터 40%에 육박하기까지 달라져 유의미하게 해석되는 시기가 있었습니다. 질문 방식을 바꾸어 중간 척도를 넣거나, 재질문을 하지 않아 의견 유보 비율이 증가하면 직무 긍정률이나 부정률은 상대적으로 감소할 수밖에 없습니다.
둘째,
조사원이 직접 전화를 걸어 인터뷰하는 전화조사에서는 모든 질문에서 ‘잘 모르겠다’ 보기를 읽어주지 않습니다. 대통령 직무 평가뿐 아니라 모든 질문이 그렇습니다. 전화조사에서 상당수 질문은 문장 형태로 응답자에게 건네집니다. 정당명처럼 순서를 로테이션하여 보기를 하나씩 불러주는 경우도 있습니다만, 이때도 '잘 모르겠다'는 항목은 예외입니다.
응답자가 질문지를 눈으로 보지 않는 상황에서 잘 모르거나 즉답하기 어려운 사안에 모르겠다고 답하는 것은 자연스러운 대화의 흐름입니다. 조사원이 강제하지 않으며, 응답자도 자신이 모르는 사안에는 모른다고 말할 수 있는 자유가 있습니다. ‘잘 모르겠다’ 지문을 불러주는가(보여주는가) 마는가의 문제는 보기 번호를 제시하지 않으면 응답 입력이 불가능한 ARS나 온라인조사에서 고려되어야 할 사안입니다.
여기에서는 주로 대통령 직무 평가만 다루었으나, 정당 지지도 역시 마찬가지입니다. 같은 조사원 인터뷰(CATI) 방식임에도 지지하는 정당이 없는 무당(無黨)층 비율 차이가 크다면 그 역시 재질문 여부에 따른 차이일 수 있습니다. 이를 고려하지 않고 무당층 비율이 갑자기 크게 줄었다거나 늘었다는 식으로 기술하는 기사는 오보(誤報)입니다.
__
1) 현재 정당 지지도는 선거여론조사로 분류되어 중앙여론조사심의위원회 홈페이지에 사전 등록하지 않은 수치는 공표할 수 없습니다. 질문-재질문에 따른 수치를 구분 제시할 수 없어서 정당 지지도에 관한 부연 설명은 생략합니다.
2) ARS 조사는 CATI에 비해 응답률이 낮은 편이며, 대통령 직무 평가에서의 의견 유보와 정당 지지도에서의 무당층 비율도 CATI에 비해 낮은 편입니다. ARS 조사에서 의견 유보 비율이 낮은 현상은 민감한 정치 현안뿐 아니라 다른 일상적인 주제에서도 발견됩니다. 이는 기계음을 듣고 해당 번호를 누르는 번거로움을 감수하고 끝까지 응답을 완료하는 분들의 참여적 성향, 어떤 번호라도 누르면 다음 질문으로 넘어간다는 점 등이 복합적으로 작용한 결과로 추정됩니다.