온라인 커뮤니티에 공유된 한 여론조사가 화제가 됐다. *** 관련 설문으로 알려진 이 조사는 특정 웹 패널을 통해 진행된 것이었는데, 단순히 문항이 많다는 비판을 넘어 설문 설계 자체의 구조적 문제를 노출했다는 지적이 나왔다. 커뮤니티 이용자들은 먼저 설문지의 분량에 놀라며 "어마어마한" 길이라고 표현한 것으로 전해진다. 그 다음으로 지적한 것들이 흥미로웠다. 응답자들이 어떻게 점수를 부여해야 할지 판단하기 어려운 구조라는 비판이었다.

이 설문은 100점 만점 체계를 사용한 것으로 전해진다. 겉으로는 단순한 평가 기준처럼 보이지만, 앞뒤로 부정적 자극을 배치한 뒤 절대 점수를 요구했다는 점이 문제로 지적되었다. 일반적인 설문은 응답자가 각 문항을 독립적으로 판단하기를 기대한다. 그러나 이전 문항에서 특정 대상에 낮은 점수를 부여한 응답자는, 이후 문항을 평가할 때 무의식적으로 그 기준을 상대적으로 적용하게 된다. 심리학에서 말하는 '앵커링 효과'다. 글쓴이는 이를 직관적으로 설명한 것으로 전해진다. "10점, 10점을 주다가 갑자기 80점을 주기 어렵다"는 표현으로, 점수 배분이 상대적 비교에 기반하게 된다는 점을 지적한 것으로 보인다. 다시 말해, 절대 점수를 요구하는 것처럼 보이지만 실제로는 상대 평가를 강요하는 구조라는 비판이었다.

더욱 문제로 지적된 부분은 설문에 포함된 비교 대상들의 선정이었다. 정치인 ***, ***, 기업인 ***, 노조 ***가 같은 설문에 섞여 있었던 것으로 보인다. 평가의 근거가 전혀 다른 대상들을 동등한 척도로 비교하도록 요구하는 셈이었다. 응답자 입장에서는 공통의 평가 기준을 세우기 어렵다. 어떤 기준으로 이들을 1~100점 사이에 배치해야 할까? 영향력인가, 신뢰도인가, 정책 추진력인가? 설문에서 평가 기준을 명확히 제시하지 않으면 응답의 일관성이 떨어질 수밖에 없다는 반응이다. 커뮤니티에서는 이런 구조를 두고 "고차원의 뜬금없음"이라는 표현으로 풍자한 것으로 전해진다. 설문 설계 입장에서는 매우 문제적인 구조라는 평가였다.

마지막으로 지적된 것은 결과 공개 방식이었다. 설문 결과 표가 매우 길었는데, 공개된 항목은 극히 제한적이었다는 것으로 보인다. ***, ***, ***의 평가 점수만 공개되었고, 나머지 비교 대상들의 결과는 보이지 않았다. 한 이용자는 "결과 표를 핸폰으로 찾다가 죽을 뻔 한 것으로 전해진다"고 표현하며 접근성 문제를 지적한 것으로 전해진다. 하지만 더 중요한 것은 투명성의 문제다. 설문에 포함되었던 모든 대상의 결과를 공개하지 않는다면, 어떤 결과가 의도적으로 숨겨진 것은 아닌지 의문이 생길 수밖에 없다는 반응이다. 선택적 공개 자체가 설문의 신뢰도를 훼손한다는 지적인 것으로 보인다.

설문조사의 신뢰도를 결정하는 것은 문항의 개수가 아니다. 응답자의 판단을 왜곡하지 않도록 설계하는 원칙이 얼마나 중요한지, 비교 대상 선정의 명확성이 어떻게 영향을 미치는지, 투명한 결과 공개가 기본이 되어야 한다는 점을 보여주는 사례가 되었다. 부정적 자극의 앞뒤 배치, 평가 기준 모호화, 선택적 공개는 여론조사·설문의 신뢰 기반이 얼마나 취약할 수 있는지를 드러낸 것으로 평가되고 있다.

📌 원문 발췌

일단 저 설문지 길이 부터 어마어마한데다가 웹 설문조사 (***리서치 패널) 네요. 위 아래로 부정적인거 다 깔아놓고 100점 만점이라니요. ***, ***, ***, *** 뭐랄까 굉장히 뜬금없음이 고차원적인.

원본 출처: 클리앙 모두의공원