불성실 응답 걸러내기

응답 소요시간이 전체 중앙값의 3분의 1보다 빠른 응답과, 척도 문항에 전부 같은 값을 찍은 응답을 의심합니다. 제외한 부수와 기준을 논문에 밝히세요.

30문항짜리 설문을 40초에 끝낸 응답이 있습니다. 읽지 않고 찍은 것입니다. 이런 응답이 섞여 있으면 상관도 회귀도 전부 흐려집니다.

유형 1. 지나치게 빠른 응답

기준은 하나로 정해져 있지 않습니다. 널리 쓰이는 것이 두 가지입니다. 하나는 문항 하나당 2초가 안 걸린 응답을 의심하는 방식이고(Huang 등, 2012), 다른 하나는 전체 소요시간의 중앙값을 구해 그 3분의 1보다 빠른 응답을 의심하는 방식입니다. 서베이루프는 뒤쪽을 씁니다. 평균이 아니라 중앙값을 쓰는 이유는, 창을 열어두고 몇 시간 뒤에 제출한 사람 한 명이 평균을 통째로 끌어올리기 때문입니다.

유형 2. 직선 응답

모든 문항에 똑같이 4번만 찍은 응답입니다. 척도 문항 전체가 같은 값이면 성의 없이 답한 것으로 봅니다.

여기서 조심할 것이 있습니다. 성별이나 연령대 같은 선택형 문항까지 넣고 판단하면 안 됩니다. 리커트처럼 점수인 문항만 놓고 봐야 합니다. 그리고 문항이 5개도 안 되는 짧은 설문에서는 우연히 같은 값이 나올 수 있으니 이 기준을 쓰지 않는 편이 낫습니다.

유형 3. 역문항 모순

나는 만족한다에 5점을 주고 나는 그만두고 싶다에도 5점을 준 응답입니다. 역문항을 넣어두면 이런 모순을 잡을 수 있는데, 이것이 역문항을 설문에 섞어 두는 이유이기도 합니다.

제외하고 나서

몇 부를 어떤 기준으로 제외했는지 논문에 반드시 적습니다. 숨기고 넘어가면 나중에 원자료와 대조했을 때 수가 안 맞습니다.