[방디] 사회조사분석사(2급) 필기 - 조사방법론 II - 측정의 타당성과 신뢰성

안녕하세요. 방디입니다.

 

이 글에서는 사회조사분석사(2급) 필기의 2과목 조사방법론 II에서 [측정과 타당성과 신뢰성] 부분을 다루어보도록 하겠습니다.

 

---

 

조사방법론 II

측정의 타당성과 신뢰성

측정오차의 의미

1. 측정오차의 종류

가. 체계적 오차

- 측정도구의 문제로, 의도적인 경우 발생

- 편견이 개입된 경우 발생

- 타당도와 연관

나. 비체계적 오차

- 측정 과정에서 우연히 발생하는 불규칙적 오차

- 무응답, 입력 오류, 조사 착오 등으로 발생

- 신뢰도와 연관

 

---

타당성의 의미

1. 타당성의 개념

- 측정하고자 하는 개념이나 속성을 정확하게 측정하는 능력

 

2. 타당성의 종류

가. 내적타당도

- 조사 분석 중 종속변수에서 나타나는 결과가 독립 변수에 의한 것임을 확인하는 정도

  ※ 내적타당도 저해 요인

1) 우발적 사건 (역사적 요인)

- 예기치 못하거나 예상할 수 없었던 상황 발생

2) 선별효과 (선택 요인)

- 실험집단이나 통제집단이 여러 측면에서 현저한 차이를 보임

3) 실험효과 (검사 요인)

- 측정이 반복됨으로써 학습효과가 반영됨

4) 조사도구효과

- 자료 수집 도구가 달라지는 경우

5) 성숙효과 (성장요인)

- 실험 기간 중 실험 집단의 육체적 또는 심리적 특성에 변화 발생

6) 사멸효과 (상실 요인)

- 실험 대상 일부가 사망 혹은 여타의 사유로 추적이 불가

7) 통계적 회귀

- 사전 측정에서 극단적인 값을 얻은 경우 이를 반복 측정하여 평균치로 근사하는 경향

나. 외적타당도

- 실험 결과를 얼마나 일반화할 수 있는지 정도

  ※ 외적타당도 저해 요인

1) 실험상황의 반동 효과

- 인위적인 상황을 자연현상을 대표할 수 없음

2) 검사의 상호작용 효과

- 사전 검사가 진행된 실험은 사전 검사가 없는 실험을 대표할 수 없음

3) 다중실험 처치 간의 간섭

- 동일한 피험자에게 여러 실험 처치를 할 시 실험 처치간 간섭 발생

4) 피험자의 선정과 실험 처치 간의 상호효과

- 피험자들의 속성이 실험결과에 오차 유발

 

3. 타당성의 평가

가. 개념 타당도

1) 정의: 측정해야 할 항목들을 제대로 측정했는지 정도

2) 구성 요소

- 이해 타당도: 이론과 실제 조사를 비교

- 수렴 타당도: 하나의 개념을 두 개의 도구로 측정

- 판별 타당도: 두 개의 개념을 하나의 도구로 측정

3) 저해 요인

- 단일 조작적 편향: 한 가지 상황으로 큰 개념을 대변

- 한 가지 측정법만을 사용

- 피험자가 평가를 인지

- 피험자가 가설을 추측

- 연구자의 기대

- 여러 처치들 간 상호작용

나. 기준 타당도 (경험적 타당도)

1) 정의: 타당도가 알려진 측정도구를 기준으로 하고 새로운 측정도구의 결과를 비교하여 타당도 판단

2) 구성 요소

- 동시적 타당도: 기존 검사(도구)와 새로운 검사(도구)를 비교

- 예측적 타당도: 예측되는 행위의 측정값과 실제 미래 행위자들의 측정값을 비교

다. 내용 타당도 (논리·액면·안면 타당도)

- 측정문항이 측정하고자 하는 내용을 잘 대표하고 있는지

- 주관적 판단에 의존하기에 오차 발생 가능

- 측정도구의 모든 방법을 나열하여 무작위 표출하거나, 측정 도구 내용을 정확히 파악하여 내용타당도 확보 가능

---

신뢰성의 의미

1. 신뢰성의 개념

- 측정도구가 측정하고자 하는 현상을 일관성 있게 측정하는 능력

 

2. 신뢰성 추정방법

가. 재검사법

- 동일한 상황이나 측정도구, 대상을 두고 일정한 시간 후 재측정

나. 반분법

- 같은 내용을 표현만 달리하여 측정

다. 복수 양식법

- 유사한 형태의 복수 측정도구를 이용하여 측정

라. 내적 일관성법

- 동일한 개념을 측정할 시, 신뢰도에 차등을 둔 여러 질문을 이용하여 측정

- 신뢰도를 저해하는 질문 항목은 추후 제거

※ 크론바흐 알파

- 문항들 간 일관성이 있는지 평균을 내어 변수를 생성해도 문제가 없는지 검증하는 수치

- 0 ~ 1 사이의 값을 가지며 숫자가 높을수록 신뢰도가 높음

- 문항 수가 적어질수록 신뢰도 증가

---

긴 글 읽어주셔서 감사합니다.

 

- 방디 -