7. 타당도의 개념

06-02. 타당도

1)타당도의 의미

검사의 타당도란 그 검사가 무엇을 측정하는가와 또 그 검사가 그것을 얼마나 잘 측정하고 있는지에 관한 것이다. 다시 말하면 타당도란 그 검사가 측정하고자 의도하는 속성을 어느 정도나 정확하게 측정하고 있는가를 말한다. 따라서 검사타당도는 우리에게 그 검사점수를 이용해서 그 검사가 측정하려는 속성에 관해 추론하는 것이 타당한 일인가를 결정해 주는 것이다.

 

2) 타당도의 종류

 

①내용타당도: 검사의 문항들이 그 검사가 측정하고자 하는 내용영역을 얼마나 잘 반영하고 있는지를 말한다. 내용타당도는 흔히 성취도 검사의 타당도를 평가하는 방법으로 많이 쓰인다. 대개의 경우 해당 분야의 전문가들의 주관적 판단을 토대로 결정되며, 이런 경우로 내용타당도를 나타내는 통계치는 없다고 할 수 있다.

※안면타당도: 실제로 무엇을 재는가의 문제가 아니라, 검사가 잰다고 말하는 것을 재는 것처럼 보이는가의 문제이다 즉 수검자에게 그 검사가 ‘타당한 것처럼 보이는가’를 뜻하는 것이다. 따라서 안면타당도는 수검자의 수검동기나 수검자세에 영향을 미치는 것이라고 볼 수 있다.

②준거타당도: 어떤 심리검사가 특정 준거와 어느 정도 관련성이 있는가를 나타내는 것이다. 즉 그 검사점수가 ‘직무성과’나 ‘학업성적’등의 특정 활용영역의 준거를 얼마나 잘 예측해 주는지의 정도를 말한다.

ⓐ예언타당도: 검사의 점수를 가지고 다른 준거검사들을 어느 정도 예측할 수 있는가 하는 정도이다. 즉, 미래의 행동특성을 얼마나 정확하게 예언하는지를 나타내는 것으로, 검사를 실시해 나온 점수와 시간이 흐른 뒤 피험자의 행위를 측정하여 점수와 행위간의 상관관계를 측정한다. 예를 들면 인사 선발시 적성검사 점수와 6개월이나 1년 정도의 기간이 흐른 후에 직무만족도나 업무성과 간의 상관관계를 측정할 수 있다.

ⓑ동시타당도: 해당 검사의 점수와 준거점수를 동시에 측정해서 얻은 상관계수이다. 즉, 새로운 검사에 대해 이미 타당도가 인정된 기준의 동일한 속성을 측정하는 검사와의 상관관계를 구하는 것으로, 새로운 검사에서 얻은 점수와 기존의 타당성을 인정받은 검사로부터 얻은 점수와의 상관관계를 측정한다. 예를 들면 입사 후 6개월이나 1년이 지난 시점에서 남아있는 현직자들을 대상으로 새로 개발한 적성검사와 준거측정을 동시에 하는 것이다. 이렇게 얻은 두 점수간의 상관의 크기가 동시타당도 계수가 된다.

③구성타당도: 검사가 해당 이론적 구성개념이나 특성을 잘 측정하는 정도를 말한다. 심리검사가 포함하고 있는 행동 표본들이 실제 그 검사로 측정하고자 하는 구성개념을 잘 반영하는가 하는 것이 구성타당도이다.

 ⓐ발달적 변화

 ⓑ다른 검사와의 상관관계

 ⓒ요인분석법: 요인분석은 검사의 구성타당도를 점검하기 위해 가장 널리 사용되는 통계적 방법이다. 요인분석법은 검사를 구성하는 문항들간의 상호 상관관계를 분석해서 서로 상관이 높은 문항들을 묶어주는 통계적 방법이다. 예를 들어 홀랜드의 개인-환경간 적합성 이론은 인간의 직업흥미를 여섯 가지 유형으로 구분할 수 있다고 주장한다. 이런 주장을 토대로 직업흥미검사를 개발한다면, 그 검사의 다양한 종류의 활동에 대한 흥미를 반영하는 문항들로 구성될 것이다. 이 검사의 구성타당도를 평가하기 위해 요인분석을 사용할 수 있다. 요인분석 결과, 서로 상관관계가 높은 문항군집이 6개가 아니라 2개나 9개로 구분된다면, 이 검사는 홀랜드의 이론을 잘 반영하지 못한 검사라고 볼 수 있다. 즉 구성타당도가 낮은 것이다.

 ⓓ수렴타당도: 검사의 결과가 이론적으로 측정하고자 하는 속성과 관계가 있는 변인들과 얼마나 상관관계가 높은지를 측정하는 것을 말한다.

 ⓔ변별타당도: 검사의 결과가 이론적으로 측정하고자 하는 속성과 관계가 있는 변인들과 얼마나 상관관계가 낮은지를 측정하는 것을 말한다. 즉 어떤 지능검사가 타당한 것이라면 이론적으로 지능과 관계가 있는 학업성적과는 높은 상관을 보이겠지만, 관계가 없는 체육시험성적과는 낮은 상관관계를 가질 것이다. 이런 논리에서 이론적으로 관계가 있는 변인과 상관관계가 높을 때 수렴타당도가 높다고 하며, 관계가 없는 변인과 상관관계가 낮을 때 이를 변별타당도가 높다고 한다.

※한번에 수렴타당도와 변별타당도를 동시에 확인할 수 있는 방법으로 중다특성 중다방법 행렬표(multitrait-multimethod matrix:MTMM)를 이용하는 방법이 있다. 기본적으로 이 절차는 2개 이상의 특성을 2개 이상의 방법으로 측정해서 상호상관의 양상을 평가하는 것이다. 예를 들어 지배성과 사회성, 성취동기를 각기 자기보고식문항과 투사적 기법, 또래평정법으로 측정할 수 있다.

④실험적 개입

 

3)타당도의 크기에 영향을 미치는 요인

 

동일한 검사라 해도 어떤 직종을 대상으로 자료를 얻었는가, 어떤 표본을 사용했는가, 어떤 준거를 사용했는가 등에 따라 타당도 계수는 상당한 차이를 보인다. 준거타당도는 직업상담이나 산업장면에서 검사를 사용할 때, 다른 어떤 타당도보다 중요하다. 그 이유는 첫째, 준거타당도가 낮은 검사를 이용하는 것은 선발이나 평가과정의 효율성을 떨어뜨린다. 둘째, 검사의 준거타당도는 선발이나 배치, 훈련 등 인사관리에 관한 의사결정이 얼마나 공정하게 이루어졌는가를 결정한다.

※준거타당도계수의 크기에 영향을 미치는 요인: 표집오차, 준거측정치의 신뢰도, 준거측정치의 타당도, 범위제한 등이 있다.