[직업심리학] 타당도의 개념과 종류

11. 타당도의 개념과 종류

 

[기출]

[2000년 1회] 준거타당도의 종류와 내용에 대해서 설명하고 직업상담에서 준거타당도가 중요한 이유를 설명하시오. [2000년 1회] 실증연구에서의 타당도계수와 실제연구에서의 타당도계수가 다른데, 실제연구에서의 타당도 계수가 낮은 이유를 예를 들어 설명하시오. [2001년 1회] 구성타당도의 수렴타당도와 변별타당도에 대해 설명하시오. [2002년 1회] 준거타당도의 종류와 내용에 대해 기술하고, 직업 상담에서 준거타당도가 중요한 이유에 대해서 설명하시오. [2003년 1회] 구성타당도의 종류와 내용을 설명하시오. [2003년 2회] 구성타당도 중 변별타당도와 수렴타당도를 설명하시오. [2005년 1회] 타당도의 종류 4가지를 기술하시오. [2006년 1회] 동시타당도와 예언타당도를 예를 들어 설명하시오. [2006년 3회] 구성타당도를 분석하는 대표적인 방법인 수렴타당도와 변별 타당도에 대해 설명하시오. [2006년 3회] 다음에 준거타당도에 관한 사항이다. 물음에 답하시오. 1) 준거타당도의 2가지 종류와 그에 대해서 설명하시오. 2) 여러 가지 타당도 중 특히 직업상담에서 준거타당도가 중요한 이유 2가지를 설명하시오. 3) 실증연구에서 얻은 타당도 계수와 실제연구에서의 타당도 계수가 다른데, 실제연구에서의 타당도 계수가 낮은 이유를 예를 들어 설명하시오. [2007년 1회] 다음 (　　)안에 알맞은 타당도의 종류를 아래에 쓰시오. 1)( A )은 검사의 각 문항을 주의 깊게 검토하여, 그 문항이 검사에서 측정하고자 하는 것을 재는지 여부를 결정하는 것이다. 이것은 그 분야의 자격을 갖춘 사람들에 의해 판단된다. 2)( B )의 유형으로는 공인타당도와 예언타당도가 있다. 3)( C )은 조작적으로 정의되지 않은 인간의 심리적 특성이나 성질은 심리적 구인으로 분석하여 조작적 정의를 부여한 후, 검사점수가 이러한 심리적 구인으로 구성되어 있는가를 검정하는 방법이다. [2008년 1회] 구성타당도를 분석하는 방법 3가지를 제시하고 각 방법에 대해 설명하시오. [2008년 3회] 예측타당도(predictive validity)와 동시타당도(concurrent validity)의 차이점을 설명하시오. [2009년 1회] 준거타당도는 직업 상담이나 산업장면에서 검사를 사용할 때 다른 어떤 타당도보다 중요하다. 준거타당도의 의미를 쓰고 준거타당도가 낮은 검사를 사용하는 것이 왜 문제가 되는지를 설명하시오. [2009년 3회] 수렴타당도와 변별타당도에 대해 설명하시오. [2010년 1회] 구성타당도를 분석하는 방법 3가지를 제시하고 각 방법에 대해 설명하시오. [2010년 2회] 준거관련 타당도의 의미를 쓰고 준거관련 타당도에 속하는 타당도의 종류를 2가지 제시하고 간략히 설명하시오. [2010년 3회] 수렴타당도와 변별타당도의 의미를 쓰고 이를 중다특성 중다방법행렬표(MTMM)으로 확인하는 절차에 대해 서술하시오. [2010년 4회] 구성타당도 두 가지 종류 기술하시오.

 

○ 타당도의 개념

① 타당도란 그 검사가 측정하고자 하는 속성(屬性) 또는 현상을 얼마나 충실하게 측정하고있느냐 하는 정도를 나타내는 말이다. 측정도구가 본래 측정하려고 의도한 것을 충실히 측정할수록 그 도구는 타당성이 높다고 판단한다.

② 타당도는 어떤 목적 또는 기준에 의해 판단되며 그 타당도를 평가하는 방법, 표집, 자료수집의 조건 등에 따라서 그 추정결과가 달라진다. 즉, 타당도는 어떤 특정한 상황 속에서 그 의미가 규명되어야 하며, 한 검사의 타당도를 말할 때에는 이러한 특정 조건과 기준을 명시하여야 한다.

 

○ 타당도의 종류

① 내용타당도: 검사의 문항들이 그 검사가 측정하고자 하는 내용영역을 얼마나 잘 반영하고 있는지를 말한다. 내용타당도는 흔히 성취도 검사의 타당도를 평가하는 방법으로 많이 쓰인다. 대개의 경우 해당 분야의 전문가들의 주관적 판단을 토대로 결정되며, 이런 경우로 내용타당도를 나타내는 통계치는 없다고 할 수 있다.

※안면타당도: 실제로 무엇을 재는가의 문제가 아니라, 검사가 잰다고 말하는 것을 재는 것처럼 보이는가의 문제이다 즉 수검자에게 그 검사가 ‘타당한 것처럼 보이는가’를 뜻하는 것이다. 따라서 안면타당도는 수검자의 수검동기나 수검자세에 영향을 미치는 것이라고 볼 수 있다.

② 준거타당도: 어떤 심리검사가 특정 준거와 어느 정도 관련성이 있는가를 나타내는 것이다. 즉 그 검사점수가 ‘직무성과’나 ‘학업성적’등의 특정 활용영역의 준거를 얼마나 잘 예측해 주는지의 정도를 말한다.

ⓐ 예언타당도: 검사의 점수를 가지고 다른 준거검사들을 어느 정도 예측할 수 있는가 하는 정도이다. 즉, 미래의 행동특성을 얼마나 정확하게 예언하는지를 나타내는 것으로, 검사를 실시해 나온 점수와 시간이 흐른 뒤 피험자의 행위를 측정하여 점수와 행위간의 상관관계를 측정한다. 예를 들면 인사 선발시 적성검사 점수와 6개월이나 1년 정도의 기간이 흐른 후에 직무만족도나 업무성과 간의 상관관계를 측정할 수 있다.

ⓑ 동시타당도: 해당 검사의 점수와 준거점수를 동시에 측정해서 얻은 상관계수이다. 즉, 새로운 검사에 대해 이미 타당도가 인정된 기준의 동일한 속성을 측정하는 검사와의 상관관계를 구하는 것으로, 새로운 검사에서 얻은 점수와 기존의 타당성을 인정받은 검사로부터 얻은 점수와의 상관관계를 측정한다. 예를 들면 입사 후 6개월이나 1년이 지난 시점에서 남아있는 현직자들을 대상으로 새로 개발한 적성검사와 준거측정을 동시에 하는 것이다. 이렇게 얻은 두 점수간의 상관의 크기가 동시타당도 계수가 된다.

③ 구성타당도: 검사가 해당 이론적 구성개념이나 특성을 잘 측정하는 정도를 말한다. 심리검사가 포함하고 있는 행동 표본들이 실제 그 검사로 측정하고자 하는 구성개념을 잘 반영하는가 하는 것이 구성타당도이다.

ⓐ 발달적 변화

ⓑ 다른 검사와의 상관관계

ⓒ 요인분석법: 요인분석은 검사의 구성타당도를 점검하기 위해 가장 널리 사용되는 통계적 방법이다. 요인분석법은 검사를 구성하는 문항들간의 상호 상관관계를 분석해서 서로 상관이 높은 문항들을 묶어주는 통계적 방법이다. 예를 들어 홀랜드의 개인-환경간 적합성 이론은 인간의 직업흥미를 여섯 가지 유형으로 구분할 수 있다고 주장한다. 이런 주장을 토대로 직업흥미검사를 개발한다면, 그 검사의 다양한 종류의 활동에 대한 흥미를 반영하는 문항들로 구성될 것이다. 이 검사의 구성타당도를 평가하기 위해 요인분석을 사용할 수 있다. 요인분석 결과, 서로 상관관계가 높은 문항군집이 6개가 아니라 2개나 9개로 구분된다면, 이 검사는 홀랜드의 이론을 잘 반영하지 못한 검사라고 볼 수 있다. 즉 구성타당도가 낮은 것이다.

ⓓ 수렴타당도: 검사의 결과가 이론적으로 측정하고자 하는 속성과 관계가 있는 변인들과 얼마나 상관관계가 높은지를 측정하는 것을 말한다.

ⓔ 변별타당도: 검사의 결과가 이론적으로 측정하고자 하는 속성과 관계가 있는 변인들과 얼마나 상관관계가 낮은지를 측정하는 것을 말한다. 즉 어떤 지능검사가 타당한 것이라면 이론적으로 지능과 관계가 있는 학업성적과는 높은 상관을 보이겠지만, 관계가 없는 체육시험성적과는 낮은 상관관계를 가질 것이다. 이런 논리에서 이론적으로 관계가 있는 변인과 상관관계가 높을 때 수렴타당도가 높다고 하며, 관계가 없는 변인과 상관관계가 낮을 때 이를 변별타당도가 높다고 한다.

※한번에 수렴타당도와 변별타당도를 동시에 확인할 수 있는 방법으로 중다특성 중다방법 행렬표(multitrait-multimethod matrix:MTMM)를 이용하는 방법이 있다. 기본적으로 이 절차는 2개 이상의 특성을 2개 이상의 방법으로 측정해서 상호상관의 양상을 평가하는 것이다. 예를 들어 지배성과 사회성, 성취동기를 각기 자기보고식문항과 투사적 기법, 또래평정법으로 측정할 수 있다.

④ 실험적 개입

 

○ 타당도의 크기에 영향을 미치는 요인

동일한 검사라 해도 어떤 직종을 대상으로 자료를 얻었는가, 어떤 표본을 사용했는가, 어떤 준거를 사용했는가 등에 따라 타당도 계수는 상당한 차이를 보인다. 준거타당도는 직업상담이나 산업장면에서 검사를 사용할 때, 다른 어떤 타당도보다 중요하다. 그 이유는 첫째, 준거타당도가 낮은 검사를 이용하는 것은 선발이나 평가과정의 효율성을 떨어뜨린다. 둘째, 검사의 준거타당도는 선발이나 배치, 훈련 등 인사관리에 관한 의사결정이 얼마나 공정하게 이루어졌는가를 결정한다.

※준거타당도계수의 크기에 영향을 미치는 요인: 표집오차, 준거측정치의 신뢰도, 준거측정치의 타당도, 범위제한 등이 있다.