6. 신뢰도와 타당도의 관계

6. 신뢰도와 타당도

 

심리검사의 신뢰도란, 검사가 측정하고자 하는 것을 얼마나 일관성있게 측정하는지를 나타내는 지표이다.

심리검사의 타당도란, 측정하고자 하는 것을 얼마나 정확하게 측정하고 있는지를 나타내는 지표이다.

심리검사의 신뢰도는 어떻게(HOW) 측정하는냐의 문제와 관련이 있는 반면, 심리검사의 타당도는 무엇을(WHAT) 측정하느냐의 문제와 관련이 있다고 볼 수 있다. 타당도는 없으나 신뢰도는 높은 측정도구가 있을 수 있지만, 역으로는 존재할 수 없다. 신뢰도를 높이는 것은 타당도를 높이기 위한 필요조건은 되지만 충분조건은 되지 못한다. 즉, 어떤 검사가 신뢰도가 높다는 것만으로 타당도가 높다는 것을 의미하지 않는다.

 

[참고]타당도는 신뢰도와 밀접한 관계가 있다. 어떤 검사의 신뢰도의 크기는 이론적으로 그 검사의 타당도의 최대값이다. 즉 어떤 검사의 타당도는 아무리 커도 그 검사의 신뢰도보다 클 수는 없다는 점이다. 이런 점에서 검사가 상당히 높은 수준의 신뢰도를 확보하는 것은 매우 중요한 일이다. 검사의 신뢰도를 높이는 방법에는 가장 기본적인 것이 오차변량을 줄이는 것이며, 이를 위해서는 검사의 실시와 채점과정의 표준화가 중요하다. 또 다른 방법은 검사의 문항수를 늘리는 것이다 일반적으로 문항수가 늘어나면 신뢰도도 증가하기 때문이다. 그 외에 검사개발과정에서 문항분석을 통해 검사의 신뢰도에 나쁜 영향을 미치는 문항들을 제거하는 방법이 있다.

 

 

06-01. 신뢰도

1) 신뢰도의 의미: 측정하고자 하는 대상을 얼마나 정확하게 측정하고 있는가의 정도를 말하며, ‘어떻게’ 재고 있는냐 하는 문제이다. 측정의 일관성과 안정성을 보장한다.

검사의 신뢰도란 검사를 동일한 사람에게 실시했을 때, 검사조건이나 검사 시기에 관계 없이 점수들이 얼마나 일관성이 있는가, 비슷한 것을 측정하는 다른 검사의 점수와 얼마나 일관성이 있는가 하는 것을 말한다. 넓은 의미의 검사신뢰도는 검사점수의 개인차가 정말 차이가 나타난 것이냐 아니면 우연적인 오차에 의해서 나타난 것이냐의 정도를 말한다. 이를 더 전문적인 용어로 말하자면, 검사점수의 전체 변량 중에서 오차변량을 제외한 실제 변량이 차지하는 비율이다.

 

2) 신뢰도의 종류

 

①검사-재검사 신뢰도(안정성계수)

동일한 사람에게 서로 다른 시기에 두 번 실시한 검사점수들의 상관계수를 검사-재검사 신뢰도라고 한다. 이 계수는 검사점수가 시간의 변화에 따라 얼마나 일관성이 있는지를 뜻한다. 이런 면에서 시간에 따른 안정성을 나타내는 안정성계수라고도 한다. 서로 다른 시기에 측정한 두 검사점수의 차이는 결국 두 시간 사이에 발생하는 다양한 요인들(성숙, 질병, 피로, 개인 등 개인적 요인과 날씨, 소음, 기타 방해요인과 같은 환경적 요인)에 의해 차이가 발행한다.

②동형검사 신뢰도(동등성계수)

검사-재검사 신뢰도의 약점을 피할 수 있는 좋은 방법이 바로 비슷한 것을 재는 다른 검사를 이용하는 것이다. 즉, 이미 신뢰성이 입증된 유사한 검사 점수와의 상관계수를 검토하는 것이며, 이 상관계수를 두 검사의 동등성 정도를 나타낸다는 면에서 동등성계수라고 부른다. 실제로는 한 검사와 그와 동등한 다른 검사를 동시에 실시할 수 없기 때문에 동형검사 신뢰도는 시간에 따른 안정성과 반응의 안정성을 모두 포함하는 좋은 신뢰도 측정법이다.

③반분 신뢰도(내적합치도계수)

반분신뢰도란 해당 검사를 문항수가 같도록 반씩 나눠서 개인별로 2개의 점수를 구해서 두 점수간의 상관계수를 계산하는 것이다. 반분신뢰도는 검사를 한 번만 실시해서 구하는 것이기 때문에 시간적 안정성은 포함하지 않는다. 그러나 둘로 구성된 문항들의 내용이 얼마나 일관성이 있는가를 측정한 것이어서 이런 종류의 신뢰도계수를 내적합치도계수라고 부른다.

※크론바흐 알파계수(Cronbach α): 변량분석의 기초에 근거하여 각 문항의 변량과 전체 검사 점수의 변량을 고려하여 신뢰도계수(α)가 산출되며, Cronbach에 의해 제안되었다.

④채점자 신뢰도

검사종류 중 채점자에게 많은 재량권이 있는 검사(창조성검사, 투사적 성격검사 등)에서 사용되며, 한 집단의 검사용지를 두 명의 검사자가 각자 독립적으로 채점하게 해서 찾아내는 것이다. 개개의 수검자들한테서 관찰한 두 개의 점수를 가지고 통상적인 방법에 따라 상관관계를 따져 보는 것이다. 이때 나타난 신뢰도계수가 채점자 신뢰도의 측정치가 된다.

※같은 검사의 신뢰도를 측정하는 경우, 신뢰도계수는 일반적으로 내적합치도계수가 가장 높고 그 다음으로 동형검사 신뢰도, 검사-재검사 신뢰도의 순으로 나타난다.

 

3) 신뢰도계수에 영향을 미치는 요인

①개인차

②검사의 문항수

③속도검사의 신뢰도

④신뢰도의 종류

그 외, 개인차는 클수록 좋다. 문항수는 많을수록 좋다. 문항반응수는  크게 늘리는 것은 바람직하지 않다. 이는 리커트 척도에 따른 응답범위 제시를 통해 측정할 수 있다. 검사유형에 따라 신뢰도에 영향을 준다. 신뢰도의 추정방식에 따라 달라진다.

 

[참고] 동형검사를 만들 때는 두 검사의 내용과 체계가 동형인가를 유의하면서 제작해야 한다. 동등성 확보를 위해서는 동일한 문항수, 동일한 내용, 동일한 형식, 비슷한 난이도, 비슷한 변별도를 가져야 한다. 동형검사의 제작이 어려워 동등성이 확보되지 않아 점수차이가 난다고 볼 수 있다.

[참고] 동형검사를 개발할 때는 그들 검사가 진정으로 대등한 것인지를 보장할 수 있도록 배려해야 한다. 기본적으로 동일한 내용과 동일한 문항수, 동일한 형식, 비슷한 정도의 문항곤란도를 가진 검사를 이용하는 것이 좋은데, 이런 검사를 해당 검사의 평행검사라 한다.