제5장 행동 측정의 질을 향상시키고 평가하기

Improving and Assessing the Quality  of Behavioral Measurement

신뢰로운 측정의 지표

1. 과학적이기 위해서 측정은 타당하고 정확하며 신뢰로워야 한다.
2. 타당한 측정이 되기 위해서는 세 가지 요소를 포함해야 한다.
   1. (a) 사회적으로 중요한 목표 행동을 직접적으로 측정한다.
   2. (b) 관심이 되는 행동과 관련 있는 목표 행동의 범주를 측정한다.
   3. (c) 자료가 목표 행동과 가장 관련 있는 상황과 시간에 발생하는지 확인한다.
3. 사건을 측정하여 산출된 자료인 관찰값이 사건의 참값과 일치할 때 측정이 정확하다.
4. 같은 사건을 반복적으로 측정하는 경우 같은 값을 산출할 때만 측정이 신뢰롭다.

측정 타당도에 대한 위협

1. 간접 측정-관심이 되는 행동과 다른 행동을 측정하는 것은 신뢰도를 위협하는데, 이는 연구자나 임상가가 얻어진 측정치와 관심이 되는 실제 행동 시이의 관계를 추론해야만 하기 때문이다.
2. 간접 측정을 사용한 연구자는 측정된 사건이 신뢰롭고 의미 있는 방식으로 연구자가 결론을 내리고 싶어 하는 행동을 대표한다는 증거를 제공해야만 한다.
3. 행동을 측정하려는 이유에 잘 맞지 않거나 관련없는 행동의 범주를 측정하는 것은 타당도를 떨어뜨린다.
4. 측정의 인위적 산물은 자료가 측정된 방식 때문에 행동에 대해 부정확한 정보를 제공한다. 일반적으로 비연속적 측정, 잘못 선택된 측정기간, 민감하지 않거나 제한된 측정도구는 측정의 인위적 산물의 원인이다.

 

측정의 정확성과 신뢰도를 위협하는 요인

1. 응용행동분석에서는 주로 사람이 관찰을 하며, 사람의 오류는 자료의 정확성과 신뢰도를 위협하는 가장 큰 요인이다.
2. 측정 오류에 기여하는 요인들은 잘못 고안된 측정체계, 불충분한 관찰자 훈련, 그리고 자료에 대한 기대 등이 있다.
3. 관찰자는 자료를 수집하기 전에 측정체계에 대한 체계적인 훈련과 연습을 받아야 하며, 사전에 정해진 정확성과 신뢰도 기준에 도달해야만 한다.
4. 관찰자 표류-연구 과정 중 측정체계를 적용하는 방식의 의도되지 않은 변화-는 부스터 훈련 회기와 측정의 정확성과 신뢰도에 대한 피드백을 통하여 최소화할 수 있다.
5. 예상된 혹은 기대된 결과에 대한 관찰자의 기대나 지식은 자료의 정확성과 신뢰도를 저하시킬 수 있다.
6. 관찰자는 가설로 세운 결과나 치료 목표에 자신의 자료가 합당한지 아닌지에 대해 피드백을 받지 말아야 한다.
7. 관찰자 기대에 의해 발생하는 측정 편향은 연구 가설을 모르는 관찰지를 사용하여 피할 수 있다.
8. 관찰자 반응성은 다른 사람이 자신이 보고한 자료를 평가할 것이라는 관찰자의 인식에서 생겨나는 측정 오류이다.

 

행동 측정의 정확성과 신뢰도 평가하기

1. 자료의 정확성을 평가하는 연구자와 임상가는 (a)분석 초기에 자료가 실험 혹은 치료 결정을 내리기에 충분한지를 결정하고, (b) 특정한 측정 오류를 발견하고 교정하며, (c) 측정 오류의 일관된 양상을 밝혀 측정체계를 전반적으로 향상시키고, (d) 다른 사람에게 자료의 상대적인 신뢰성을 보여 줘야한다.
2. 측정의 정확성에 대한 평가는 각 측정치, 혹은 자료를 참값 측정치와 일치도를 계산하는 간단한 과정이다.
3. 응용행동분석가들이 관심을 갖는 많은 행동의 참값은 분명하거나, 전 세계적으로 받아들여지거나, 지역적 맥락에서 조건적으로 성립될 수 있다. 어떤 행동(예 : 협동놀이)의 참값은 알기 어려운데, 참값을 결정하는 과정은 참값과 비교하기 위해 구한 자료에 사용된 측정 절차와는 달라야만 하기 때문이다.
4. 관찰자가 신뢰롭게 타당하고 정확한 측정체계를 사용했는지 정도를 평가하는 것은 자료의 전반적인 신뢰성에 대한 유용한 지표를 제공한다.
5. 측정의 신뢰도 측정은 관찰자가 같은 행동 사건을 다시 측정할 수 있도록 자연적 혹은 유발된 영속적 행동결과 품을 필요로 한다.
6. 높은 신뢰도가 높은 정확성을 보증하지는 않지만, 낮은 수준의 신뢰도는 측정체계의 문제가 확인되고 보완되기 전까지는 자료가 의심을 받을만 하다는 것을 알려 준다.

행동 측정을 평가하기 위해 관찰자 간 일치도 사용하기

1. ABA에서 가장 보편적으로 시용되는 측정 질에 대한 지표는 둘 혹은 그 이상의 독립적인 관찰자가 같은 사건을 측정한 후에 같은 관찰값을 보고하는지의 정도를 나타내는 관찰자 간 일치도(IOA)이다.
2. 연구자와 임상가는 다음을 위해서 IOA를 사용한다.
   • (a) 새로운 관찰자의 능력을 확인하고,
   • (b) 관찰자 표류를 확인하며 ,
   • (c) 목표행동의 정의가 분명하고 체계가 사용하기에 너무 어렵지는 않은지를 판단하고,
   • (d) 다른 사람들에게 자료의 상대적인 신뢰성을 확신시키기 위해서
3. IOA를 측정하기 위해서는 2명 이상의 관찰자가 다음과 같이 할 수 있어야 한다.
   • (a) 같은 관찰 부호와 측정체계를 사용한다.
   • (b) 같은 피험자와 사건을 관찰하고 측정한다.
   • (c) 다른 관찰자와는 독립적으로 행동을 관찰하고 기록한다.
4. IOA를 계산하는 방법은 다양하며, 각각은 관찰자간의 일치 및 불일치의 정도와 특성에 대해 약간 다른 관점을 갖고 있다.
5. ABA에서 IOA를 계산하는 데 관찰자 간 일치도 퍼센티지가 가장 흔히 사용된다.
6. 사건 기록으로 얻어진 자료의 IOA는 (a) 관찰기간 당 각 관찰자가 기록한 총 횟수, (b) 각 관찰자가 관찰기간 내 작은 간격 동안 행동이 발생했다고 기록한 횟수, (c) 각 관찰자가 시행당 기록한 0 또는 1 의 횟수를 비교하여 계산한다.
7. 총 횟수 IOA는 사건 기록 자료의 가장 간단하고 직접적인 지표이며, 간격당 횟수 IOA는 사건 기록에서 얻어진 자료에서 가장 엄격한 지표이다.
8. 지속시간, 반응잠재기간, 또는 반응 간 시간(IRT)을 측정하여 얻어진 자료의 IOA는 사건 기록 자료와 근본적으로 같은 방식으로 계산된다.
9. 총 지속시간 IOA는 2명의 관찰자가 보고한 두 지속시간 중 짧은 것을 긴 것으로 나누어 계산한다. 평균 발생당 지속시간 IOA는 총 지속시간 자료보다 엄격한 IOA 평가이며, 발생당 지속시간 자료로 계산된다.
10. 간격 자료에서 IOA를 계산하는 데 보편적으로 사용되는 세 가지는 간격당 IOA, 발생간격 IOA, 비발생간격 IOA이다.
11. 간격당 IOA는 관찰자간의 무선적 혹은 우연적 일치에 영향을 받기 쉽기 때문에, 매우 높거나 낮게 발생하는 행동의 경우 관찰자 간 일치도를 과대추정하기 쉽다.
12. 발생간격 IOA는 상대적으로 저빈도로 발생하는 행동에 권장되며, 비발생간격 IOA는 상대적으로 고빈도로 발생하는 행동 측정에 권장된다.
13. IOA 평가는 연구의 각 조건과 단계 동안 측정되어야 하며, 일주일 중 요일, 하루 중 시간, 상황, 그리고 관찰자 간에 고르게 퍼져 있어야 한다.
14. 연구자는 자신의 연구에서 결과에 보고하고 논의하는 것과 같은 수준에서 IOA를 구하고 보고해야만 한다.
15. 우연의 결과로 일치도를 과대추정할 수 있는 방법보다는 좀 더 보수적이고 엄격한 IOA 방법을 사용하여야만 한다.
16. IOA는 최소 80%가 되어야 하지만 확실하게 정해진 기준은 없다. 측정되는 행동의 본질과 자료에서 나타난 행동 변화의 정도가 IOA의 수준을 결정하는 데에 고려되어야 할 것이다.
17. IOA 점수는 서술, 표, 그래프 형식으로 보고될 수 있다.
18. 연구자는 자료의 질을 평가하기 위해 다양한 지표를 사용할 수 있다(예 : 정확성과 IOA, 신뢰도와 IOA).