Serotonin Paper

내적 타당도(Internal invalidity)의 문제는 실험결과로부터 이끌어낸 결론이 실험에서 실제 발생한 내용을 정확히 반영하지 않을 수 있다는 가능성을 말한다. 내적 타당도에 대한 위협은 실험자극 이외의 어떤 요인이 종속변수에 영향을 줄 수 있을 때는 언제든지 존재한다.

캠벨과 스텐리 그리고 쿡과 캠벨은 내적 비타당도를 유발하는 몇가지 요인들을 지적했다. 그 구체적인 내용은 12가지다.

n① 역사(history)
실험이 진행되는 동안, 실험결과에 영향을 줄 수 있는 역사적 사건이 발생할 수 있다. 흑인에 대한 편견을 줄이기 위한 실험이 진행되는 동안 흑인 지도자가 암살된 경우가 한 예다. 흉악한 범죄로 흑인 지도자가 체포된 경우도 편견을 증가시킬 수 있는 또 하나의 예가 된다.

n② 성숙(maturation)
사람들은 지속적으로 성장하며 변화한다. 그리고 그런 변화가 실험결과에 영향을 줄 수 있다. 장기간에 걸친 실험에서 피험자들이 점점 나이가 든다는 사실은 실험결과에 일정한 영향을 미칠 수 있다. 단기간의 실험에서도 피험자들은 점차 피로해지고, 졸리고, 지루해지고, 배가 고파지거나 또는 실험에서 그들의 행동에 영향을 주는 다른 방법들로 인해 변할 수 있다.

n③ 조사(testing)
반복하여 조사하는 과정이 사람들의 행동에 영향을 주어서 실험결과가 영향을 받을 수 있다. 어떤 집단의 편견을 조사하기 위한 방법으로 설문조사를 실시했다고 가정해보자. 그 다음 실험자극을 주고 편견을 다시 조사했다. 우리가 사후 조사를 시행할 무렵, 피험자들은 아마도 편견의 문제에 더욱 민감해지고 설문응답에 더욱 사려 깊어진다. 사실 그들은 우리가 그들이 얼마나 편견에 차 있는가를 발견하고자 시도하고 있다는 것을 눈치 챌 수도 있다. 그러나 편견이 많아 보이기를 원하는 사람은 거의 없기 때문에 그들은 그들이 생각하기에 우리가 원하는 답 또는 자신드을 좋은 사람으로 보이게 하는 답을 의도적으로 제공할 수도 있다.

n④ 측정도구(instrumentation)
사전조사와 사후조사의 측정과정에서는 개념화와 조작화 문제들 중 일부가 일어날 수 있다. 만일 우리가 사전 조사와 사후 조사에서 다른 측정도구로 종속변수를 측정했다면 우리는 어떻게 이들 두 측정이 서로 유사하다고 확신할 수 있는가? 아마도 단순히 사전조사 측정이 사후조사 측정보다 더 민감하기 대문에 편견이 줄어들어 보일 수도 있다 만일 실험자가 측정을 한다면 그들의 기준과 능력이 실험과정에서 변할 수도 있다.

n⑤ 통계적 회귀(statistical regression)
때때로 처음부터 극단적인 종속변수값을 가진 피험자들을 대상으로 실험을 실시하는 것이 적절할 수도 있다. 만일 여러분이 수학 지진아에게 수학을 가르치기 위한 새로운 방법을 시험한다면 그 전부터 수학을 아주 못하는 사람들을 대상으로 실험을 하고자 할 것이다. 그러나 어떤 실험적 개입없이 그런 사람을 그냥 놔둔다면 시간이 지남에 따라 그의 수학성적이 어떻게 될 것 같은지 잠시 생각해 보라. 그들은 처음부터 너무 낮은 점수로 시작했기 때문에 최하우에 그대로 머무르거나 그게 아니면 더 나아질 것이다. 다시 말해, 더 나빠질 수는 없다. 어떤 실험자극 없이도, 전체로서 그 집단은 시간이 지남에 따라 약간의 진전을 보이게 마련이다. 통계학자들은 평균으로의 회귀를 언급하면서, 한 집단으로서 극단적으로 키가 큰 사람들은 자신들보다 키가 작은 아이들을 갖게 될 것이며, 마찬가지로 한 집단으로서 극단적으로 키가 작은 사람들은 자신들보다 키가 큰 아이들을 갖게 될 것이라고 종종 지적한다. 그 결과, 극단적인 점수로 시작한 피험자들에게 일어나는 변화를 실험자극의 효과로 오인할 위험이 있다.

n⑥ 선정오차(selection biases)
앞에서 실험을 위하여 피험자를 선정하고 이들을 실험 집단과 통제 집단으로 배정하는 여러가지 방법들을 검토하면서 선정오차에 관해 논의했다. 만일 실험을 시작할 때 집단들이 서로 유사하지 않는다면, 집단간의 비교에는 아무런 의미가 없다.

n⑦ 피험자 사망(experimental mortality)
사회 실험 때문에 피험자들이 죽을 수도 있겠지만, 피험자 사망이란 이보다는 일반적이고 덜 극단적인 문제를 말한다. 실험집단의 피험자들이 실험 종료되기 전에 실험에서 탈락하는 경우가 종종 있다. 그리고 이러한 탈락은 통계적 비교와 결혼에 영향을 미칠 수 있다. 실험집단과 통제집단, 그리고 사전조사와 사후조사를 갖춘 고전적 실험에서, 실험집단의 고집불통들이 혹은 역사영화를 보면서 너무 화가 나서 실험자에게 자신들은 없었던 것으로 치라고 말하고 나가버렸다고 가정하자. 그 결과, 사후조사까지 남아 있었던 피험자들은 처음부터편견이 덜했던 사람들이기 때문에, 집단 간 비교에서는 편견이 상당히 '감소'한 것으로 나타날 수 있다.

n⑧ 인과적 시간순서(causal time order)
사회연구에서 드물기는 하지만, 실험자극과 종속변수와의 시간적 순서가 불분명한 경우가 생길 수 있다. 이 경우, 실험자극이 종속변수를 유발했다는 결론은 실제 '종속' 변수가 실험자극의 변화를 유발했다는 주장으로 반박을 받을 수 있다.

n⑨ 처치의 확산 또는 모방(diffusion or imitation of treatment)
실헙집단과 통제집단의 피험자들이 서로 대화를 할 수 있을 경우, 실험집단의 피험자들이 실험자극의 일부를 통제집단에 전달할 가능성도 있다. 예를 들어, 흑인 역사영화를 보여주고 사후조사 설문지를 나누어주는 사이에 어느 정도 시간적 간격이 있다고 가정해 보자. 실험 집단의 피험자들이 영화가 어떻더라도 통제집단 피험자들에게 말할 수도 있다. 그런 경우에는 통제집단까지도 자극에 의한 영향을 받으며, 이는 진정한 통제집단일 수 없다. 이 경우, 통제집단이 '오염되었다'고 말한다.

n⑩ 보상(compensation)
특정한 교육 프로그램 같은 실제 생활 상황에 대한 실험에서 통제집단의 피험자들은 종종 그들이 원하는 보상을 얻지 못한다. 그런 경우에 어떤 형태의 보상이 주어져야 한다는 압력이 있을 수 있다. 예를 들어, 병원의사나 간호사들이 통제집단 환자에 대해 미안함을 느끼고 그들에게 특별히 '따뜻한 배려'를 제공할 수도 있다. 이 경우, 통제집단은 더 이상 진정한 통제집단이 될 수 없다.

n⑪ 보상경쟁 (compensatory rivalry)
실생활 실험에서 실험자극이 주어지지 않은 피험자들은 더 열심히 노력해서 그들이 받지 못한 자극에 대한 보상을 받으려고 시도할 수 있다. 실험적 수학프로그램이 실험자극이라고 가정하자. 통제집단은 '특별한' 실험집단의 피험자들을 이기려고 전보다 더 열심히 수학공부를 할 수 있다.

n⑫ 사기저하(demoralization)
통제 집단이 박탈감을 느껴서 포기할 수도 있다. 교육실험에서 사기가 저하된 통제집단 피험자들은 공부하기를 그만두고 장난치고 떠들거나 화를 낼 수도 있다.

n※ 출처 : 사회조사방법론(The Practice of Socail Research) by Earl R. Babbie