인과관계를 결정할 수 없는 연구설계 방법

실험연구

1. 실험연구와 실험 (교재 p407~)

1) 실험연구의 의의

실험연구란 실험을 통하여 자료를 수집하고 분석하는 연구이다. 실험은 연구자가 하나 이상의 독립변수를 의식적으로 조작하거나 외생변수를 통제하여 그 독립변수에 미치는 영향을 측정하거나 독립변수로 인한 종속변수의 변화상태를 관찰하는 것이다.

일반적으로 실험에 있어서는 외부로부터의 독립변수가 아닌 제 3의 변수가 종속변수에 미치는 영향을 통제하고, 독립변수를 하나 이상의 집단에 도입하고, 어느 한 집단에는 도입하지 않은 후 양집단간의 차이를 관찰함으로써 독립변수가 종속변수에 미치는 효과를 측정한다. 여기서 실험조치를 실시한 집단을 실험집단이라고 하고, 독립변수의 조작을 하지 않는 즉 실험조치를 실시하지 않은 비교집단을 통제집단이라고 한다. 실험은 독립변수의 효과적인 조작을 통하여 실험집단과 통제집단을 구분하고 실험집단과 통제집단을 비교하여 효과를 평가한다. 이 때의 조작은 사실을 왜곡하려는 조작을 의미하는 것이 아니라 어떤 현상이 일어나는 조건을 조작하는 것을 실험조건의 조작이라고 한다.

사회과학에서 모든 연구는 가능한 한 실험을 통해 수행되는 것이 바람직하겠으나 실제상으로는 연구대상의 성격상 실험적 연구가 대단히 제약되어 있다.

2) 실험의 특징

① 실험은 효율적이고 효과적으로 변수를 조작하고 통제하려 한다.

② 실험은 연구대상에 대한 어떤 변수간의 원인-결과관계, 즉 인과관계 내지 인과성을 주로 파악한다.

③ 실험은 보다 체계적이고 정밀하게 인과관계를 파악하고, 독립변수를 의식적으로 조작한다는 측면에서 실태조사와 다르다. 실태조사는 변수를 있는 그대로 관찰하는 것인데 반해, 실험은 인위적으로 상황을 엄격하고도 명백하게 조작하여 외생변수를 통제하고 독립변수를 조작함으로써 독립변수가 종속변수에 미치는 영향을 관찰하는데 주된 목적이 있다.

④ 실험은 사후연구와 구별된다. 사후연구가 시간적으로 이미 발생한 변수관계에 대한 파악이라면 실험은 앞으로 일어날 변수관계에 대한 파악이다. 또한 사후연구는 변수조작을 할 수 없다.

⑤ 실험은 실태조사의 성격을 가지면서도 사후연구의 성격을 갖는 현지연구와 구별된다. 현지연구는 자연적인 조건하에서 관찰이 이루어지는 장점이 있으나 관찰에 있어 변수의 통제가 불가능하다는 단점이 있다. 반면 실험은 실험조건을 인위적으로 조작한다는 단점이 있으나 변수의 조작과 통제가 이루어진다는 장점이 있다.

3) 실험의 목적

실험의 목적은 인과관계를 추론하려는 연구자의 능력을 혼동시킬 수 있는 다른 변수들을 통제하면서 독립변수(실험변수, 설명변수)가 종속변수에 미치는 효과를 측정하는 것이다.

① 실험은 순수하고 오염되지 않은 통제된 조건하에서 독립변수와 종속변수간의 관계를 파악한다.

② 실험은 기존의 이론이나 연구결과로부터 도출된 명제나 가설에 대한 검정을 시도한다. 때로는 이미 제시된 명제 등에 대한 타당성 여부를 검정하기도 하고 기존의 이론을 지지하거나 반증하기도 한다.

③ 실험은 이론체계를 정립하는데 궁극적인 목적이 있다. 실험은 새로운 가설을 형성함으로써 이론체계를 정립하는데 기여한다.

④ 실험은 새로운 가설이나 연구문제를 발견하는데 기여한다.

2. 실험연구설계 일반

1) 실험연구설계의 기본원리

실험연구설계의 원리는 실험연구설계의 근본 목적을 효과적으로 달성하고, 이 목적을 달성하는데 저해가 되는 요인들을 극복하기 위한 기본적인 지침이다. 일반적으로 제시되는 실험설계의 기본원리는 조사문제에 대한 해답을 제공하고 분산을 통제하는 것이다.

(1) 연구문제에 대한 해답을 제공

실험연구설계는 실험의 근본 목적인 연구문제에 대한 해답을 효과적으로 얻기 위하여 가설상에 설정된 변수관계를 실제로 검증하기 위한 실천계획이다. 실험연구설계는 가설상의 변수관계를 검증하고 연구문제에 대해 해답을 제공해 줄 수 있어야 한다. 따라서 실험연구설계의 기본원리 가운데 하나는 실험연구설계는 연구문제에 대한 해답을 효과적으로 제공하고, 가설을 적절히 검증할 수 있도록 작성되어야 한다는 점이다.

(2) 분산의 통제

분산이란 자료의 중앙인 평균을 중심으로 관측값들이 퍼진 정도를 말한다. 즉, 평균치에서부터 각각의 값이 어느정도 떨어져 분포되어 있는가를 측정하는데 사용되는 개념이다. 실험의 타당성을 확보하기 위해서는 실험변수의 분산을 극대화하고, 외생변수를 통제하며 오차분산을 최소화하여야 한다.

① 독립변수 분산의 극대화

실험연구에 있어서 실험자의 가장 분명한 관심은 독립변수 분산을 극대화하는 것이다. 실험변수분산은 실험자가 독립변수를 조작함으로써 종속변수에 나타나는 체계적 분산이다. 하지만 독립변수의 조작에 의해 종속변수의 분산이 크게 나타난다면 독립변수가 실질적으로 종속변수에 의미있는 영향을 미친다고 볼 수 있다.

② 외부변수의 통제

외생변수의 통제는 독립변수 이외의 변수들, 즉, 외생변수들의 영향을 최소화시키거나 무효화하거나 고립화하는 것을 말한다. 즉 외생변수분산의 효과를 거의 없게 하거나 전혀 없게 만드는 것을 말한다.

③ 오차분산의 최소화

오차분산은 확인되지 않은 조사 대상자의 개인적 차이나 측정시 발생하는 오차와 관련되어 발생하는 변동이나 변화를 말한다. 연구자가 모든 변화요인들을 알 수 있다면 그래서 모든 변화요인들을 실험에 고려할 수 있다면 체계적 분산만 존재하지 오차분산은 존재하지 않는다. 체계적 분산의 경우 본질적으로 예측이 가능하지만 오차분산은 예측할 수가 없다.

■ 오차분산의 발생원인

① 연구자가 확인할 수 없거나 통제할 수 없는 조사대상자의 개인적 차이에 따른 분산이다. 이러한 개인적 차이에 따른 분산이 확인되거나 통제될 수 있다면 그것은 체계적 분산이 될 것이다.

② 측정의 오차. 실험과정에서 나타나는 반응의 차이, 추측, 무관심, 가벼운 일시적 피로, 기록의 실수, 조사대상자에 대한 감정상태의 변화, 측정도구의 차이 등을 들 수 있다.

2) 실험연구설계의 기본구조

실험연구설계는 독립변수의 조작, 외생변수의 통제, 실험대상의 무작위화가 되어야 한다.

(1) 독립변수(실험변수)의 조작

독립변수(실험변수)의 조작이란 연구의 초점이 되는 현상 가운데 원인이 되는 변수인 독립변수를 실험자가 인위적으로 변화시키는 것을 말한다. 실험자가 인위적으로 독립변수의 종류 및 변화의 강도를 조절하여 실험대상에 가함으로써 실험변수의 변화가 결과인 종속변수에 미치는 영향을 관찰하는 것을 의미한다.

ex) 아동미술치료 프로그램에서 미술치료가 아동의 심리상태에 어떠한 영향을 미치는가를 알아볼 때 실험자는 한 전체 아동을 두 집단으로 나누고, 한 집단에는 미술프로그램을 실시하고 다른 집단에게는 미술치료 프로그램을 실시하지 않고, 양집단간의 심리상태를 비교하게 된다. 이 때 미술치료프로그램이 독립변수이고 실험자가 프로그램을 실시하거나 실시하지 않는 것이 독립변수의 조작이다.

(2) 외생변수의 통제

외생변수란 연구대상이 되는 현상 가운데 원인이 되는 독립변수와 결과인 종속변수 이외의 기타 변수들로서 종속변수에 영향을 미칠 수 있는 변수들을 말한다. 실험이 외생변수의 영향을 체계적으로 예방하거나 제거할 수 있도록 설계되어 질 때 실험은 가장 과학적이고 정밀한 조사방법이 될 수 있다. 따라서 실험연구설계를 통해서 이러한 외생변수들의 영향을 예방하거나 제거함으로써 관련 변수들간의 인과관계를 명확히 규명할 수 있어야 한다.

(3) 실험대상의 무작위화

① 무작위표집은 실험대상을 확률표집방법에 의거 무작위적으로 실험대상을 모집단으로부터 추출하는 것을 말한다. 무작위표집은 일반화가능성을 증가시킴으로써 외적 타당도를 향상시킨다.

② 무작위 할당(배치)는 연구대상자들을 실험집단 및 통제집단에 무작위적으로 배치하는 방법이다. 무작위 할당은 난수표나 번호를 적은 은행알 등을 이용하여 실험집단과 통제집단을 배치할 수도 있다.

3) 실험연구설계의 기본 절차

ⓐ 대상선정: 연구대상을 선정

ⓑ 실험환경을 선정: 실험을 실시할 환경(실험실 또는 현장)을 선정

ⓒ 무작위 표집: 연구대상자를 무작위적으로 표집

ⓓ 무작위 할당: 연구대상자로 추출된 표본을 무작위적으로 실험집단과 통제집단에 배치

ⓔ 사전검사: 연구대상자의 특성인 종속변수에 대한 사전검사를 실험집단과 통제집단에 실시

ⓕ 실험조치: 실험집단에 대해서만 실험조치(독립변수, 실험변수)를 실시하고, 통제집단에 대해서는 실험조치를 실시하지 않음

ⓖ 사후검사: 연구대상자의 특성인 종속변수에 대한 사후검사를 실험집단과 통제집단에 대해 실시

ⓗ 비교-검증: 사후검사와 사전검사를 실시했을 때 실험집단과 통제집단의 종속변수 간에 통계적으로 의미있는 변화가 있었는지를 비교검토함. 즉 사후검사 측정치와 사전검사측정치간에 통계적으로 의미가 있을 만큼 차이가 있는지를 비교 검토함. 유의미한 차이가 있으면 독립변수와 종속변수간에 인과관계를 갖는다는 가설은 수용이 되고, 유의미한 차이가 없으면 그 가설은 기각이 된다.

< 12주 : 2강 >

4) 인과관계의 증명을 위한 실험연구설계 기본요소

실험연구설계는 독립변수와 종속변수간의 인과관계를 밝히기 위한 것이다. 이를 증명하기 위해 실질적으로 필요한 실험연구설계의 기본요소는 비교, 조작, 통제 세가지가 있다.

(1) 비교

비교는 실험조치를 실시한 집단과 실시하지 않은 집단간에 종속변수를 비교하거나 특정집단의 사람들에게 실험을 실행하기 전과 실행한 후의 종속변수에 차이가 있는지 알아보는 것이다. 비교의 방법을 통해 두 변수간에 상관관계가 있는지를 확인할 수 있다.

사회기술훈련과 장애인 근로자의 직장만족도의 상관관계를 조사

(2) 조작

조작은 독립변수를 의도적으로 특정시기에 도입하거나 실행시킨 후 종속변수의 변화를 관찰함으로써 독립변수의 도입 이전과 이후의 관계를 파악하는 것이다. 또는 의도적으로 하나 또는 둘 이상의 집단에는 독립변수를 도입하고 다른 한 집단에는 독립변수를 도입하지 않음으로써 양 집단의 종속변수간의 차이를 파악하고, 독립변수의 도입과 그에 따른 종속변수의 변화관계를 규명할 수 있다.

(3) 통제

실험의 타당도를 저해하는 요인들을 파악한 후 이러한 요인들을 예방하거나 제거할 수 있도록 실험을 설계하여야 한다. 실험의 타당도를 저해하는 요인으로는 내적타당도 저해요인과 외적타당도 저해요인이 있다. 외적타당도와 내적타당도 가운에 우선적으로 내적 타당도를 높이기 위해 노력해야 한다.

ex) 집단활동을 실시하면 청소년들의 학업스트레스가 줄어들 것이다-가설

실험집단과 통제집단으로 나누고 실험집단에만 실시한 결과 청소년들의 학업스트레스가 현격히 줄어들었다. 그런데 이 효과는 실험조치인 집단활동의 영향일 수도 있지만 이 기간 동안 실시한 교내 예술제의 영향일 수도 있다 이 때 교재 예술제의 영향은 통제되어야 함.

3. 실험연구설계의 유형

실험연구설계는 독립변수의 조작, 외생변수의 통제, 실험대상의 무작위화라는 실험설계의 기본조건을 어느 정도 충족하고 있느냐에 따라 실험설계, 준실험설계, 전실험설계, 비실험설계로 분류된다.

■ 실험설계: 실험대상의 무작위 할당, 실험변수의 조작, 외생변수의 통제 등 실험조건을 모두 갖춘 설계로서 순수실험설계, 진실실험설계 등으로도 불린다.

■ 준실험설계: 실험설계가 갖추고 있는 비교와 통제 등의 조건의 약화된 설계로서 유사실험설계 또는 의사실험설계로도 불린다. 실험설계와 유사한 설계

■ 전실험설계: 실험설계의 기본조건 가운데 일부만 갖추어서 내적타당도를 저해하는 내적-외적 요인들에 대한 통제가 제대로 이루어지지 않은 설계이다.

■ 비실험설계: 실험적 요소를 전혀 갖추지 못한 상태의 설계이다.

1) 실험설계

실험설계는 내적 타당도를 저해하는 요인들을 최대로 통제한 설계이다. 실험의 기본요소는 연구대상자를 무작위로 실험집단과 통제집단에 배치하고 일반적으로 프로그램이나 개입방법인 독립변수를 실험집단에만 도입하고 통제집단에는 도입하지 않으며 실험집단과 통제집단에 있어서의 변화를 비교하는 것이다. 실험설계의 4가지 기본요소는 통제집단, 무작위할당, 독립변수의 조작, 사전-사후검사이다. 구체적 형태는 통제집단사전사후검사 설계, 통제집단사후검사설계, 솔로몬 4집단비교설계, 요인설계, 가실험통제집단설계가 있다.

■ 통제집단사전사후설계

이 설계는 인과관계를 추정하기 위한 가장 전형적인 설계이다. 이 설계는 연구대상자를 실험집단과 통제집단에 무작위적으로 배치하고, 실험처치를 실시하기 전에 양 집단을 사전검사하고, 실험처치를 실시한 후 양집단을 다시 사후검사하여 사전검사의 결과와 사후검사의 결과간의 차이를 비교하는 설계이다. 통제집단사전사후검사설계는 사전검사를 실시함으로써 사전검사에 의한 검사 및 도구사용 등의 요인들로 인해 내적 타당도가 저해되는 경우가 있지만 전반적으로 다른 내적 타당도 저해요인들을 통제할 수 있어 내적 타당도는 높다고 할 수 있다. 그러나 사전검사와 실험처치가 상호작용을 일으켜서 생기는 상호작용시험효과를 제거할 수 없다. 상호작용시험효과는 사전측정이 실험대상자가 받아들이는 실험변수의 강도에 영향을 미쳐서 발생하는 것이다. 상호작용시험효과는 실험결과를 그 상황만의 특수한 것으로 만들어서 다른 상황에 일반적으로 적용할 수 없게 만들므로 외적 타당도는 낮아지게 된다.

2) 준실험설계

준실험설계는 반실험설계, 의사실험설계 또는 유사실험설계로도 불린다. 준실험설계는 실험설계의 4가지 기본요소인 통제집단, 무작위할당, 독립변수의 조작, 사전-사후검사 가운데 한두 요소가 결여된 설계이다.

준실험조사설계의 형태들은 내적타당도에 있어서는 실험설계의 형태들보다 떨어지지만 전실험설계의 형태들보다는 상당히 강한 편이다.

실험설계는 가장 우수한 인과관계 증명방법이지만 인위적인 통제와 조작이 어렵기 때문에 사회적 현상을 설명하는데 적용하기 곤란한 경우가 많이 있다. 따라서 현실적인 이유로 인해 준실험설계가 더 많이 이용되고 있다.

* 단순시계열설계

단순시계열설계는 실험변수를 노출시키기 전후에 일정한 기간을 두고 정기적으로 몇차례의 결과변수에 대한 측정을 하는 방법이다. 통제집단(비교집단)을 설정하기 곤란한 경우에 한 집단을 선택해서 독립변수의 조작이나 독립변수의 노출전에 여러 번 관찰하고 독립변수 도입 후에 다시 여러 번 관찰하여 전후의 점수를 비교하는 것이다. 대체로 3회이상의 관찰내지 측정을 행한다. 단순시계열설계에서는 통제집단을 별도로 갖지 않고, 그 대신에 실험처치로 인한 효과를 확인하기 위해서 동일 집단내에서 여러번에 걸쳐 실시된 사전검사를 통해서 확인한다.

ex) 장애인근로자 전용공장인 무궁화복지공장에 근무하는 장애인근로자 가운데 임의로 15명을 선택하여 장애인근로자의 직장적응을 위한 사회기술훈련을 실시하고 훈련 실시 전 4회(1주-4주), 훈련 실시 후 4회(5주-8주) 관찰을 하였다. 관찰값은 매번 관찰할 때 장애인근로자 15명의 평균치로 기록하였다. 훈련실시 전에 비해 훈련실시 후 장애인근로자의 직장만족도가 현장만족도(종속변수)를 증진시킨다고 말할 수 있다.

단순시계열설계는 비교적 높은 내적 타당도를 확보할 수 있다. 그러나 통제집단을 사용하지 않기 때문에 우연한 사건들의 영향일 가능성을 배제하지 못한다. 또한 단순시계열설계는 반복된 검사로 인한 검사나 도구사용 효과와 독립변수간 상호작용에 의해 인과관계가 특정 조사에서만 나타날 수 있어 외적타당도가 저해될 가능성이 있다. 이러한 문제점에도 불구하고 단순시계열설계는 실천현장에서 종종 사용된다.

3) 전실험조사설계

전실험조사설계는 비교집단이 선정되지 않거나 비교집단이 선정되어도 집단간의 동질성이 확보되지 않고, 독립변수의 조작에 의한 변화의 관찰이 한두 번 정도로 제한되어 있어 내적 및 외적 타당도 저해요인이 거의 통제되지 못하게 된다. 즉 전실험조사설계는 변수간의 관계를 인과적인 것으로 타당화시킬 수 있는 구조를 갖추고 있지 못하므로 이러한 설계에서 인과관계를 추정하는 것은 그 신빙성이 대단히 낮다.

* 단일집단사전사후검사설계

단일집단사전사후검사설계는 조사대상자에 대해서 사전검사를 실시하고, 독립변수를 도입한 후 사후검사를 실시하여 독립변수 도입 전후 사전사후검사의 점수를 비교하여 독립변수와 종속변수간의 인과관계를 추정하려는 것이다.

이 설계는 내적 타당도 및 외적 타당도를 저해하는 많은 요인들이 작용할 수 있기 때문에 독립변수와 종속변수간의 인과관계를 추론하거나 다른 상황에까지 일반화시키려 하는데는 많은 어려움이 있다.

< 12주 : 3강 >

4) 비실험설계

비실험설계는 실험적인 연구방법을 사용할 수 없는 상황에 적용되는 실험연구설계이다.

비실험설계에서는 X→Y라는 가설을 검증하기 위하여 Y를 먼저 관찰하고 X는 경우에 따라 Y의 관찰 전후 또는 동시에 관찰하는데 X와 Y를 동시에 관찰하는 경우가 가장 많다. 비실험적 설계는 기본적인 논리와 가설을 경험적으로 증명한다는 목적에서는 실험설계와 같다. 비실험설계와 실험설계의 기본적인 차이는 독립변수에 대한 직접적인 조작과 다른 조건의 통제이다. 독립변수의 직접적인 조작은 조사가 독립변수를 의식적으로 조작하여 독립변수에 변화를 가하는 것을 확신할 수 있게 되는 것이다. 그리고 다른 조건의 통제는 무작위할당을 통하여 특히 내적타당도를 저해할 수 있는 요인들을 배제하여 실험집단과 통제집단을 동질화시킴으로써 독립변수만의 영향을 보다 확실히 할 수 있게 하는 것이다.

* 비실험적요인설계

실험설계와 요인설계에서 무작위할당을 실시하지 않는 것을 제외하고는 거의 유사하다. 비실험적 요인설계는 두가지 이상의 독립변수와 하나의 종속변수의 관계 및 독립변수간의 상호작용관계를 교차분석을 통하여 확인하려는 것이다.

ex) 청소년들의 도덕지수 향상에 종교활동과 자원봉사활동 경험이 관계가 있다면 다음과 같은 분석틀에 의해 요인설계가 될 수 있다.

관찰에 의해 종교활동 참여/비참여, 자원봉사경험 있음/없음으로 4집단으로 나누고, 종속변수인 도덕지수와 각각의 개별적인 독립변수가 독립적으로 그리고 상호작용하여 어떻게 종속변수에 영향을 미치는지를 파악한다.

4. 실험수행과정

㉠ 1단계: 조사문제의 결정

실험을 수행하기 전에 무엇을 조사할 것인가를 결정하여야 한다. 특정사람이나 사물 또는 현상이 실제 존재하는지, 어떻게 존재하는지, 얼마나 존재하는지, 왜, 언제, 어디서 존재하는지 등에 관해 상세하고 정확하게 규정하여 체계적으로 정리하는 것이다.

㉡ 2단계: 이론의 검토

조사문제에 대해 해답을 제공해 줄 수 있는 기존의 이론들을 검토한다. 이론은 과학적 연구의 기본틀을 제공해 줄 뿐만 아니라 현상을 개념적으로 이해할 수 있도록 하여주고, 현상의 문제를 어떻게 해결해 나가야 할 것인가에 대한 지침과 방향을 제시하여 준다. 또한 새로운 사실을 예측하게 하여 주고, 가설을 도출하는데 필요한 정보를 제공한다.

㉢ 3단계: 가설의 설정

가설은 어떤 조사문제에 대해서 잠정적으로 해답을 제시한다. 이러한 잠정적인 해답은 향후의 실험연구결과에 따라 수용될 수도 있고, 기각될 수도 있다. 가설은 실험연구활동의 지침을 제공해 준다.

㉣ 4단계: 변수의 선정

연구대상에 영향을 미치는 많은 변수 가운데 일정한 주요변수를 선정해 놓고, 그들 중에서 보다 중요한 변수를 순서적으로 선정하여 그 가운데 가장 중요한 변수를 그 실험에 도입하고 나머지는 상수로 고정시켜 놓는다.

㉤ 5단계: 변수검정의 수준결정

실험에 있어 독립변수 속성의 수준 내지 범위를 정함에 있어 어느 수준을 가질 것인가를 결정해야 한다. 그 결정은 주로 연구자의 지식과 실험상황에 따라 이루어진다.

ex) 아동의 발표력을 측정함에 있어 10분동안 발표할 것인가, 20분간 발표할 것인가, 30분간 발표할 것인가를 놓고 발표력을 측정하는데 적정한 수준(예: 시간)을 결정한다.

㉥ 6단계: 표본추출

실험을 위해 가장 좋은 표본추출방법은 무작위표집을 사용하는 것이다.

㉦ 7단계: 표본의 크기

실험을 위해 얼마나 많은 수의 표본을 선택해야 할 것인가, 즉 표본의 크기를 결정하는데는 여러 가지 요인들을 고려해야 한다. (신뢰도수준, 허용오차의 범위, 확보할 수 있는 시간-비용-인력)

㉧ 8단계: 실험의 세부계획

실험에 있어 상수와 변수를 잘 구별하여 확정하고, 상수에 있어서는 실험도중 어떤 변화가 일어나지 않도록 고정하여야 한다. 즉 연구에 있어 일정한 독립변수의 조작영향을 제외하는 실험집단과 통제집단이 갖는 모든 조건이 동일한 상태를 뜻한다.

㉨ 제9단계: 실험대상자의 할당

실험대상물을 하나 이상의 실험집단과 일반적으로 하나의 통제집단에 속하도록 분배한다. 실험집단과 통제집단의 구성을 위해 실험대상의 분배는 무작위적으로 하여야 한다.

㉩ 제10단계: 실험설계

실험설계란 실험을 하기 위한 계획이자 전략이다. 실험설계에는 다양한 유형이 있는데 현실적인 제약조건을 고려해 적절한 실험설계 유형을 택한다.

㉪ 제11단계: 예비검사

본 실험을 위한 예비실험을 한다. 예비실험으로 하여 본 실험에 있어 가능한 한 오차가 없도록 만들고 보다 합리적인 실험조사의 토대를 구축한다.

㉫ 제12단계: 본 실험 실시

본 실험을 실시하면서 조사문제를 해결하는데 도움이 되는 필요한 자료를 체계적으로 정확히 수집한다.

㉬ 제13단계: 자료의 분석과 해석

실험에 의하여 수집된 자료를 계획된 통계적 기술에 의하여 분석하고 해석한다. 이는 실태조사 등과 동일한 과정이다.

5. 실험연구의 장단점

(1) 장점

① 실험연구를 통해 인과관계를 명확히 규명할 수 있다. 실험연구에서는 연구자가 의도하는 바에 따라 집단을 통제하고 변수를 조작하면서 그 효과를 관찰할 수 있기 때문에 어느 방법보다도 어느 방법보다도 인과관계가 쉽게 파악될 수 있다.

② 순수실험의 경우 최대한의 통제를 행하므로 외생적 요인들로 인한 오류 가능성을 줄이기 때문에 더 작은 크기의 표본을 가지고 더 많은 필요한 자료를 얻을 수 있다.

③ 종단적 분석이 가능하다. 실험은 장기간에 걸친 연구를 할 수 있는 기회를 제공해준다. 실험에서 조사자는 일반적으로 일정기간에 걸쳐 관찰하고 자료를 수집할 수 있다. 따라서 단기 실험이라 할지라도 서베이와 같은 횡단조사보다 변화상황을 연구할 수 있는 기회를 더 많이 제공한다.

④ 연구방향을 조정할 수 있다. 실험연구는 실험조건을 연구자가 임의로 조작하여 연구자가 원하는 방향으로 연구를 진행시킬 수 있다.

⑤ 반복적 연구가 가능하다. 실험상황을 다시 조성하게 되면 반복적으로 동일하거나 유사한 연구를 다시 수행할 수 있어 보편성과 일반성을 높일 수 있다.

(2) 단점

① 인위적 환경이다. 실험환경이 인위적으로 조성되기 때문에 현실성이 결여된다. 인위적인 실험적 상황에서 끌어낸 결과는 현존상황에 일반화할 수 없다는 제약이 뒤따른다.

② 실험자 효과이다. 실험자의 기대는 실험결과에 영향을 미칠 수 있다. 실험자가 조사대상자에게 암시를 주게 되면 그들은 실험자가 바라는 대로 응답하거나 반응한다. 따라서 실험자는 실험결과를 그가 세운 가설에 보다 일치되도록 잘못 해석한다.

③ 통제의 결여이다. 실험대상자들을 실험실에 배치하게 되면 그들이 조사하고자 하는 바로 그 행동에 변화가 나타날 것이고, 반면에 자연적인 환경에서 실험을 하게 되면 실험에 나쁜 영향을 미치는 외생변수 모두를 통제할 수 없기 때문에 종종 갈등에 빠지게 된다.

④ 표본의 크기이다. 표본의 크기가 큰 경우 서베이에서는 조사가 가능하지만 실험실에서는 거의 불가능하다. 실험은 소집단의 심리상태를 연구하는데는 적합한 방법이다.

⑤ 표본의 대표성이다. 실험을 위해 선정된 실험대상은 연구자가 전제하고 있는 모집단의 대상과 동일하지 않은 경우가 많다.

⑥ 가치-윤리의 문제이다. 실험은 가치적 또는 윤리적 문제를 제대로 다룰 수 없으므로 항상 가치나 윤리문제가 개입되는 인간행태문제에 관한 실험적 연구결과는 항상 한계가 있다. 즉 가치와 윤리적인 측면에서 실험이 용인될 수 없을 수 있다.

⑦ 실험의 조작화 조건은 적용범위가 제한되므로 복잡한 사회현상을 규명하기는 어렵다.

6. 비실험연구설계의 장단점

현실적인 한계와 용이성 때문에 사회과학 전반에 있어 실제로 비실험연구가 많이 이용되고 있다. 많은 경우 연구나 관심의 대상이 되는 현상이나 변수들은 여러 이유로 통제가 불가능하거나 어려우므로 비실험연구설계를 적용하지 않을 수 없다. 심리학, 사회학, 교육학, 사회복지학 등 많은 경우 비실험연구가 이용된다.

그러나 독립변수를 조작할 수 없는 점, 연구대상을 난선화할 수 없는 점, 부적절한 해석을 하게 될 위험성이 있는 점이다. 다시 말해서 비실험연구는 실험연구에 비하여 연구관련상황이나 조건을 통제할 수 있는 능력이 약하거나 없으므로 연구결과로부터 인과관계를 추정하는 것은 위험성이 크다.

실험연구에서는 대부분의 경우 가설이 설정되지만 비실험연구에서는 가설이 설정되지 않는 경우가 많다. 비실험연구는 내적타당도에 있어서 실험연구나 의사실험연구보다 낮고 외적타당도에 있어서는 높은 편이다.