기초 연구방법론

사회과학, 특히 심리학 분야의 기초 연구방법론에 대해 다룬다.

 

연구란 무엇인가?

초기 관측 -> 이론 생성 및 검증

연구방법론을 이해하기 앞서, 무엇이 '연구(Research)'인지 알아야한다.

 

연구(Research)는  'a detailed study of a subject, especially in order to discover (new) information or reach a (new) understanding'이다. 즉, 우리는 모집단(real world)에 대해 어떠한 궁금증이 생기고, 그것을 분석을 통해 맞는지 확인하고 싶다.

그런데 모든 사람/상황을 조사할 수 없기에, 모집단을 대표하는 표본으로 우리의 질문이 맞는지 확인하고, 그것을 모집단에 '일반화(generalization)'한다. 이를 위해 합리적이고 신뢰성 있게 모집단을 추측하고 효과를 검증하기 위한 experimental, statistical 연구방법이 사용된다. 

 

과학적 방법론 : 귀납법 VS 연역법

이러한 일반화된 정보를 얻는 방법에는 크게 두가지가 있다. 귀납법과 연역법이다.

귀납법(inductive reasoning): 구체적 '사실/관찰' ->  '일반적인 결론'(bottom-up)

• hypotehsis generating : observations/data (real case) -> analyze pattern -> hypothesis -> theory(logic)
     ex) '백조 한 마리는 하얗다(사례/사실) -> 백조 100마리는 하얗다(사례/사실) -> 모든 백조는 하얗다(결론)'
•  다윈, 뉴턴, 프로이드 등 진리를 추론하는 방법으로는 개별 관찰 현상으로 일반적 결론을 내는 '귀납법'을 사용
• 귀납법의 한계: 17세기 말까지 모든 swan은 백조라는 진리를 믿고 있었다. 1697년 흑조가 발견된 후 백조 Only 진리는 무너지게되었다. 이렇듯, 한정적 관찰로부터의 진술을 모든 것에 대한 진술로 논리를 비약하는 점이 비판되며 '입증은 못하나 반증은 가능한' 반증가능성이 과학의 핵심으로 주장되었다.

역연법(deductive reasoning): 일반적 사실(전제) -> 새로운 판단('logic') 유도(top-down)(예, 삼단논법)

• hypothesis testing: theory(hypotehsis, logic) -> hypothesis -> empirical data(검증) -> confirm
• 귀납법과 다른 점 : 관찰로 이론(결론)에 다다르는 것이 아닌, 이론/가설으로 시작하여 검증(반증)을 통해 결론을 낸다. 
• 검증방법(Karl Popper): '모든 swan은 하얗다'는 가설에서 모든 사례 검증(입증)하는 것은 불가능(귀납법 비판), 과학자들은 반증 사례('햐앟지 않은 swan이 있다')를 찾고(영가설), 찾지 못하면 주장하는 가설을 tentatively 입증하는 효과를 낸다.
  -> 반증가능성(falsifiability) : '반증이 가능한 이론/주장/가설'을 가진 것, 반증이 가능하여 가설을 입증하는 효과(과학의 중심)
• 이를 기반으로 과학은 연구자의 주장(대립가설)과 이를 반증하는 주장(영가설)에 기반된 연구방법론이 사용
  ex) H₀ : extraverts are no happier than introverts (μ₁ = μ₂) 
        H₁ : extraverts are happier than introverts(μ₁ ≠ μ₂) 
        - researchers will try to find where E are no happier than I(반증).
          But if this case is so few that it is not a chance that E are no happier than I,
          then E might be happier than I, thus reject H₀ and accetp H₁

참고:
https://www.simplypsychology.org/Karl-Popper.html

https://www.youtube.com/watch?v=KCSa_mUIarg

 

 

영가설 VS 대립가설

- 연구자가 주장하는 가설(H₁)은 입증할 수 없다, 검증을 통해 영가설을 반증함으로 H₁ tentatively 채택한다. (reject H₀, accept H₁)

• 영가설(Null Hypothesis) : 변화/차이가 없으며, 있다면 우연(오차)인 가설; 연구자의 주장을 반증하기 위한 가설(falsifiability)
• 대립가설(Alternative Hypothesis) : 연구자의 주장, 변화/차이가 있으며, 이는 우연(오차)가 아닌 가설 (유의미, significant)
  - 영가설 기각의 논리 : 변화/차이가 없을 확률이 우연이 아닐만큼 적다면 영가설이 틀리고 대립가설이 맞을 수 있다.
  - 유의 수준(significant level) : alpha level; 관례적으로, .5(5%), .01(1%), .001(0.1%)를 사용한다.
  - 기각 영역(ciritcal region, rejection region) : 영가설을 기각하는 영역 (⍺ = .05, 양방향 검정: 각 2.5%, 일방향 검정: 5%)
  - 기각 판단 :  유의확률(probability; p) < 유의수준(alpha level, ⍺)- 변화/차이가 없을 확률이 5%미만 -> 우연이 X
      ex> 명상을 했을 때 불면증이 해소되지 않을 확률이 1%보다 적다면 (p < .01), 명상이 불면증 해소에 도움이 되다는 가설 채택

* 교수님이 강조하신 부분: 연구를 통해 우리가 증명(proven)되었다는 말은 하지 말아야한다. 영가설이 기각되고 대립가설이 채택되어도 '일단 지금은 채택한다'의 느낌, 그 어떤 결과도 변화지 않는 증명/진리는 될 수 없다.

 

 

 

무엇을 어떻게 측정할 것인가

모든 과학은 측정을 할 수 있어야하며, 이론을 검증하려면 측정가능한 자료를 수집해야한다. 

이에 1) 무엇을 측정할지, 2) 어떻게 측정할지를 알아보자.

 

자료 수집 : 무엇을 측정할 것인가?

 

1. 변수(Variable) : 변할 수 있는 수를 의미한다. 가설에서는 크게 두가지 변수의 개념이 있다.

• 독립변수(independent variable) : 가설에서 '원인'에 해당되어, 다른 변수에 종속/의존하지 않는 변수, 
   a.k.a 예측변수(predictor variable)
• 종속변수(dependent variable) : 가설에서 '결과(효과)'에 해당되어, 다른 변수(독립변수)에 종속/의존되는 변수
   a.k.a. 결과변수(outcome variable)

  +  혼입변수(confounding variable) : 외재(xetraneous), 제 3(third) - 허위관계발생, need to be controlled

 

2. 측정 수준 (Level of measurement) : 측정 대상과 그 측정 대상이 나타나는 수치 사이의 관계

• Qualitative(질적변수)/ 범주형변수(categorical variable) : 범주로 구성된 변수 
  
  • 명목척도(nominal) : 이름/번호 등 의미에서 동등한 변수, 순서의미 X , ex) 거주 도시
    - 이분변수(dichotomous)/ 이진변수(binary) : 두가지 범주의 변수, ex) 성별
  • 서열척도(ordinal) : 명목변수와 같되, 논리적인 순서/순위가 있는 변수 ex) 조교수/부교수/교수, 행복감(1~5점), 만족감(1~5점)
• Quantitative(양적변수) : 
  • 연속변수(continuous) : 'decimal'; 소수가 존재하는 수를 가진 변수
    - 등간/구간/간격변수(interval) : 구간 간 간격이 의미하는 정도가 같음 ex> temperature, SAT score
    - 비율변수(ratio) : 의미 있는 영점(zero point), 비(ratio)가 의미 있음 ex> 키, 몸무게 
  • 이산변수(discrete): 'counts', 정수값을 취하는 변수; 비모수 통계 사용하는 경우가 많음
    -구분이 까다롭지만 범주에 포함된다는 의견도, 연속에 포함된다는 의견도 있다.
    1. 연속변수를 이산적인 단위로 측정할 수 있다.  예) 나이 : 28세 등 연속변수를 이상변수로 측정 
    2. 이산변수를 연속변수처럼 취급할 수 있다.  예) 남자친구/여자친구의 수: 20대 여성의 평균 남사친 수 3.8명

Offers:	Nominal	Ordinal	Interval	Ratio
The sequence of variables is established	–	Yes	Yes	Yes
Mode	Yes	Yes	Yes	Yes
Median	–	Yes	Yes	Yes
Mean	–	–	Yes	Yes
Difference between variables can be evaluated	–	–	Yes	Yes
Addition and Subtraction of variables	–	–	Yes	Yes
Multiplication and Division of variables	–	–	–	Yes
Absolute zero	–	–	–	Yes

출처: https://www.questionpro.com/blog/nominal-ordinal-interval-ratio/

참고:  https://www.codecademy.com/learn/stats-variable-types/modules/stats-variable-types/cheatsheet

 

 

3. 타당도(Validty)과 신뢰도(Reliability)

• 심리측정(psychometrics) :  직접관찰할 수 없어 이론에 따른 가설적 개념(construct)을 측정함; 간접측정/조작적 정의(Operational definition)가 다양하여 유일무의 한 측정방법이 없고, 척도의 의미 (서열/등간/0의 의미)가 애매한 경우가 있으며, 다른 구성개념 및 현상과의 관계를 입증해야하는  어려움이 있음 -> 타당도/신뢰도 확립이 중요함
• 측정오차(measurement error) : 측정 대상을 나타내는 데 사용하는 수치들과 측정 대상의 실제 값의 차이 ex- 물건을 훔친적이 있냐고 묻는 설문에, 있는데도 '아니요'라고 작성, 80kg몸무게임에도 82kg를 측정하는 체중계 등
  
• 타당도 : 
  
  • Test Validity : 측정하고자 한 것을 실제로 측정했는가; 정확성(accuracy) ex) 키를 측정하는데 몸무게를 기록한다.
    
    • 안면(face) : '겉으로 보기에' 타당한지, nonempirical
    • 내용(content) : 전문가적 판단, measure sufficiently cover the area it is intend to cover, nonempirical
    • 기준/준거(criterion): 측정이 다른 측정/criterion(established standard of comparison)를 잘 예측하는가
      -동시/공인/공존(concurrent) : how well a new measure compare to well-established test
           -focal measure to predict outcomes on another test or outcome variable; correlation
            ex) testing validity in order to replace an in-person driver test with a written driver's test (cheaper)
      -예측/예언(predictive) : 예측해야할 것을 정확히 예측하는가, ex) 수능점수 - 대학 성적, 인적성 - 회사 내 performance

                  ★ 개념/구성(construct) : 측정이 이론/가설적 개념(조작적정의)을 타당히 측정하는가; multitrait-multimethod matrix
                        -수렴/집중(convergent): 동일 개념/척도 - relation(correlation) 예) 행복척도 - 만족감척도 (개념 및 척도)
                        -변별/판별(discriminant): 전혀 관련없는 개념/척도- no relation 예) neuroticism - compliance

• • Experimental Validity : validity of experimental research design
    • 내적타당도(interval validity) : can we trust the causal relationship based on the mesaurement used, research setting and design etc.; 혼인변인을 통제하고, 표준화된 척도 사용, 무작위 배정 등으로 높일 수 있음
    • 외적타당도(external validity) : degree to which a research result can be 'generalized' to different populations, settings, times, measures, charateristics than those tested(모집단으로 일반화가 가능한가), judging strength of experimental design
      -생태(ecological) : 실험 밖 환경에 일반화할 수 있는가 (over real life circumstances)
      -population validity : over people
      -historical validity : over time
• 신뢰성 : 일정하게 오차없이 측정했는가; 일관성(consistency), measures consistency of...
  1. 채점자 (inter-observer(inter-rater)) : the same test conducted by different people (Cohen's Kappa)
  2. 검사-재검사(test-retest) : same test over time, correlation(> .8); 반복 측정으로 연습효과
  3. 평형/동형/대형검사(parallel/equivalent/alternative form) : different verseions of a test; correlation
  4. 내적합치도(internal consistency) : assess the correlation b/w multiple items in a test that are intended to measure the same construct
     - 반분신뢰도 (split-half method) : correlation
     - cronbach's alpha : 문항 공변량(scale reliability, 각 문항이 얼마나 서로 관계가 있느냐)
        correlation of each item w/ every other item. alpha is the average of all iteritem correlation coefficients
        result :  item-total, inter-item statistics included
     

     

* 타당도가 있으면 신뢰도는 있으나, 신뢰도가 있다고 타당도가 있는 건 아님; 신뢰도가 타당도의 상한선을 결정 

 

자료 수집 : 어떻게 측정할 것인가?

가설을 검증하는 방법 : 1) 자연스럽게 발생하는 일을 관찰, 2) 환경의 어떤 측면을 조작하고 관심있는 변수에 미치는 영향을 관찰

 

1. 상관연구방법(correlational research), a.k.a. 횡단면연구(cross-sectional research)

• 연구자가 연구 대상에 영향을 미치지 않으므로, 변수들의 측정이 연구자의 편견에 좌우되지 않음(ecological validity-생태타당성)
• 인과성(causality)을 알 수 없음 : 여러 변수를 동시에 측정하기에, 시간 관계(일어난 순서 및 시간적 인접성 등)을 알 수 없다

2. 실험연구(experimental research)

• 인과성 추론의 조건
  • David Hume, 1748 :
    1. 원인과 결과의 발생 시간들이 가까워야 한다(시간적 인접성, contiguity)
    2. 원인이 결과보다 먼저 일어나야한다
    3. 원인이 발생하지 않았다면 결과도 발생하지 않아야 한다(원인이 발생했을때 결과가 발생하지 않는 경우는 언급하지 않음)
  • John Stuart Mill, 1865 : extraneous variable(혼입변인) 배제를 위해, 기준을 추가함
    1) 원인이 존재하면 반드시 결과가 존재,
    2) 원인이 존재하지 않으면 반드시 결과도 존재하지 않음  
    -> 실험연구: 원인이 존재하는 상황 (treatment or condition)과 원인이 존재하지 않는 상황을 비교
• 자료 수집 방법 : 방법에 따라 분석에 사용하는 검정의 종류가 달라짐
  1. 그룹간 설계(between-subject design) : 개체간 설계 또는 독립설계(independent design)
     -서로 다른 참가자들로 독립변수 조직 예) 첫째 그룹 2주간 긍정 강화 적용 후 시험, 둘째 그룹 2주간 처벌 적용 후 시험
     -그룹내 설계보다 비체계적 변동이 더 크다 
  2. 그룹내 설계(within-subject design) : 개체간 설계 또는 반복측정 설계(repeated-measures design)
     -같은 참가자들로 독립변수를 조작 예) 한 그룹의 학생들에게 2주간 긍정 강화 적용 후 시험, 그 다음 2주간 처벌 적용 후 시험
     -그룹간 설계보다 비체계적 변동이 적어 실험 효과가 더 현저하게 나타난다. 다만, 실험 시간의 차이 등으로 여전히 비체계적 변동이 존재한다
     
     [두가지 변동(variation)]
     * 비체계적변동(unsystematic variation) : 실험자 개별로 존재하는 random 인자들(IQ, 동기, 실험 시간 등)에 의한 변동
     * 체계적 변동(systematic variation) : 실험 조건의 차이(condition vs control)나 혼입변인으로 인한 변동(성과의 차이)
     => 통계학은 성과에 존재하는 변동의 정도를 파악하여 체계적변동과 비체계적 변동은 얼마인지 알아내는 것이다. 
     
• 혼입변인 : 타당성을 높이기 위해 통제 필요
  -체계적 변동(그룹간 차이)에 혼입변동의 영향이 있으면 인과성 증명에 타당성 감소. 최대한 독립변수만 이루어지도록 통제 필요
  예)집단 1에 IQ가 더 높은 사람들이 배정될 경우, 그 차이가 체계적 변동의 일부가 되어 독립변인 효과를 명확하게 알 수 없음
  • 혼입변인의 종류 : 사건(history, 특정 사건으로 인한 변화), 성숙(maturation, 시간에 따른 변화), 반응 편향(response bias),  호손 효과(Hawthorne effect), 위약 효과(placebo effect), 연습효과(practice effect), 권태 효과(boredom effect), 이월 효과(carryover effect), 요구특성(demand characteristics)/반응성(reactivity)
  • 실험 설계
    • 임의화(Randomization) : 혼입변인을 통제하여 집단간 또는 집단내 동등성 확보; 
      -무작위 배정(random assignment), 블록화(blocking), 짝짓기(matching)
      -상쇄(counterbalancing) : practice effect(and fatigue effect), carry-over effect에 효과적임
    • 맹목 통제(Blind control) : 요구 특성 통제로 single or double blind control을 통해 요구 특성을 통계
  • 통계적 방법: ANCOVA (공변량분석)

 

 

 

 

출처 및 참고 : '앤디 필드의 유쾌한 R 통계학'