Jejda! Žádná „krize replikace“ v psychologické vědě
Zdá se však, že průlomový článek publikovaný v srpnu 2015 44 výzkumníky „Odhad reprodukovatelnosti psychologické vědy“ (Nosek et al., 2015) měl některé významné nedostatky. Nový článek naznačuje, že v psychologii vlastně žádná „krize replikovatelnosti“ neexistuje.
Čtyři vědci z Harvard University a University of Virginia (Gilbert et al., 2016) zveřejnili svá zjištění v roce Věda (jejich webové stránky s psychologickými replikacemi hostují všechna data a materiály). Věří, že v původní studii našli tři hlavní statistické chyby, které vážně zpochybňují její zjištění. Noví vědci tvrdí: „Důkazy skutečně odpovídají opačnému závěru - reprodukovatelnost psychologické vědy je poměrně vysoká a ve skutečnosti je statisticky nerozeznatelná od 100%.“
Jejda.
Původní studie (Nosek et al., 2015) se pokusila reprodukovat poznatky ze 100 experimentů publikovaných v článcích publikovaných v roce 2008 ve třech vysoce postavených psychologických časopisech. První kritika studie spočívá v tom, že se nejednalo o náhodný výběr psychologických studií. Místo toho skupina Nosek omezila výběr svých studií pouze na tři časopisy představující mizerné dva obory psychologie, přičemž vynechala hlavní oblasti, jako je vývojová a klinická psychologie. Pak Nosek a kol. použili komplexní soubor libovolných pravidel a kritérií, která ve skutečnosti diskvalifikovala více než 77 procent studií ze tří časopisů, které zkoumali.
Výzkum, který začíná zkresleným vzorkem, bude mít určitě problémy. Tím, že nezačali s randomizovaným vzorkem, vědci již pomohli připravit půdu pro jejich neuspokojivá zjištění.
Pojďme (významně) změnit studie, které replikujeme
Ještě horší než začít se zkresleným nerandomizovaným vzorkem bylo to, jak vědci skutečně prováděli replikace. Nejprve vědci vyzvali „konkrétní týmy k replikaci konkrétních studií, nebo týmům umožnily vybrat studie, které si přejí replikovat.“ Namísto náhodného přiřazování výzkumníků ke studiím, které mají být replikovány, nechali vědce, aby si vybrali - přinášejí předsudky každého výzkumného pracovníka, aby si mohli vybrat studie, které považovali za nejméně pravděpodobné, že budou replikovány.
Nové studie se někdy významně lišily od starých studií, které se pokoušely replikovat. Zde je jen jeden (z nejméně tuctu) příkladů, jak replikovaná studie přinesla významné komplikace:
V jiné studii sledovali studenti White na Stanfordské univerzitě video čtyř dalších studentů Stanfordu diskutujících o přijímací politice na jejich univerzitě (Crosby, Monin a Richardson, 2008). Tři z diskutujících byli bílí a jeden černý. Během diskuse jeden z bílých studentů učinil urážlivé komentáře o afirmativní akci a vědci zjistili, že pozorovatelé se na černého studenta dívali podstatně déle, když věřili, že slyší komentáře ostatních, než když ne. Přestože účastníky studie replikace byli studenti na univerzitě v Amsterdamu, sledovali stejné video studentů Stanfordu, kteří hovořili (anglicky!) O přijímací politice Stanfordu.
Mohli by studenti na amsterdamské univerzitě skutečně pochopit, co to vlastně v Americe za pozitivní je, vzhledem k významným kulturním rozdílům mezi americkou a amsterdamskou společností? Vědci, kteří provedli replikaci, překvapivě uvedli, že studie byly „prakticky identické“ (a přirozeně jsou předpojaté, aby to řekly, protože jejich studie). Přesto původní vědci, uznávající významné kulturní rozdíly ve dvou populacích, novou studii replikace nepodpořili.
Gilbert a jeho kolegové našli tento druh problému nejen v jedné, ale v mnoha studiích replikace. Zdá se divné, že Nosek a kol. měl pocit, že tyto nesrovnalosti nebudou mít vliv na kvalitu studie (nebo „věrnost“, jak to vědci nazývají). Je zřejmé, že se jedná o významné kvalitativní rozdíly, které by jistě ovlivnily replikovatelnost studie.
Potřebujeme více energie!
Nosek a jeho kolegové vyslovili několik argumentů pro výběr designu, které Gilbert a kol. jeden po druhém sestřelili ve své odpovědi. Závěr Gilberta a jeho kolegů?
Stručně řečeno, žádný z argumentů předložených [výzkumnými pracovníky replikace] nezpochybňuje skutečnost, že autoři [nové studie] použili design s nízkým výkonem a že (jak ukazují naše analýzy údajů ML2014) to pravděpodobně vedlo k hrubému podceňování skutečné rychlosti replikace v jejich datech.
Jiní vědci v oboru psychologie provedli podobný replikační experiment již v roce 2014 (Klein et al., 2014). Pomocí vysoce výkonného designu zjistili, že většina psychologických studií, které zkoumali, se replikuje - 11 z 13 experimentů se opakuje. K otestování dopadu designu s nižším výkonem Nosek et al., Gilbert et al. odhaduje, že míra replikace studie z roku 2014 poklesla z 85 procent na 34 procent. Významný a výmluvný rozdíl.
Co tedy víme o reprodukovatelnosti psychologické vědy?
Víc, než jsme si mysleli. Vzhledem k kritice Gilberta et al. A skandální odpovědi původních výzkumníků se zdá pravděpodobnější, že Nosek et al. studie byla kriticky chybná.
Zdá se, že psychologická věda je reprodukovatelnější, než jsme si mysleli - dobrá zpráva pro vědu i psychologii.
Reference
Gilbert, D., King, G., Pettigrew, S. & Wilson, T. (2016). Komentář k tématu „Odhad reprodukovatelnosti psychologické vědy“. Věda, 351, 1037a-1037b.
Gilbert a kol. (2016). Odpověď na odpověď našeho technického komentáře k tématu „Odhad reprodukovatelnosti psychologické vědy“.
Klein, RA, Ratliff, M Vianello, RB Adams Jr, Š Bahník, MJ Bernstein a kol. (2014). Zkoumání odchylek v replikovatelnosti: Projekt replikace „Mnoho laboratoří“. Sociální psychologie, 45 let, 142-152
Nosek a kol. & Open Science Collaboration. (2015). Odhad reprodukovatelnosti psychologické vědy. Věda, 349. DOI: 10.1126 / science.aac4716
Nosek a kol. (2016). Odpověď na komentář k tématu „Odhad reprodukovatelnosti psychologické vědy“. Věda, 351, 1037. DOI: 10.1126 / science.aad9163
