Co znamená nedostatek reprodukovatelnosti ve výzkumu psychologie?
V ideálním světě by si někdo mohl myslet, že něco v řádu 75 nebo dokonce 80 procent studií by mělo reprodukovat podobné výsledky, že? Protože nové studie byly jednoduše provedeny na jiné populaci výzkumníky, kteří pečlivě dodržovali metody původních výzkumníků. Ve většině případů měli vědci také přímý kontakt a spolupráci s původními vědci.
Ale v nálezu se od zveřejnění v minulém týdnu točilo tucet různých způsobů Věda deníku se Projekt nepřiblížil k 75 procentům. Pouze 36 procent replikací přineslo významné výsledky - ve srovnání s 97 procenty z původních 100 studií.
Co to znamená pro psychologii?
Navzdory tomu, že se někteří pokoušejí toto zjištění učinit nečekaným nebo „ne tak špatným, jak by to mohlo být“, pro psychologickou vědu to neveští nic dobrého. Každý měsíc jsou publikovány stovky nových psychologických studií. Stručně řečeno, toto zjištění znamená, že většině zjištění těchto studií nelze důvěřovat. Ve skutečnosti jsou falešné.
Z Atlantik Dosah:
„Úspěšnost je nižší, než bych si myslel,“ říká John Ioannidis ze Stanford University, jehož klasický teoretický příspěvek Proč je většina zveřejněných zjištění výzkumu nepravdivá byl hromosvod pro pohyb reprodukovatelnosti.
"Je mi špatně, když vidím, že některé z mých předpovědí byly potvrzeny." Přál bych si, aby se ukázalo, že se mýlí. “
Dalším špatným zjištěním z nového výzkumu je, že měřené velikosti účinků byly obvykle o 50 procent menší než to, co našli původní vědci. To znamená, že i když výsledky reprodukovali noví vědci, dopad studovaných proměnných nebyl zdaleka tak důležitý, jak se původně myslelo.
Důvody špatné reprodukovatelnosti ve výzkumu psychologie
Existuje tucet různých důvodů pro toto špatné projevování psychologickým výzkumem. Než ale některé z nich přezkoumáme, jedná se o studenou šplouchnutí vody reality, když vezmeme výsledky z jedné studie a zobecníme je. Nebo ještě hůř, věřit, že něco je pravda, když to ještě musí být prokázáno více než jednou studií.
Pokud studie není dvojitě zaslepená - protože většina z nich nebyla - vlastní předsudky výzkumníků mohou jemně ovlivnit, jak jsou data shromažďována nebo analyzována. Pokud výzkumník právě strávil 8 nebo 18 měsíců shromažďováním údajů, aby nenalezl žádné významné výsledky, může se vydat na datovou rybářskou výpravu a najít nějaký další vztah k datům, který může publikovat.1 Vědci poté změní své původní hypotézy tak, aby odpovídaly tomu, co data ve skutečnosti jsou nalezeno (protože většina vědců stále neregistruje svůj výzkum pomocí sledovací služby - i když se to pomalu mění).
Jiní navrhli, že „překvapení“ je možná dalším vysvětlením - že deníky se dnes zaměřují na publikování překvapivých zjištění, protože jsou pro čtenáře populárnější a zajímavější. Když k tomu přidáte možnost regrese - že proměnné mohou být při prvním měření nejextrémnější, ale při druhém nebo třetím měření méně extrémní - navrhujeme, aby se tyto dva faktory spojily a podpořily tak publikování studií, které jsou skutečně tvrdé reprodukovat.
Co to znamená pro psychologickou vědu?
Lidská přirozenost je nekonečně složitá. Psychologická věda se pokouší dekonstruovat lidské chování a emoce na malé kousky, aby lépe pochopila celek. Pokud však výzkum nemůže reprodukovat vědu, která stojí za studiemi, naznačuje to, že nelze věřit ani tomu, co každoročně obor vydává každý rok.2
Neznáme však ani statistiku reprodukovatelnosti většiny věd, protože o nic podobného Projektu reprodukovatelnosti se v jiných oblastech nikdy nepokusili. Může se stát, že se jedná o chybu, kterou trpí většina vědy, nebo to může být chyba, která ovlivňuje sociální vědy více než jiné vědy.
Ale v krátkodobém horizontu to zdůrazňuje něco, co jsem vždy říkal - zjištění psychologické vědy není něco, za co byste mohli zavěsit klobouk, dokud nebude reprodukován jiným výzkumníkem. O nálezech, které lze reprodukovat, se říká, že jsou „robustní“, a proto jsou důvěryhodné.
Hledejte tento druh informací při hodnocení nebo čtení zpravodajských článků na základě nové studie. I když nejsou tak sexy jako nová „překvapivá“ zjištění, stejně důležitý je i výzkum, který ověřuje nebo zpochybňuje to, co si již myslíme, že víme.
Pro další informace…
Atlantik: Jak spolehlivé jsou psychologické studie?
The Guardian: Studie přináší bezútěšný verdikt o platnosti výsledků psychologických experimentů
Mindhacks: Nenazývejte to návratem
Odkaz
Otevřená vědecká spolupráce. (2015). Odhad reprodukovatelnosti psychologické vědy. Věda, 28.
Projekt reprodukovatelnosti: Psychologie - prvotní data
Poznámky pod čarou:
- Jinak byl veškerý ten čas, peníze a úsilí zbytečné, protože jen málo vědců může nebo chce zveřejnit nulové výsledky. [↩]
- A skutečně to zpochybňuje široké zobecnění autorů o použitelnosti jejich zjištění, které lze najít téměř v každé diskusní části nedávných studií psychologie. [↩]
