Nechat Data mluvit? Ne, ne vždy

Frank L. Schmidt, uznávaný profesor a výzkumný pracovník na univerzitě v Iowě, měl v sobotu na 20. kongresu Asociace pro psychologické vědy přednášku o tom, jak mohou vědecké údaje lhát. Ano, to je pravda, empirická data - i ta publikovaná v respektovaných recenzovaných časopisech - pravidelně neříkají pravdu.

Schmidtova přednáška byla hojně navštěvována v jednom z největších tanečních sálů v hotelu Sheraton Hotel and Towers v Chicagu, kde se konal sjezd. I když to bylo nerovnoměrné, Schmidtovy hlavní body narazily.

Jedním z nich je, že naivní interpretace více datových souborů je pravděpodobně nejsprávnější - Occamův břitva („nejjednodušší řešení je obvykle nejlepší odpovědí“). Schmidt tvrdí, že dobrý výzkum zjistí jednoduchou strukturu, která je základem komplexních dat.

Shrnul, že existují dva hlavní důvody, proč mohou údaje „ležet“ ve výzkumu - chyby vzorkování a chyby měření.

Schmidtova největší kritika byla zaměřena na fetiš psychologické vědy s testováním významnosti - např. Statistickou významností. Přeje si, aby se psychologie vzdálila od své spoléhání a fascinace statistickou významností, protože jde o slabé, předpojaté opatření, které v zásadě říká jen málo o podkladových datech nebo hypotézách.

Schmidt popsal šest mýtů obklopujících testování významnosti. Jedním z mýtů bylo, že dobrá hodnota p je indikátorem významnosti, když je to opravdu jen údaj o úrovni výkonu studie. Další bylo, že pokud nebyl nalezen žádný význam, znamená to, že nebyl nalezen žádný vztah mezi proměnnými (ve skutečnosti to může znamenat jednoduše to, že studie postrádala dostatečnou moc).

Schmidtova řešení jsou jednoduchá - místo toho oznamujte velikosti efektů (bodové odhady) a intervaly spolehlivosti a úplně zdůrazněte testování významnosti.

Skončil kritizováním nově nalezeného důrazu na metaanalýzy v psychologickém výzkumu, konkrétně vyvoláním deníku Psychologický bulletin. V dosud nepublikované studii zkoumal on a další vědci všechny metaanalýzy publikované v Psychologický bulletin v letech 1978-2006 - celkem 199 studií.

Vědci zjistili, že 65% těchto zkoumaných studií používalo pro svou metaanalýzu model „fixních efektů“. Schmidt tvrdil, že v modelech s pevnými efekty jsou datové vztahy podceňovány (až o 50%) a že vědci nadhodnocují, jak přesné jsou (jak malá chyba je v tomto odhadu). Místo toho Schmidt dává přednost modelům „náhodných efektů“, které lépe zohledňují tyto variace.

Poznamenal také, že v 90% zkoumaných studií nebyly provedeny žádné opravy chyby měření - jeden z hlavních důvodů, proč uvádí, že data mohou „ležet“ v psychologickém výzkumu.

Vzhledem k této analýze Schmidt naznačuje, že mnoho metaanalýz publikovaných v recenzovaných časopisech dosahuje nesprávných nebo chybných závěrů.

Je smutné, že tento stav se pravděpodobně brzy nezmění. Ačkoli mnoho psychologických časopisů přijalo přísnější standardy pro publikování výzkumu, které lépe odpovídají Schmidtovým návrhům, mnoho z nich stále nemá a zdá se, že nemají v úmyslu se měnit.

Pro průměrného člověka to znamená, že nemůžete důvěřovat každé publikované studii jen proto, že se objevuje v recenzovaném časopise, který je poté v médiích propagován jako „fakt“ prostřednictvím tiskové zprávy. Taková fakta jsou tvárná, měnící se a chybná. Pouze pečlivým čtením a analýzou těchto studií můžeme pochopit hodnotu údajů, které předkládají.