Je věda mrtvá? Jedním slovem: Ne

Před několika týdny napsal Jonah Lehrer pro časopis poněkud otupělý a senzacechtivý článek Newyorčan s názvem Pravda se vytrácí: Děje se něco s vědeckou metodou? Lehrer v něm cituje anekdotické důkazy (a trochu údajů) na podporu tvrzení, že možná vědecká metoda - jak vědecky ověřujeme své hypotézy pomocí údajů a statistik - se strašně zvrtla.

Co si však Lehrer nevšiml, je, že většina vědců již ví o nedostatcích, které popisuje, a pilně pracuje na minimalizaci dopadu těchto problémů.

Vědecká metoda není porušena. Lehrer popisuje jednoduše vědu v práci - a práci.

Nejlepší odpověď na tuto esej pochází od spisovatele ScienceBlogs PZ Myerse, věda není mrtvá. V tomto vyvrácení Myers poukazuje na hlavní problémy vědy, když nemůže replikovat předchozí zjištění:

1. Regrese k průměru: Jak se zvyšuje počet datových bodů, očekáváme, že průměrné hodnoty ustoupí ke skutečnému průměru ... a protože často se počáteční práce provádí na základě slibných počátečních výsledků, očekáváme, že se více dat náhodně vyrovná významný časný výsledek.
2. Efekt zásuvky souboru: Výsledky, které nejsou významné, se těžko publikují a nakonec se uloží do skříňky. Avšak jakmile se výsledek stane ustáleným, budou výsledky v protikladu zajímavější a publikovatelnější.
3. Předpětí vyšetřovatele: Je obtížné udržet vědecký rozptýlení. Všichni bychom rádi viděli ověřené naše hypotézy, takže máme tendenci vědomě nebo nevědomě vybírat výsledky, které upřednostňují naše názory.
4. Obchodní zaujatost: Farmaceutické společnosti chtějí vydělat peníze. Mohou vydělat peníze z placeba, pokud pro něj existuje statistická podpora; určitě existuje zaujatost vůči využívání statistických odlehlých hodnot za účelem zisku.
5. Rozptyl populace: Úspěch v dobře definované podskupině populace může vést k trochu plíživosti: pokud lék pomáhá této skupině s dobře definovanými příznaky, možná bychom to měli zkusit u této jiné skupiny s marginálními příznaky. A není ... ale tato čísla budou i nadále použita při odhadu jeho celkové účinnosti.
6. Jednoduchá šance: Zjistil jsem, že je těžké se dostat k lidem. Ale pokud je něco významné na úrovni p = 0,05, stále to znamená, že 1 z 20 experimentů se zcela zbytečným lékem bude stále vykazovat významný účinek.
7. Statistický rybolov: Nenávidím tenhle a vidím ho pořád. Plánovaný experiment neodhalil žádné významné výsledky, takže data jsou vyčerpaná a jakákoli významná korelace je zachycena a publikována, jako by byla zamýšlena. Viz předchozí vysvětlení. Pokud je soubor dat dostatečně složitý, vždy někde najdete korelaci, čistě náhodou.

Číslo 1 vysvětluje mnoho problémů, které dnes ve vědě nacházíme, zejména psychologickou vědu. Znáte většinu těch experimentů, o kterých jste četli Psychologická věda, stěžejní publikace Asociace pro psychologické vědy? Jsou kecy. Jedná se o N = 20 experimentů prováděných na malých homogenních vzorcích převážně kavkazských studentů vysokých škol na středozápadních univerzitách. Většina z nich se nikdy nereplikuje a méně z nich se replikuje na velikosti vzorků, které by pravděpodobně prokázaly, že původní výsledky nebyly nic jiného než statistická náhoda.

Vědci to již vědí, ale žijí podle velmi odlišných pravidel než vy nebo já. Jejich živobytí závisí na jejich pokračování v provádění dobrého publikovatelného výzkumu. Pokud přestanou s tímto výzkumem (nebo jej nebudou moci zveřejnit v recenzovaném časopise), hrozí větší riziko ztráty zaměstnání. V akademické sféře se to označuje jako „publikovat nebo zahynout“ a je to skutečná motivace pro publikování jakéhokoli výzkumu, i když víte, že výsledky pravděpodobně nebudou replikovatelné. Viz číslo 3 výše.

Nakonec vidím tolik z čísla 7 ve výzkumných studiích, které přezkoumávám, je to téměř trapné. Vědecká metoda funguje dobře a spolehlivě pouze tehdy, když předem formulujete hypotézy, spustíte své subjekty, aby shromáždili vaše data, a poté tato data analyzujete podle hypotéz, s nimiž jste začali. Pokud se rozhodnete začít měnit hypotézu tak, aby odpovídala údajům, nebo provedete statistické testy, se kterými jste nepočítali, znečišťujete svá zjištění. Začnete na rybářské výpravě, kterou provedl každý výzkumník. Ale protože to udělali všichni, znamená to, že je dobré zapojit se do dobrého nebo etického chování.

Problém je v tom, že výzkum je časově náročný a často drahý. Pokud jste zkouškou prošli 100 subjektů a nenalezli jste nic významného (podle vašich hypotéz), je nejen nepravděpodobné, že byste tuto studii zveřejnili, ale jen jste promarnili měsíce (nebo dokonce roky) svého profesního života a $ X z váš vždy omezený rozpočet na výzkum.

Pokud nevidíte, jak by to mohlo vést k publikování méně než optimálních výsledků výzkumu, můžete být trochu slepí k základní lidské psychologii a motivaci. Protože vědci nejsou super-lidé - mají stejné chyby, předsudky a motivaci jako kdokoli jiný. Vědecká metoda - pokud je důsledně dodržována - má za to odpovídat. Problém je v tom, že nikdo ve skutečnosti nedohlíží nad výzkumnými pracovníky, aby zajistil, že se jimi budou řídit, a neexistuje k tomu žádná vlastní pobídka.

S tímto pozorováním skončím, opět od PZ Myerse,

To je vše, co tento povyk opravdu říká [- s] někdy se hypotézy ukazují jako chybné, a někdy je-li podpora hypotézy postavena na slabých důkazech nebo vysoce odvozené interpretaci komplexního souboru dat, může to trvat dlouho se objeví správná odpověď. Tak? To není selhání vědy, pokud nějak nečekáte okamžité uspokojení ze všeho nebo potvrzení každé milované myšlenky.

Amen.

Názory ostatních na Lehrerův esej

Věda není mrtvá - PZ Myers

Chvála vědeckých omylů - George Musser

Jsou lidé problémem s vědeckou metodou? - Charlie Petit

Pravda, o které budeme pochybovat: Znamená „poklesový efekt“, že celá věda je „truthy“? - John Horgan

The Mysterious Decline Effect - Jonah Lehrer