Jakému výzkumu můžete věřit?

V čísle z listopadu 2010 je fascinující článek Atlantik David H. Freedman, který zkoumá svět lékařského výzkumu a který naznačuje, že většina našich empirických poznatků založených na výzkumu může být chybná.

Každý, kdo čte Svět psychologie pravidelně ví o problémech v mnoha průmyslových studiích. Tento článek ale naznačuje, že problémy s recenzovaným výzkumem jdou mnohem hlouběji než jednoduchá zkreslení pro zisk. Vědci jsou předpojatí mnoha, mnoha způsoby (nejen kvůli peněžnímu zisku). A toto zkreslení se nevyhnutelně projevuje v jejich práci - vědeckém výzkumu.

Nejedná se o nový buben, který bych porazil - hovořil jsem o zaujatosti výzkumníků v roce 2007 a o tom, jak vědci navrhují studie, aby našli konkrétní výsledky (tento příklad zahrnoval výzkumníky, kteří při hledání našli webové stránky sebevražedných metod - počkejte - „sebevražedné metody „V Google). Všimli jsme si, že prakticky každá studie v časopisech jako např Psychologická věda spoléhají téměř výlučně na studenty vysokých škol shromážděné z jednoho kampusu jako předměty - významné omezení, které se v samotných studiích zmiňuje jen zřídka.

Zde je však skutečný znepokojující aspekt - tyto druhy zkreslených studií se objevují ve všech druzích časopisů. JAMA, NEJM a BMJ nejsou imunní vůči zveřejňování mizerných, chybných studií v medicíně a psychologii. „Respektovatelnost“ časopisu považujeme za jakýsi druh strážní role - že studie objevující se v nejprestižnějších časopisech musí být zásadně zdravé.

Ale to prostě není pravda. Císař není jen nahý - jeho poddaní skryli oblečení, aby si mohli rozvíjet vlastní kariéru.

Vydání předpojatých studií, které byly zveřejněny, se poprvé dostalo do centra pozornosti již v roce 2004, kdy GlaxoSmithKline byl žalován generálními zástupci státních zástupců za skrytí údajů o výzkumu na Paxilu. Od té doby vyšly najevo desítky studií a od té doby byly publikovány další studie, které ukazují, jak se zdá, že farmaceutické společnosti pravidelně skrývají relevantní údaje z výzkumu. Tato data obvykle ukazují, že studovaný lék nebyl při léčbě jakékoli poruchy, pro kterou byl určen, účinný ve srovnání s cukrovkou. (Blogy jako Clinical Psychology and Psychiatry: A Closer Look and the Carlat Psychiatry Blog have more details about these studies.)

Ale co ostatní druhy zaujatosti? Zajímají nás pouze studie, kde je zaujatost tak zjevná, nebo bychom se neměli obávat jakéhokoli zkreslení, které by mohlo ovlivnit spolehlivost výsledků?

Odpověď by nás samozřejmě měla zajímat ve všech formách zaujatosti. Cokoli, co může ovlivnit konečné výsledky studie, znamená, že o jejích závěrech může být pochyb.

John Ioannidis, profesor na univerzitě v Ioannině, se o tuto otázku začal zajímat v lékařském výzkumu. Dal tedy dohromady tým odborníků z vědců a statistiků, aby se ponořili hlouběji a zjistili, jak špatný byl problém. To, co našel, vědce nepřekvapilo, ale pro většinu laiků bude překvapením -

Bezradný začal hledat konkrétní způsoby, jak se studie zhoršují. A zanedlouho zjistil, že rozsah chyb, kterých se dopustil, byl ohromující: od otázek, které vědci kladli, přes to, jak nastavují studie, přes které pacienty do studií najímali, přes jaká měření prováděli, až po to, jak analyzovali data , na to, jak prezentovali své výsledky, na to, jak konkrétní studie začaly být publikovány v lékařských časopisech. […]

"Studie byly neobjektivní," říká. "Někdy byli zjevně zaujatí." Někdy bylo obtížné předpojatost vidět, ale bylo to tam. “ Vědci zamířili do svých studií a chtěli určité výsledky - a hle, hle, dostávali je. Vědecký proces považujeme za objektivní, přísný a dokonce bezohledný při oddělování toho, co je pravdivé, od toho, co si jen přejeme být pravdivé, ale ve skutečnosti je snadné manipulovat s výsledky, ať už neúmyslně nebo nevědomě.

"Na každém kroku procesu existuje prostor pro zkreslení výsledků, způsob, jak učinit silnější tvrzení nebo vybrat, co se má uzavřít," říká Ioannidis. "Existuje intelektuální střet zájmů, který tlačí vědce na to, aby našli cokoli, co je s největší pravděpodobností dostane financováno."

Ioannadis sestavil složitý matematický model, který na základě všech těchto proměnných předpovídá, kolik výzkumu může být chybných. Jeho model předpovídal, že „80 procent nerandomizovaných studií (zdaleka nejběžnější typ [- zejména v psychologickém výzkumu]) [] se ukáže jako chybných, stejně jako 25 procent údajně randomizovaných studií se zlatým standardem a jako až 10 procent platinových standardních velkých randomizovaných studií. “

Poté tento model otestoval na 49 studiích, které obsahovaly nejuznávanější výsledky výzkumu v lékařském výzkumu za posledních 13 let. Byly v nejcitovanějších lékařských časopisech a samy o sobě byly nejcitovanějšími články.

Ze 49 článků 45 tvrdilo, že odhalilo účinné intervence. Třicet čtyři z těchto tvrzení bylo znovu otestováno a 14 z nich, tedy 41 procent, bylo přesvědčivě prokázáno jako nesprávné nebo významně přehnané. Pokud se třetina a polovina nejuznávanějšího výzkumu v medicíně ukázala jako nedůvěryhodná, rozsah a dopad problému byly nepopiratelné. […]

Z těch 45 supercitovaných studií, na které se Ioannidis zaměřil, 11 nikdy nebylo znovu testováno. Možná horší, Ioannidis zjistil, že i když je chyba ve výzkumu vyloučena, obvykle přetrvává roky nebo dokonce desetiletí. Podíval se na tři významné zdravotní studie z 80. a 90. let, které byly později důkladně vyvráceny, a zjistil, že vědci i nadále uváděli původní výsledky jako správné častěji než jako chybné - v jednom případě po dobu nejméně 12 let po zdiskreditování výsledků .

Tolik k tomu, aby vědci znovu testovali publikované výsledky ostatních - jediný definitivní způsob boje proti zaujatosti. Jak by mohlo být téměř 25 procent nejcitovanějších lékařských studií za posledních 13 let nikdy znovu testováno? Ohromující.

Výsledkem většiny z nás je, že je téměř nemožné, aby někdo řekl, zda daný výzkum skutečně prokazuje pozitivní, nové a silné výsledky. Bez podrobného rozboru studie - a všech jejích předchůdců - je uvedení nového výzkumu do kontextu zdlouhavý a obtížný úkol. Ioannidisův model dále naznačuje, že drtivá většina psychologických výzkumů - možná až 80 procent z nich - je pravděpodobně chybná. Opravdu zde není žádná stříbrná podšívka.

Až na to, že jsou v práci výzkumné týmy jako Ioannidis, které se snaží ukázat, jak může zaujatost proniknout i do výzkumu „zlatého standardu“.

Změna zde závisí do značné míry na tom, zda se jednotliví výzkumní pracovníci o těchto předsudcích dozvědí a budou mnohem usilovněji pracovat na tom, aby jejich studia postrádala. Ale bez toho, aby žádný vrátný ve skutečnosti kontroloval design studie nebo statistické metody, existuje jen malá motivace ke změně. Finanční a kariérní pobídky pro výzkumné pracovníky, aby i nadále publikovali tak, jak to tradičně mají, aby si udrželi své akademické a profesní postavení, zůstávají neodolatelně silné.

Celý článek stojí za váš čas: Lži, Zatracené lži a Lékařská věda

I když to není ideální, zde je náš základ z před několika lety o tom, jak odhalit sporný výzkum - je výzkum dobrý?