Je výzkum dobrý?

Chcete být lepším spotřebitelem výzkumu společenských věd? Zde je krátký přehled postýlek pro stanovení obecné legitimity a zobecnitelnosti prakticky jakéhokoli studia společenských věd. Pamatujte, že tento list postýlky nebude stoprocentně přesný ani relevantní pro každou studii, o které možná čtete. Je to však dobrý průvodce z krátké ruky, který vám pomůže začít.

O jaký druh výzkumu šlo?

Nejrobustnější a nejlepší studie využívají experimentální skupinu a kontrolní skupinu. Studie, které vynechají kontrolní skupinu, jsou obvykle méně užitečné než ty, které ji dělají. Průzkum je nejméně výkonným typem výzkumu, který lze provádět, protože nemá žádnou experimentální nebo kontrolní skupinu, ale může být užitečný pro identifikaci trendů nebo nulování konceptů nebo hypotéz, které lze studovat podrobněji.

Jak velká byla studie?

Studie s méně než 50 lidmi prakticky v jakémkoli experimentálním designu bude mít velmi, velmi omezenou zobecnitelnost (protože jim téměř vždy chybí dostatečná statistická síla). To znamená, že i když výsledky mohou být potenciálně zajímavé, dokud nebudou replikovány v jiné skupině (nejlépe ve větší skupině), měli byste je brát s rezervou. (Některé výzkumy, jako jsou experimenty s jedním případem, mohou také poskytnout jednotlivé datové body zájmu nebo budoucí výzkum, ale obecně nám mohou říci jen málo o širších trendech nebo léčbě.)

Kdo byl ve studii?

Dobrý výzkum usiluje o využití účastníků, kteří jsou reprezentativní pro populaci obecně. Čím je vzorek reprezentativnější, tím více lze z výsledků snadno zobecnit. Studie 200 účastníků, která je vyvážená z hlediska pohlaví, rasy, socioekonomického postavení a historie, je tedy mnohem lepší než studie 200 studentů univerzity na Harvardu nebo OSU.

Jak dlouho byli lidé studováni?

Studie, která zkoumá účastníky na méně než 12 týdnů u jakéhokoli typu léčby, je prakticky k ničemu. Žádný klinik nebo lékař, o kterém vím, nikdy neměl žádný typický běžný typ léčby, který by fungoval za méně než 12 týdnů. Průzkum, který zkoumá skupinu lidí v jednom okamžiku, znamená, že nalezené výsledky jsou pro daný konkrétní okamžik dobré.

Z tohoto pravidla existují dobré a rozumné výjimky, pokud jde o léčbu úzkosti (léky se často užívají podle potřeby, ne každý den) a pro věci, jako je akutní psychóza nebo mánie. Studie zabývající se těmito konkrétními obavami mohou být prováděny kratší dobu a stále poskytují cenné informace.

Ve skutečnosti nám poskytuje jakoukoli studii, která je kratší (například 4týdenní nebo 8týdenní studie) nějaký informace. Jde jen o to, že tyto informace jsou momentkou typického léčebného regimentu a neposkytují nám tak úplný obraz jako delší léčebná studie. Délka studia je méně důležitá pro každou studii, která konkrétně nezkoumá léčbu duševní poruchy.

Kdo studii financoval?

Obecně platí, že většina studií financovaných vládou bude vykazovat menší zkreslení než studie financované společností (například farmaceutickou společností) s přímým zájmem o dosažení konkrétního výsledku. Prakticky všechny studie jsou prováděny v prostředí univerzity nebo nemocnice, takže informace o financování nemusí být snadno dostupné (příslušnost výzkumných pracovníků obvykle poskytuje jen málo informací o tom, jak byla studie financována). Vládní financování neznamená, že studie nemůže být špatně navržena nebo implementována, znamená to pouze, že se nemusíte obávat „zkreslení financování“ ovlivňujícího výsledky.

Jak mluví autoři o svých výsledcích?

Autoři by měli být pokorní a opatrní ohledně svých výsledků a nedělají příliš široké zevšeobecňování nebo souhrnné závěry (zejména pokud jde o příčinnou souvislost, pokud příčinná souvislost nebyla do studie zahrnuta, jak to obvykle není). Autoři by také měli jasně popsat omezení aktuální studie v jakémkoli článku v časopise; články, které takové informace vynechávají, by měly být vnímány skepticky, protože každá studie má svá omezení.

Autoři by si měli také jasně všimnout rozdílů mezi klinickou a statistickou významností v léčebných studiích. 2–3 bodová změna v měřítku měření deprese může být statisticky významná (vedoucí k „pozitivnímu“ výsledku), ale pro většinu účastníků má malý klinický význam. (Příklady najdete v tomto článku nebo v tomto článku.) I když je poučné vědět, že experimentální skupina je statisticky odlišná (např. Lepší než náhoda) od kontrolní skupiny, tento rozdíl nemusí mít pro většinu z nás skutečný význam. .

Dejte si také pozor na studie, které zcela závisí na mírách nebo stupnicích hodnocených klinickými lékaři bez jakýchkoli stupnic hodnocených pacienty. Kdo vám může lépe říci, že léčba funguje, než samotný pacient?

* * *

Děkujeme společnosti CL Psych za přezkoumání dřívější verze tohoto článku.