Souvislost mezi legalizací marihuany a autonehodami? Nesmysl

• Vyberme si naše kontrolní státy
• 11 analýz, ale pouze 3 významné
• Pojďme shromáždit data!
• Co tedy data ukazují?
• Co to znamená pro marihuanu?

V říjnu vydaly Highway Loss Data Institute a Insurance Institute for Highway Safety samostatně publikovanou zprávu, která naznačuje, že existuje silná korelační souvislost mezi mírou autonehod a legalizací marihuany ve státech. To by byla trýznivá zpráva, pokud by byl nález založen na silných vědeckých důkazech.

Bohužel pro tyto instituty jsou však výzkumná data přinejlepším nejasná. A protože tyto organizace tuto zprávu zveřejnily samy, a nikoli procházet procesem vědeckého vzájemného hodnocení, je těžké brát jejich zjištění vážně.

Než se začneme zabývat údaji, čtenáři by měli pochopit, že ačkoli Highway Loss Data Institute (HLDI) a Insurance Institute for Highway Safety (IIHS) jsou dva odlišné právní organizace, sdílejí stejné vyšší vedení, stejnou fyzickou adresu a pravděpodobně mnohem více. Vypadá to, že se jedná o dvě nezávislé, nesouvisející organizace, které nalezly podobné výsledky, když spojily své kolektivní mysli, ale není tomu tak.

Také musím začít tento článek obvyklou vědeckou připomínkou - korelace se nerovná příčině. Pokud provedu studii o vlivu lidí, kteří si v městském centru otevírají deštníky, najdu velmi silnou pozitivní korelaci mezi touto akcí a přítomností deště. Ale víme, že otevření deštníku nezpůsobí déšť. Věda přesto snadno ukáže silnou korelaci mezi těmito dvěma - což povede některé smutné, nevědomé vědce k tomu, aby navrhli, že existuje určitě příčinný vztah.

Vyberme si naše kontrolní státy

V nové studii výzkumník zkoumal údaje o srážkách na dálnicích pro tři cílové státy, kde byla marihuana legalizována nad rámec léčebného použití (Monfort, 2018). Poté porovnal nehodovost těchto států s pěti kontrolními státy (státy, které obecně hraničily se státy legalizované marihuany). Například Colorado bylo spojeno se třemi státy: Nebraska, Utah a Wyoming.

Už vidíte problém, že? Colorado sdílí hranice se šesti státy, nejen se třemi: Arizonou, Novým Mexikem a Kansasem. Podobný problém vidíme iu ostatních vybraných ovládacích stavů. Oregonské kontrolní státy byly Idaho (správný srovnávací stát) a Montana - vnitrozemský stát, s nímž sdílí jen málo společného a žádnou hranici.

Výzkumník tyto volby zdůvodnil, protože sesterská organizace IIHS zveřejnila předchozí zprávu o výběru těchto států. Tito nejmenovaní vědci si vybrali státy na základě korelace - někdy ne velmi silné - podobnosti mezi jejich daty o srážkách. Nejde o demografii, geografii (klikaté horské silnice versus plochá pole) nebo z jiného důvodu.1 Je diskutabilní, zda jsou „sezónní vzorce srážek před rokem 2014“ legitimní vědeckou srovnávací proměnnou pro výběr kontrolních států, když se jiné proměnné zdají mnohem vhodnější.

V následném e-mailu s mluvčím IIHS uvedl, že výzkumník chce „použít dvě různé sady dat a zjistit, zda budou výsledky podobné. Použití různých stavů kontroly by nedávalo smysl. “

Jak dlouholetí čtenáři vědí, vědci mohou do značné míry manipulovat se svými daty, analýzami nebo hypotézami, aby prokázali výsledky, které chtějí najít. To je jeden z důvodů, proč je mnoho lidí obecně skeptických vůči výzkumu. Existuje tolik způsobů, jakými může výzkumník manipulovat s daty - často z velmi legitimních a dobrých důvodů -, že může být náročné odhalit zavedenou zaujatost.

To však nebyl případ této studie. Myslím, že předsudky jsou podle mého názoru docela jasně stanoveny.

11 analýz, ale pouze 3 významné

Druhým znamením této výzkumné zprávy je naprostý nesmysl, je to, že i když byl balíček karet naskládán způsobem, který si sám výzkumník zvolil, stále nemohl najít velký význam v datech pro většinu statistických analýz, které provedl. Podívej se sám:

Vidíte ty tři hvězdičky? To jsou jediné tři analýzy, které byly statisticky významné. Všimněte si, jak se pouze jedna z těchto hvězdiček objevuje ve skutečném srovnání mezi státy - mezi Coloradem a Utahem. Všechny ostatní analýzy mezi státy neprokázaly žádný významný rozdíl mezi kontrolním státem a státem legálním pro marihuanu.

V sedmi analýzách mezi jednotlivými státy byla jako významná pouze jedna. To je docela významné zjištění, které bylo ve zprávě přehlíženo (a IIHS se o něm vůbec nezmínil). V mých výzkumných kruzích bychom tomu říkali „slabý“.

Pojďme shromáždit data!

Teprve když výzkumník spojil spoustu kontrolních stavů dohromady, našel dvě významnější korelace.

Obecně chápu, že vědci se zdržují shromažďování údajů z různorodých zdrojů, pokud nemohou odůvodnit rozhodnutí tak učinit, a zajistí, že základní proměnné jsou homogenní (nebo podobné).

Nejen, že to musíte zajistit pro skupinu států, jako v současném výzkumu. Výzkumník však také shromáždil data za několik let.

Není zřejmé, jaké ospravedlnění výzkumník použil pro výběr let, které udělal (2012–2016), kromě toho, že to byly roky, kdy byly takové údaje dostupné ve všech těchto státech. Při mém zběžném prohledávání vládních webů každého z těchto států jsem však obecně zjistil, že spolehlivě dostupná data o haváriích sahají až do roku 2005.

Víme, že roční údaje o haváriích nejsou homogenní - mohou se rok od roku značně lišit. Například ve všech státech byla procentní sazba selhání v letech 2014, 2015 a 2016 - bez ohledu na stát. Takže to, co se výzkumník snaží měřit, zda se nárůst Idaho o 7,84 procenta v roce 2015 liší od nárůstu Oregonu o 7,09 procenta, který je příznivý pro marjiuanu. Nebo to, zda se míra Colorado v roce 2015, která je příznivá pro marihuanu, zvýšila o 4,37 procenta v počtu nehod, se výrazně liší od nárůstu v Utahu o 9,96 procent nebo v Novém Mexiku o 10,19 procent.

Kromě toho různé státy získaly za sledované měsíce různé velikosti fondů v závislosti na tom, kdy vstoupil v platnost jejich maloobchodní prodej marihuany. To pro Oregon znamenalo, že výzkumník seskupil roky 2012, 2013, 2014 a většinu roku 2015 společně jako jeden soubor dat a 2016 + 2 měsíce v roce 2015 jako druhý soubor dat (46 měsíců vs. 14 měsíců). Colorado však legalizovalo marihuanu v lednu 2014, takže měla pouze dva roky údajů před legalizací a tři roky údajů po legalizaci.

Ve spravedlivém a přesném vědeckém srovnání by všechny soubory dat měly mít podobnou velikost, pokud jde o zkoumanou dobu před a po proměnné, kterou se snažíte ve své analýze měřit. Zvláště když tyto údaje, jak víme, nejsou homogenní.

Co tedy data ukazují?

Výzkumník neposkytl obvyklé podrobnosti, které by člověk potřeboval k replikaci své práce. Musíme tedy prozkoumat nezpracovaná data a podívat se jen na zjevnější problémy.

Když se podíváme na Colorado, můžeme porovnat jeho míru nehod v průběhu času se dvěma dalšími státy. Před rokem 2013 se Colorado těšilo meziročnímu poklesu celkové nehodovosti (všechna data z webových stránek každého příslušného státu). V roce 2013 pak stát zaznamenal nárůst havárií o 6,29 procenta, což pokračovalo v roce 2014 (6,79 procenta) a 2015 (4,37 procenta). V roce 2016 stát zaznamenal pouze 0,35 procentní nárůst.

Porovnejte tato čísla s jedním z kontrolních států, Utah, který výzkumník zahrnul. Utah také zaznamenal nárůst nehod v roce 2013 (9,05 procenta), který v roce 2014 poklesl (-2,96 procenta). Míra selhání tohoto státu v letech 2015 a 2016 opět vzrostla (9,96%, respektive 3,94%).

Nyní porovnejme tato čísla s jedním z kontrolních států, které nezvolil výzkumník, Nové Mexiko. V roce 2013 zaznamenala pokles nehodovosti (-4,78 procenta), ale poté dva roky růstu v roce 2014 a 2015 (3,64 procenta, respektive 10,19 procenta). V roce 2016 došlo v Novém Mexiku k poklesu o -0,53 procenta.

Věřím, že důvod, proč byl vybrán Utah nad Novým Mexikem, byl jednoduchý. Míra jeho havárie v letech 2014–2016 (jsou to klíčové roky pro srovnání marihuany v Coloradu) kumulativně zvýšila jeho havárii pouze na 10,94 procenta. Pokud ústavy místo toho použily Nové Mexiko, byla jeho míra havárie za stejné časové období 13,3 procenta. Ve srovnání s kumulativními 11,51 procenty Colorada můžete vidět, že Utah je nižší - ale Nové Mexiko (také sousední stát Colorado) je téměř o 2 procentní body vyšší.

Vrhněte to všechno na analýzu, která zohledňuje „státní charakteristiky“ (zahrnující pouze míru nezaměstnanosti a počasí), a voila! Data, která zdánlivě ukazují prodej marihuany, mají dopad na míru selhání.

Co to znamená pro marihuanu?

Data, dokonce ani ze současného výzkumu, neukazují v zásadě žádnou statistickou významnost mezi maloobchodním prodejem marihuany a počtem autonehod ve státě. Pokud vůbec existuje korelace, je velmi slabá a zjistila se pouze tehdy, když výzkumník podle mého názoru použil ve studii pochybné analýzy. Některé státy sousedící s Coloradem - například Nové Mexiko - nebyly do analýzy zahrnuty a vykazovaly větší nárůst nárůstu nehodovosti ve stejném časovém období než Colorado.

Věřím, že tento druh zprávy špatně odráží jak IIHS, tak HLDI. Tyto organizace, financované primárně pojišťovnami, podle mého názoru zveřejňují děsivá zjištění, aby předaly politický a obchodní cíl. Tato zjištění označují za „výzkum“, a to navzdory skutečnosti, že jsou někdy publikována pouze na vlastních webových stránkách organizace a zjevně nejsou recenzována, jako je tomu v tradičním vědeckém výzkumu. („Náš nejnovější výzkum legalizace legální marihuany a nehod hlášených policií byl předložen k publikaci do časopisu Analýza a prevence nehod, “Poznamenává mluvčí IIHS.)

To, co zde máme, je to, co bych označil jako „falešný výzkum“ - výzkum se táhne, aby ukázal významný vztah, kde je zjevně jen velký otazník. A i kdyby existoval korelační význam, má tento výzkum nulovou podporu kauzálního vztahu. Oslovili jsme organizace, aby se k nim vyjádřily, a ty nás v podstatě pouze odkázaly zpět na studii, kde nám poskytne odpovědi. Mluvčí IIHS například uvedl: „Údaje o srážkách ze států marihuany ve studii IIHS se neshromažďují, ale jednotlivé výsledky z každého státu byly zkombinovány do metaanalýzy, což je přijatelná výzkumná metoda. Jednotlivé výsledky pro Colorado a Washington v analýze HLDI jsou statisticky významné. “

Když jsem poukázal na to, že současná studie ukázala význam pouze pro jeden stát - Colorado (a poté pouze ve srovnání s jedním dalším státem, Utah) - mluvčí mě upozornil na předchozí studii. Zřejmě nevědomý, že pokud novější výzkum je v rozporu s dřívějším výzkumem, nemůžete stále poukazovat na to, že dřívější výzkum stále platí. Nová studie od IIHS ukazuje, že mezi marihuanou a haváriemi ve Washingtonu již neexistuje významná korelace - přesný opak toho, co tvrdí mluvčí.

IIHS je organizace, která se snaží vzdělávat a informovat tvůrce politik, pokud jde o bezpečnost motoristů. Je smutné, že většina politiků a občanů nerozumí ani si neuvědomuje, že byli oklamáni, a místo toho věří, že tento druh studia je ve skutečnosti vědecký.

Stručně řečeno, neexistují žádná silná data spojující maloobchodní prodej marihuany s nárůstem automobilových nehod. Data, která máme, ukazují pouze velmi omezenou a slabou korelaci - nikoli příčinu - pomocí statistických triků.

Od této chvíle budu mnohem skeptičtější vůči všemu, co IIHS nebo HLDI zveřejní.

Poznámky pod čarou:

1. Konkrétně „Kontrolní stavy byly vybrány na základě blízkosti ke stavu studie a na základě podobnosti sezónních vzorců havárií před rokem 2014. Tato podobnost byla založena na korelacích mezi měsíčními frekvencemi ve stavu studie a každým potenciálním stavem kontroly během 24 měsíců 2012–13. Pearsonův korelační koeficient pro Colorado a Nebrasku byl 0,85; pro Wyoming, 0,79; a pro Utah 0,60. U Washingtonu byly jako kontroly vybrány státy Montana (0,67) a Idaho (0,63). Pro Oregon byly použity státy Idaho (0,67) a Montana (0,83). “ [↩]