Bad Science: MyType iPad Research

Nerad dávám tisk „výzkumné firmě“, která neví první věc o statistikách hlášení nebo základní metodice ve své vlastní „výzkumné“ zprávě. Myslím, že to se stane, když se sejde spousta lidí, kteří jsou většinou technologové, nikoli statistici nebo sociální vědci.

Minulý týden vydala MyType, facebooková osobnostní aplikace, která bere vaše data a poté prodává agregované zprávy na základě vašich odpovědí na jejich kvíz, zprávu o iPadu. Navrhli, že majitelé iPadů a ti, kteří si chtějí jeden koupit, jsou „sobecké elity“, zatímco ti, kteří kritizují iPad, jsou charakterizováni jako „nezávislí geekové“.

Už teď můžete říct, že to nebude přesně vědecká analýza, že?

Nejprve je hlášení MyType o svých výsledcích. Do aktuální zprávy nejsou zahrnuty skutečné použité statistické testy, statistická významnost (hodnoty p) a počty subjektů v každé studované skupině. Víte, základní druhy dat, které jiní vědci hledají, aby mohli vyhodnotit prezentované výsledky. Bez těchto základních informací není tento druh „výzkumu“ lepší než vysokoškolský dokument pro třídu Psychologie 101.

Osoba jménem John Hall je zavolala ve své sekci komentářů, kde začali dávat obecná prohlášení o hodnotách p (ale opět žádná specifika, rozkládající každou analýzu, což byste očekávali na trhu nebo ve vědě výzkum). Dr. F se pokusil vzdělávat lidi MyType o základní statistické teorii, protože zjevně nevědí moc o tom, jak navrhnout dobrou výzkumnou studii.

Ze sekce komentářů je také jasné, že někdo upravuje komentáře, aby odstranil věci, které později litoval. John Hall cituje zjevně Tima Koelkebecka, který říká, že protože má diplom z informatiky (zjevně bakalářský), tak ho to nějak kvalifikuje ve výzkumu, metodologii i statistice. Zvláštní.

Největší prozradí, že to není seriózní výzkumná studie, jsou adjektiva zvolená k popisu těchto dvou skupin lidí. K popisu každé skupiny vzali některé svévolné osobnostní rysy. Mohli stejně snadno říci, že majitelé jiných zařízení než iPad jsou neurotičtí, nejistí, pyšní a neopatrní. Je to legitimní charakterizace vlastníků jiných než iPadů? Samozřejmě, že ne, to ukazuje jen jejich malá, zkreslená datová sada. Vzhledem k tomu, že neprochází ani čichovým testem, by většinu vědců přimělo pozastavit se nad tím, zda jdou špatnou cestou.

Podle vlastních údajů mohli kritiky iPadu charakterizovat jako netolerantní, neradi charitu a přátelství, agresivní a cynické teenagery. Páni, nepřekvapuje vás - budete muset dráždit, zda pohlaví nebo věk tyto výsledky zkreslují (a nabídnout alternativní vysvětlení k uvedeným vlastnostem). „Vědci“ mohli také popsat majitele iPadů jako rodinně orientované, chytré a vysoce úspěšné dospělé, kteří jsou nápadití i sofistikovaní.

Ale neudělali to. Pokusili se shrnout spoustu různorodých rysů do chytlavých marketingových frází, aby vytvořili novinové titulky - fráze, které nebyly ani zvlášť přesné, ani nijak zvlášť vědecky platné. To nezabránilo desítkám legitimních běžných zpravodajských kanálů, jako jsou CNET, ZDNet a dokonce i Wired, aby podávaly zprávy o výsledcích, aniž by zvedly obočí nad nedostatkem vědecké přísnosti nebo metody.