Špatný výzkum: Porovnání rychlosti iPad, Kindle a čtení knih

Studii použitelnosti milujeme stejně jako další osobu. Ale máme rádi dobře navržené, elegantní studie, které oprávněně poukazují na svá vlastní omezení a jsou ze všeho nejvíce vytištěny v recenzovaných časopisech. Máme méně lásky ke studiím, které fungují jako propaganda, nebo k výzkumníkům, kteří vyvozují závěry, které nejsou podloženy jejich vlastními údaji.

Špatný výzkum najdete kdekoli - dokonce i u konzultantů, kteří se živí výzkumem použitelnosti. Dobře mínění lidé jako Jakob Nielsen pro jednoho. Nedávno na svém webu zveřejnil studii o použitelnosti Kindle, iPadu, PC a knihy pro čtení krátké fikce.

Poté, co jsme si všimli, že mezi čtením na Kindle nebo iPadu nebyl žádný statistický rozdíl, a poté, co jsme si všimli, že data nedosáhla statistické významnosti pro iPad oproti knize, autoři této zprávy stále prohlašují, že „Knihy jsou rychlejší než tablety“.

Ano, na první pohled to platí. Smyslem výzkumu a statistické analýzy je v první řadě jít nad rámec toho, co zdá se být pravdivý a zjistit, zda je rozdíl smysluplný nebo ne.Koneckonců, data mohou vypadat, že něco znamenají, ale pokud to statistiky nezálohují, pak je zdání významu jen iluzí. Jeden, který by neměl být zdůrazňován v podtitulcích, protože je zavádějící.

Ve skutečnosti data z této konkrétní studie zjistila, že pouze čtení na Kindle bylo statisticky odlišné od čtení knihy. Ale to je mnohem méně sexy závěr než širší „Books Faster Than Tablets“.

Alternativní vysvětlení výsledků nebyla v této studii nabídnuta, což je zjevné opomenutí. Nejviditelnějším alternativním vysvětlením nalezených výsledků je jednoduše to, že lidé mají velkou znalost a zkušenosti s čtením tištěného slova v knize - často v hodnotě desetiletí! Na druhou stranu, čas a zkušenosti strávené čtením z novějšího zařízení - ať už je to Kindle nebo iPad nebo dokonce PC - byly extrémně omezené. V každém případě lidé nestrávili desítky let čtením knih z jednoho z těchto zařízení. Mohlo by to tedy být prostě něco známého - knihy jsou snadné a známé způsoby, jak pohltit čtecí materiál. Kindle a iPad nejsou (zatím).

Toto alternativní vysvětlení také vysvětluje rozdíl mezi nálezy dat Kindle a iPad (Kindle byl statisticky významně pomalejší než kniha, zatímco iPad nebyl). IPad používá obrazovku, kterou již většina lidí zná, a odbornost společnosti Apple na použitelnost těchto druhů ručních zařízení je dobře známá. Kindle na druhé straně používá technologii obrazovky, s níž se málokdo setkal. A i když je mnohem použitelnější v každodenních situacích (například při čtení venku nebo bez obav z nutnosti každodenního dobíjení), Kindle je prostě neznámější zařízení využívající neznámou technologii.

Omezení studie zahrnují její design a předmětovou skupinu. Zatímco 24 subjektů nám může poskytnout dostatečnou sílu pro statistickou analýzu, styly čtení lidí se liší natolik, že nám větší experiment může poskytnout robustnější a přesvědčivější výsledky. Žádat člověka, aby si přečetl stejný 17minutový příběh čtyřikrát po sobě, se také zdá méně než ideální. I když bylo pořadí zařízení, ve kterých čtou, randomizováno, nemohu si pomoci, ale pomyslím si, jak nudné a jednotvárné by bylo číst znovu a znovu stejný příběh, 4krát za sebou.

Nabídka různých typů čtecího materiálu - beletrie i literatury faktu - by také vyloučila jakékoli možné účinky, že typ obsahu, který se používá jako měřítko, také nechtěně neovlivňuje rychlost čtení. Hemingway - autor použitý v současném výzkumu - je skvělý autor, ale stěží bych řekl, že je každému po chuti nebo vkusu. Čtení, o které máte malý zájem, může také ovlivnit dobu čtení.

Tato studie prokázala, že různá stolní počítačová zařízení pro čtení díla krátké beletrie významně neovlivňují dobu čtení u osob, které nemají žádnou konkrétní znalost těchto zařízení (kromě Kindle, kde byla doba čtení výrazně pomalejší). Není divu, že iPad, Kindle a kniha měly podobné skóre spokojenosti uživatelů, což dokazuje, že zařízení nemají žádné významné problémy s použitelností, které snižují spokojenost koncového uživatele s jejich používáním.