Mechanický turk na záchranu výzkumu psychologie?

Jedním z problémů, s nimiž se potýká výzkum psychologie - skutečně s veškerým lékařským výzkumem - je najít dostatek vhodných předmětů ke studiu. Subjekty musí být získávány způsobem, který je reprezentativní pro populaci jako celek, aby bylo možné výsledky výzkumu zobecnit.

Což je skutečný problém, protože jak jsem poznamenal v srpnu 2010, existují doslova tisíce psychologických studií založených na ničem jiném než na skupině vysokoškolských studentů z jednoho kampusu na univerzitě v USA. Zatímco mladí dospělí, kteří navštěvují vysokou školu, mohou opravdu nám pomozte pochopit některé aspekty lidského chování, nemůžete jen předpokládat, že chování, které jste pozorovali v těchto studiích, platí i pro 60leté ženy a muže.

Vstupte do služby Mechanical Turk Amazon.com. Může technologie pomoci vyřešit problém najít dostatek lidí, kteří budou více reprezentovat populaci, a učinit tak nákladově efektivním způsobem?

Pro začátek může pomoci pochopit, co je to Mechanical Turk. Jedná se o online tržiště, které prodejcům umožňuje nakupovat lidskou práci za velmi levné náklady na nějaký druh online úkolu. „Stránka se může pochlubit velkou a různorodou pracovní silou sestávající z více než 100 000 uživatelů z více než 100 zemí, kteří denně plní desítky tisíc úkolů,“ poznamenávají vědci. Tito pracovníci dostávají po částech výplatu za každý úkol, někdy i za 1 cent. Úkoly se liší a mohou dělat cokoli, od procházení webových stránek hledajících chyby až po vyplňování průzkumů.

Ach ano, vyplňování průzkumů. Mnoho výzkumů psychologie je založeno na tom, aby lidé vyplňovali průzkumy. Nebylo by hezké, kdybychom mohli přimět lidi - lidi, kteří nebyli vysokoškoláky -, aby to dělali za něco méně než 10 $ za průzkum ... Řekněme, 10 centů?

Buhrmester a kol. (2011) se chystají zjistit, zda by takoví mechaničtí Turci vyplňovali průzkumy způsobem, který by byl v souladu s lidmi, od kterých byste mohli požádat, aby udělali něco podobného tváří v tvář.

Nejprve vědci zkoumali demografické údaje 3 006 účastníků Mechanického Turka a porovnali je s velkým internetovým vzorkem, který od Mechanického Turka nezískali. Zjistili, že účastníci Mechanického Turka (MTurk) byli rozmanitější než vzorek internetu a standardní vzorek populace vysokoškolských studentů.

Poté zkontrolovali různé cenové body (2, 10 a 50 centů) za vyplnění sady průzkumů, které trvaly různě dlouho (5, 10 a 30 minut). To, co našli, by nemělo být překvapením pro každého, kdo používá MTurk:

Tyto analýzy naznačují, že účastníky lze najímat rychle a levně. Míry účasti jsou citlivé na výši kompenzace a časové závazky, ale naše zjištění ukazují, že je možné sbírat vzorky slušné velikosti prostřednictvím MTurk za pouhé dolary. I když jsme za 30minutový úkol nabídli pouhé 2 centy, nashromáždili jsme 25 účastníků (asi za 5 hodin času zveřejnění). Navíc jen mírným zvýšením kompenzace (např. Na 50 centů) se nám podařilo získat stejný počet účastníků za méně než 2 hodiny času zveřejnění.

Jaká dobrá je však levná pracovní síla, pokud není kvalitní a nesplňuje psychometrické standardy, které vědci v oboru psychologie potřebují?

Vědci zjistili, že ani při nejnižší úrovni kompenzace 2 centy se zdá, že úrovně plateb neovlivňují kvalitu dat. Vědci mohou za dokončení průzkumů zaplatit haléře a spolehlivě vrátit kvalitní data.

Vědci vypočítali průměrné skóre spolehlivosti alfa napříč všemi úrovněmi kompenzace pro šest osobnostních dotazníků, které administrovali online. Zjistili, že skóre alfa MTurk se pohybovaly do dvou setin bodu od tradičního alfského vzorku. Také testovali skóre spolehlivosti testu a opakovaného testu a zjistili průměrnou hodnotu r = 0,88 s 60% mírou dokončení testu. To vše jsou velmi dobrá čísla a příznivě se porovnávají s tradičními metodami.

Výsledek této výzkumné studie naznačuje, že Mechanical Turk je spolehlivou alternativou k využívání populací vysokých škol k získávání údajů z průzkumů - a může být dokonce lepší alternativou než tradiční internetové průzkumy. Za pouhých haléře lidé vyplní i zdlouhavé dotazníky v jejich úsilí pomoci ostatním s jejich projekty a výzkumy. I když je třeba provést další výzkum, aby se tato zjištění potvrdila, MTurk se jeví jako tržiště, o kterém by více výzkumných pracovníků v oblasti psychologie mělo uvažovat při přípravě své další studie.

Odkaz

Buhrmester, M., Kwang, T., & Gosling, S.D. (2011). Mechanický turek společnosti Amazon: nový zdroj levných, přesto vysoce kvalitních dat? Perspectives on Psychological Science, 6 (1), 3-5.

Tento článek obsahuje odkazy na affiliate partnery na Amazon.com, kde se v případě zakoupení knihy vyplácí společnosti Psych Central malá provize. Děkujeme za vaši podporu Psych Central!