Emoční nákaza na Facebooku? Spíše jako špatné metody výzkumu

Nedávno byla zveřejněna studie (Kramer et al., 2014), která něco ukázala udivující - lidé změnili své emoce a nálady na základě přítomnosti nebo nepřítomnosti pozitivních (a negativních) nálad jiných lidí, jak je vyjádřeno v aktualizacích stavu na Facebooku. Vědci tento efekt nazvali „emoční nákazou“, protože chtěli ukázat, že slova našich přátel v našem zpravodajském kanálu na Facebooku přímo ovlivnila naši vlastní náladu.

Výzkumníci však nikdy neměřili náladu nikoho.

A nevadí, že studie má fatální chybu. Jeden, který jiný výzkum také přehlédl - což činí zjištění všech těchto vědců trochu podezřelými.

Odložíme-li směšný jazyk používaný v těchto druzích studií (emoce se šíří jako „nákaza“?), Tyto druhy studií často dospějí ke svým zjištěním provedením jazyková analýza na malé kousky textu. Na Twitteru jsou opravdu maličké - méně než 140 znaků. Aktualizace stavu Facebooku jsou zřídka více než několik vět. Vědci vlastně neměří náladu nikoho.

Jak tedy provádíte takovou jazykovou analýzu, zejména při 689 003 aktualizacích stavu? Mnoho vědců se k tomu obrací k automatizovanému nástroji, kterému se říká Linguistic Enquiry and Word Count application (LIWC 2007). Tato softwarová aplikace je popsána jejími autory jako:

První aplikace LIWC byla vyvinuta jako součást průzkumné studie jazyka a odhalení (Francis, 1993; Pennebaker, 1993). Jak je popsáno níže, druhá verze, LIWC2007, je aktualizovanou revizí původní aplikace.

Všimněte si těchto dat. Dlouho předtím, než byly založeny sociální sítě, byl vytvořen LIWC k analýze velkých částí textu - jako je kniha, článek, vědecká práce, esej napsaná v experimentálním stavu, položky blogu nebo přepis terapeutického sezení. Všimněte si jedné věci, kterou všechny tyto prvky mají společnou - mají dobrou délku, minimálně 400 slov.

Proč by vědci používali nástroj, který není určen pro krátké úryvky textu, dobře ... analyzovat krátké úryvky textu? Je to smutné, protože je to jeden z mála dostupných nástrojů, které dokážou zpracovat velké množství textu poměrně rychle.

Koho zajímá, jak dlouho bude text měřit?

Možná tam sedíte a škrábáte si na hlavě a přemýšlíte, proč je důležité, jak dlouhý text se pomocí tohoto nástroje snažíte analyzovat. Jedna věta, 140 znaků, 140 stránek ... Proč by na délce záleží?

Na délce záleží, protože tento nástroj ve skutečnosti není příliš dobrý v analýze textu způsobem, jakým jej zadali vědci z Twitteru a Facebooku. Když ji požádáte o analýzu pozitivního nebo negativního sentimentu textu, jednoduše spočítá negativní a pozitivní slova ve studovaném textu. U článku, eseje nebo blogu je to v pořádku - poskytne vám celkem přesnou souhrnnou analýzu článku, protože většina článků má více než 400 nebo 500 slov.

Pro tweet nebo aktualizaci stavu je to však hrozný analytický nástroj. Je to proto, že to nebylo navrženo k rozlišení - a ve skutečnosti nemůže rozlišovat - negační slovo ve větě

Podívejme se na dva hypotetické příklady, proč je to důležité. Tady jsou dva ukázkové tweety (nebo aktualizace stavu), které nejsou neobvyklé:

"Nejsem šťastný."

"Nemám skvělý den."

Nezávislý hodnotitel nebo soudce by tyto dva tweety hodnotil jako negativní - jasně vyjadřují negativní emoce. To by bylo +2 na záporné stupnici a 0 na kladné stupnici.

Nástroj LIWC 2007 to ale tak nevidí. Místo toho by tyto dva tweety hodnotil jako bodování +2 za pozitivní (kvůli slovům „skvělý“ a „šťastný“) a +2 za negativní (kvůli slovu „ne“ v obou textech).

To je obrovský rozdíl, pokud máte zájem o nestranný a přesný sběr a analýzu dat.

A protože velká část lidské komunikace zahrnuje takové jemnosti - aniž by se ponořila do sarkasmu, zkratky z krátké ruky, které fungují jako negační slova, fráze, které popírají předchozí větu, emodži atd. - ani nemůžete říct, jak přesné nebo nepřesné výsledná analýza těchto výzkumníků je. Protože LIWC 2007 tyto jemné reality neformální lidské komunikace ignoruje, stejně tak vědci.2

Možná je to proto, že vědci nemají tušení, jak špatný problém ve skutečnosti je. Protože jednoduše posílají všechna tato „velká data“ do modulu pro jazykovou analýzu, aniž by skutečně pochopili, jak je analytický modul chybný. Je to 10 procent všech tweetů, které obsahují negační slovo? Nebo 50 procent? Vědci vám to nemohli říct

I když je to pravda, výzkum ukazuje drobné efekty skutečného světa

Proto musím říci, že i když i přes tento obrovský metodologický problém věříte tomuto výzkumu v nominální hodnotě, stále vám zbývá výzkum ukazující směšně malé korelace, které pro běžné uživatele nemají téměř žádný význam.

Například Kramer a kol. (2014) našli 0,07% - to není 7 procent, to je 1/15 z jednoho procenta !! - snížení negativních slov v aktualizacích stavu lidí, když se snížil počet negativních příspěvků na jejich zpravodajském kanálu na Facebooku. Víte, kolik slov byste z tohoto důvodu museli přečíst nebo napsat, než napíšete jedno méně negativní slovo? Pravděpodobně tisíce.

To není ani tak „efekt“, jako statistický výkyv, který nemá žádný význam pro reálný svět. Sami vědci to uznávají a berou na vědomí, že jejich velikost účinku byla „malá (tak malá jako) d = 0,001). “ Dále naznačují, že na tom stále záleží, protože „malé efekty mohou mít velké agregované důsledky“ s odvoláním na studii Facebooku o motivaci k politickému hlasování od jednoho ze stejných výzkumníků a na 22letý argument psychologického deníku.4

Ve výše uvedené větě si ale odporují, což naznačuje, že emoce „je obtížné ovlivnit vzhledem k rozsahu každodenních zkušeností, které ovlivňují náladu“. Který to je? Ovlivňují aktualizace stavu Facebooku významně emoce jednotlivce, nebo nejsou emoce tak snadno ovlivnitelné prostým čtením aktualizací stavu ostatních lidí ??

Navzdory všem těmto problémům a omezením nic z toho nakonec vědcům nezabrání proklamovat: „Tyto výsledky naznačují, že emoce vyjádřené ostatními na Facebooku ovlivňují naše vlastní emoce, což představuje experimentální důkaz masové nákazy prostřednictvím sociálních sítí.“ 5 Opět bez ohledu na to, že ve skutečnosti neměřili emoce nebo stavy nálady jediného člověka, ale místo toho se spoléhali na chybné hodnotící opatření.

Podle mého názoru vědci Facebooku jasně ukazují, že příliš důvěřují nástrojům, které používají, aniž by pochopili - a diskutovali - významná omezení těchto nástrojů.6

Odkaz

Kramer, ADI, Guillory, JE, Hancock, JT. (2014). Experimentální důkazy masové emoční nákazy prostřednictvím sociálních sítí. PNAS. www.pnas.org/cgi/doi/10.1073/pnas.1320040111

Poznámky pod čarou:

1. To podle dotazu na vývojáře LIWC, kteří odpověděli: „LIWC se v současné době nezabývá tím, zda je v jeho bodování výraz negace blízko slova výrazu pozitivní nebo negativní emoce a bylo by obtížné přijít s účinným algoritmem pro tohle stejně. “ [↩]
2. Nenašel jsem žádnou zmínku o omezeních používání LIWC jako nástroje jazykové analýzy pro účely, pro které nikdy nebyl navržen ani zamýšlen v této studii ani v jiných studiích, které jsem zkoumal. [↩]
3. Mohli by vám říci, jestli ve skutečnosti strávili čas ověřováním své metody pilotní studií k porovnání s měřením skutečných nálad lidí. Tito vědci to však nedokázali. [↩]
4. Studie hlasování na Facebooku má několik závažných problémů, z nichž nejmenší je přisuzování změn hlasovacího chování jedné korelační proměnné s dlouhým seznamem předpokladů, které výzkumníci učinili (a se kterými byste museli souhlasit). [↩]
5. Žádost autorů o objasnění a komentář nebyla vrácena. [↩]
6. Na konferenci LIWC 2007 nejde o výkop, který může být vynikajícím výzkumným nástrojem - při použití pro správné účely a ve správných rukou. [↩]