Vychloubejte vědu: TweetPsych

Nová služba spuštěná tento týden webovým vývojářem jménem Dan Zarrella s názvem TweetPsych. Zarrella je také marketingovým manažerem společnosti HubSpot, firmy zabývající se online marketingem. Zarrella si říká „vědec“, protože to podle všeho zní svůdněji než „webový vývojář“ nebo „marketingový manažer“, ale neuvádí žádné akademické údaje. (Nechtěl bych zmínit vědeckou ani pověřovací část, kromě toho, že Zarrella o své nové službě činí konkrétní vědecká tvrzení.)

Zajímavá nová služba se prodává jako nabídka „psychologického profilování“ na základě toho, co zveřejňujete na Twitteru. Ale ve skutečnosti je to jen služba analýzy obsahu, využívající dva psychologické slovníky a vašich posledních 1 000 tweetů. Zarrella tvrdí, že tato analýza „buduje psychologický profil člověka.“ Skutečné psychologické profilování je věda a obvykle se provádí s mnohem více než jen s jedním kusem života člověka (například s tím, co píšou na službě mikro blogů). TweetPsych poté vznese protichůdné tvrzení, že je to „pouze pro účely zábavy“. Který to je?

Existují problémy s jedním ze slovníků, které Zarrella v analýze také používá. Jeden slovník - LIWC - je platná psychologická lingvistická databáze. Ale druhý, Anglický regresivní obrazový slovník (RID), je mnohem méně. RID se skládá z asi 3 200 slov a kořenů přiřazených 43 kategoriím myšlení a nálady. Primárním problémem RID je to, že v zásadě nemá žádnou podporu výzkumu (navzdory tomu, že Zarrella cituje web, což vypadá, jako by se to stalo). Byl vyvinut jediným profesionálem, který o tom a dalších psychoanalytických procesech napsal spoustu knih. Kniha není to samé jako recenzovaný článek ve vědeckém časopise (jak vědci vědí) a RID zcela chybí empirická podpora. To naznačuje, že polovina analýzy je neplatná, než vůbec začneme.

Druhý slovník, Linguistic Enquiry and Word Count (LIWC), je založen především na psaném slově - lidových spisech - nebo mluveném slově - jako na terapeutickém sezení nebo rozhovoru mezi dvěma lidmi. Nebylo vyvinuto k analýze uměle krátkých záznamů o 140 znacích, jako jsou ty, které najdete na Twitteru. Lidé při tweetingu zkracují slova kvůli omezenému počtu znaků a není jasné, že jednoduchá stopa bude přesně analyzovat všechna slova napsaná za běhu nestandardními zkratkami. A co také tweety? Osoba, která něco retweetuje, nemusí nutně „mluvit“, nýbrž se chovat jako mluvčí pro cizí slova. Rozlišuje se služba? Aniž byste věděli o rozsahu problému, neměli byste tušení, zda je vaše analýza nějakým způsobem uměle zkreslená (pokud jste nejprve konkrétně neštudovali tyto druhy problémů). Tyto problémy lze vyřešit, ale v této službě nebyly vyřešeny.

Schopnost Zarrelly rychle analyzovat 1 000 tweetů a porovnat veškerý text v nich obsažený s těmito dvěma slovníky během několika sekund je obdivuhodným výkonem lingvistického programování. Výzvou, které jsme tehdy čelili, je: „Jak mohu představit výsledky analýzy promyšleným, intuitivním a akčním způsobem?“ Toto je část, kde TweetPsych jednoduše nedokáže doručit.

Vzhledem k tomu, že Zarrella zjevně nemá dostatečné psychologické zázemí, jsou psychologické výsledky docela neuspokojivé. Obdržíte seznam „funkcí“ (vaší osobnosti? Vašeho tweetu?), Které zahrnují věci jako „Povolání a práce“. Vedle toho je užitečný popis: „Hodně mluvíte o pracovních místech a své práci“ a skóre.

Bože, děkuji za skvělý přehled.

Nemáte ponětí, co skóre znamená, protože pro to neexistuje žádný kontext. Je 47,87 za práci dobrý nebo špatný? Jaký je průměr? Mezi další funkce patří „Současný čas“, „Pohyb nahoru“, „Pozitivní emoce“, „Negativní emoce“ a tři desítky dalších kategorií.

Tato část analýzy založená na LIWC je také stejně dobrá jako základní slovník LIWC. I když kategorie jako práce, úspěchy a volný čas jsou „aktuálními obavami“, které LIWC dokáže identifikovat, nemá žádnou kategorii pro něco jako „vztahy týkající se vztahů“. Ale to byste nevěděli, pokud byste neznali LIWC. Může to být něco, co byste zmínili lidem, kteří provedou analýzu. Součástí LIWC také není další oblíbený aktuální aktuální tweetovaný obsah - například politika, technologie a celebrity. Takže znovu se nikdy neobjeví v analýze, i když je to vše, o čem mluvíte. Takže informace, které LIWC - a v širším smyslu, TweetPsych - mohou poskytnout, jsou omezené. (Některé z těchto problémů řeší použití přizpůsobeného slovníku, ale nejedná se o slovník, který TweetPsych nabízí.)

„Prvotní, koncepční a emoční obsah“ z RID neobsahuje absolutně žádné popisy a opět nic, co by dalo vaše skóre do jakéhokoli typu kontextu nebo porozumění. Ale protože to není vědecký slovník, můžete skóre i tak docela ignorovat. Mohly být vyvinuty náhodně a poskytnout stejně užitečné informace.

Poslední část aktuální analýzy je „Ostatní jako vy“, běžná součást jakékoli služby sociálních sítí. Kupodivu tato součást v první verzi tohoto nástroje chyběla. Vychází pouze z toho, co tweetujete, tvrdí „Někteří lidé si myslí, že jste jako vy“ a poté vám poskytne seznam dalších lidí, kteří odešli na TweetPsych a zadali své uživatelské jméno k analýze.

Samozřejmě že je ne lidé, kteří myslí jako vy - jsou to lidé, kteří pípají jako vy. Toto je důležitý rozdíl. Služba, která každý den analyzuje malou část toho, co píšete, a na základě analýzy, která může být vadná rozšířeným používáním zkratek uživateli, určitě nemůže tvrdit, že bude analyzovat to, co vy myslet si.

Jak spolehlivý je TweetPsych? Dnes, když jsem psal tento článek, všiml jsem si, že všechna skóre samotného Dana Zarrelly se změnila kvůli jedinému tweetu (dnes tweetuje pouze jednou). Jeho skóre „zaměstnání a práce“ pokleslo o 20% a jeho skóre „současného času“ vzrostlo o 16%. Jeho skóre abstraktního myšlení pokleslo o 16%. Jak se to všechno mohlo stát z jediného tweetu? Jeden tweet - ve srovnání s jeho 999 dalšími tweety - by neměl být schopen tolik ovlivnit jeho skóre. Pokud se ale neděje něco jiného.(Porovnejte snímek obrazovky níže, pořízený v 14:55 odp. Východního času, s výše uvedeným, pořízený dnes v 9:00 odp. Východního času.)

Moje vlastní výsledky v analýze posledních 1000 tweetů Zarrelly v programu LIWC2007 ukazují něco úplně jiného. Neznám Zarrellovu metodologii (protože ji nesdílel), ale vzal jsem text jeho minulých 1 000 tweetů a zpracoval je ve dvou formách prostřednictvím LIWC - vycházel a „jak je“. Ani jeden z produkovaných skóre nic podobného tomu, co se objeví na TweetPsych. Může to být způsobeno tím, že používá starší verzi slovníku nebo nějakou transformační proměnnou, kterou přidává do TweetPsych, kterou nezveřejnil. Výsledky této analýzy LIWC2007 si můžete prohlédnout zde. (Zvýraznil jsem žlutě věci, které TweetPsych zvýraznil, a zeleně další oblasti, které již TweetPsych nezvýraznil; všimněte si významného rozdílu ve skórování.) Dělá vás to ale divné, co přesně se ve službě děje. Je-li jeho psychometrická spolehlivost a platnost sporná, jak užitečná je?

TweetPsych získává spoustu pozitivního tisku, vrhá se do něj jen trochu skepticismu. CNet Josh Lowensohn o této službě napsal a pouze mimochodem poznamenal: „Díky tomu je to méně o psychologii a více o vaší osobní lexikonu, ale výsledky jsou stále docela zábava." Yay, zábava! Ben Patterson na Yahoo! Tech řekl: „Bohužel psychologické profily, které TweetPsych vydává, nejsou koherentní, narativní rozmanitost, kterou můžete slyšet od rezidentního psychiatra na téma„ Zákon a pořádek: Zločinný záměr. ““ A přesto není koherentní narativ mnohem užitečnější než některé nepopsatelné kategorie? Žádný z reportérů, ani původní článek o Mashable (kde, překvapení !, přispívá Zarrella), si nevšiml nedostatku psychologického pozadí, které Zarrella přináší ke stolu. Žádný nespojoval tečky, proč jsou výsledky při interpretaci tak neuspokojivé. Zdá se, že techničtí novináři jsou skvělí v redistribuci vlastních pozitivních tiskových zpráv, ale ne tak skvělí v tom, že jsou skutečnými novináři, kteří se zabývají údajnou vědou o takové službě.

Sám Zarrella samozřejmě připouští, že do služby moc nedal, jak řekl NY Post„„ Lidé se prostě rádi srovnávají s ostatními lidmi a snaží se „dostat dovnitř“ do hlav ostatních lidí, “říká Zarrella. "Je to jako být muchou na zdi na terapeutickém sezení." "Terapeutické sezení?" Je opravdu tak zasvěcené najít někoho, kdo mluví o „pohybu nahoru?“ Ve spěchu dát službu online Zarrella zjevně nikdy nepoložila otázku: „Je některá z těchto informací skutečně užitečná?“ Služba, jak existuje dnes, je nedokončenou myšlenkou, že se k ní málokdo vrátí.

TweetPsych navzdory svým omezením otevřel dveře budoucím službám, které ve skutečnosti poskytují užitečné, užitečné a použitelné informace, které by pravděpodobně měly větší platnost. Představte si, že vezmete nejen tweety člověka, ale informace obsažené v jeho profilu na Facebooku, blogu atd., A necháte je všechny umístit do jednoho obrovského analytického nástroje ... Takový motor by pak mohl mít schopnost poskytnout skutečný psychologický vhled do jednotlivce podle toho, co říkají online.

Do té doby máme nováčky jako TweetPsych, které by se opravdu měly jmenovat „TweetFun!“ Protože i když je opravdu zábavné si s ním hrát, poskytuje jen málo psychologického vhledu - kromě těch nejmělčích - do kohokoli.

(Další informace o TweetPsych od Tylera Hayese si můžete přečíst zde.)