OKCupid: Pojďme manipulovat se shodami ve jménu „výzkumu“

Představme si, že jste se kdysi zaregistrovali do online seznamovací služby, o které jste si mysleli, že vám poskytne nejlepší možné zápasy na základě informací, které jste jí poskytli.

Představme si také, že člověk, který web provozoval, se rozhodl hrát hru. Rozhodl se, že „hej, nebylo by zábavné ukázat lidem opak toho, co jim pravidelně ukazujeme jako jejich nejlepší zápasy a uvidíme, co se stane?“ Udělá to pod záminkou „experimentu“, aby to všechno znělo legitimně.

Možná ten člověk moc nerozumí lidské etice. Nebo mu to je možná jedno.

Tento scénář si bohužel nemusíte představovat. Protože pokud jste uživatelem online seznamky OKCupid, možná jste byli nevědomým účastníkem výzkumné studie, kterou se její spoluzakladatel Christian Rudder rozhodl spustit na začátku tohoto roku.

Pokud jste uživatelem OKCupid, je mi vás líto. Společnost, se kterou jste se zaregistrovali, je zjevně řízena matematikem - Christianem Rudderem - který má jen malé vzdělání jako vědecký pracovník nebo vědec, a přesto se při provádění sociálních vědních experimentů na svých uživatelích cítí naprosto v pořádku. To je podle mého názoru rovnice pro katastrofu…

Spor vypukl v létě po odhalení, že Facebook také experimentuje na svých uživatelích bez jejich výslovného souhlasu:

Rudder si myslel, že Facebook získal v oblasti zpravodajství nezvyklou dohodu, protože všechny internetové společnosti provádějí malé i velké experimenty, aby pomohly vylepšit své produkty nebo dát smysl jejich datům. Jeho příspěvek mimo jiné odhalil, že OKCupid někdy převrátil procenta shody a ukázal vysoké známky lidem, kteří neměli být kompatibilní, což naznačuje opak. OKCupid poté měřil, zda byly tyto shody méně produktivní (tj. Vedly k menšímu počtu zpráv) než tradiční algoritmy.

Nebo jako Opatrovník napsal:

Abychom otestovali svou teorii, web lhal části uživatelů o tom, jak silně se shodují s ostatními uživateli, a sledoval, kolik jednotlivých zpráv vedlo k úplné konverzaci. Jistě, zjistili, že u dvou uživatelů, kteří ve skutečnosti měli 90% shodu, ale bylo jim řečeno, že mají 30% shodu, bylo méně pravděpodobné, že budou dál mluvit, než u dvou uživatelů, kteří ve skutečnosti měli 30% shodu, ale bylo jim řečeno, že mají 90% zápas.

Co? Takže online seznamovací web, o kterém jste si mysleli, že vynaloží maximální úsilí, aby vás spojil s tím, co považoval za vaše nejlepší zápasy, se někdy rozhodl hrát hry s vámi. Místo toho, aby vám ukázal nejlepší zápasy, vám někdy ukázal nejhorší zápasy, se kterými jste mohli být spárováni. Jen abych viděl, co uděláte.

Kdybych byl zákazníkem společnosti OKCupid, udělal bych toto - okamžitě zrušte svůj účet u této společnosti. Řekněte všem svým přátelům na sociálních médiích, aby se drželi dál od společnosti OKCupid, společnosti, která se zjevně tak málo stará o etiku lidského výzkumu, a cítí se dokonale v klidu lhaní svým vlastním zákazníkům.

Je v pořádku provádět experimenty použitelnosti A / B a vyzkoušet, jak fungují různé návrhy vašeho webu.

Není v pořádku provádět experimenty, kde svým zákazníkům přímo lžete o základní službě, kterou poskytujete - v tomto případě algoritmu shody. V jakém vesmíru by to bylo považováno za etické?

Existují dvě velmi odlišné věci. Každý výzkumník to ví:

Ale zatímco příspěvek na blogu společnosti OkCupid byl zdánlivě snahou o demystifikaci procesu experimentování na uživatelích, pro mnohé jednoduše zdůraznil selhání technologického průmyslu „pochopit, proč je některé testování etické a jiné ne“, slovy sociologa Nathana Jurgensona .

Přes osobní chování společnosti OkCupid je společnost ve vlastnictví konglomerátu IAC, nadnárodní korporace s tržním stropem 5 miliard USD. "Techničtí lidé běžně označují emoční manipulaci a změnu loga," pokračoval Jurgenson. „[Potřebujete] etickou radu, abyste rozlišili, co vyžaduje přihlášení, rozbor atd.“

Bez urážky, ale toto je přesně ten druh neetického chování, jaký bych očekával od studenta, který se specializoval na matematiku. Podle mého názoru Rudder není vědec ani výzkumník - nemá ani magisterský titul, natož doktorát. Zdánlivě si myslí, že publikování jeho „postřehů“ z Excelu na blogu je ekvivalentní publikování recenzovaného článku v časopise (z čehož jsem zjistil, že publikoval nulu).

Vím, že je zábavná, moderní věc, začít si říkat „datový vědec“, když poprvé vložíte některá data do tabulky aplikace Excel a všimnete si korelace mezi některými čísly. Ale nazývat se jménem a ve skutečnosti mít stejné dovednosti a vzdělání jako skutečný datový vědec jsou dvě velmi odlišné věci. Podle mého názoru není Rudder žádný vědec, jen velmi dobrý showman a obchodník.

Proč by měly mít Rudderovy pověření význam? Protože právě na postgraduální škole se dozvíte o testování lidských předmětů. Etiku učíte na postgraduální škole. A právě v postgraduálním studiu se lidé obecně učí, jak používat skutečné statistické programy k vyhledání trendů v datech.

Provedli výzkum, aby jej mohli sdílet s ostatními vědci - jako většina skutečných vědců - ve vědeckém časopise? Ani náhodou. Udělali to tak zjevně, že by měli krmivo pro další blogový příspěvek. To je pravda - váš online seznamovací život byl zmanipulován, aby mohli bavit ostatní v blogu.

IAC, mateřská společnost OKCupid, by se za chování tohoto muže měla stydět. Okamžitě by mě to přimělo nedůvěřovat žádné z vlastností, které provozuje IAC - například About.com nebo Ask.com.

Ale znovu získáte to, za co zaplatíte. Zákazníci OKCupid - a volný, uvolnit online seznamovací web - nemělo by vás překvapovat, že společnost zjevně nemá problém vám lhát a manipulovat s výsledky shod, které vám ukazuje.

Zasloužíš si lepší. Vydělejte pár babek a staňte se členem online seznamky provozované profesionály a kteří na vás neuskutečňují experimenty s lidskými subjekty.