Žebříček stranických škol předpojaté, seberealizující proroctví?

Princetonská recenze vydává výroční seznamy univerzit „Best of…“ na základě online průzkumu studentů na každé vysoké škole. Proces průzkumu popisují jako:

Průzkum Princeton Review klade studentům 80 otázek ohledně akademiků / administrativy jejich školy, života kampusu, studentského sboru a sebe samých. Výsledky hodnocení pro toto vydání vycházejí z průzkumů mezi 120 000 studenty (přibližně 325 na kampus) na 366 školách v knize (ne na všech školách v zemi) během let 2006/07 a / nebo předchozích dvou školních let.

Což vše zní dobře a dobře, dokud si nepřečtete drobný tisk:

Náš průzkum je spíše kvalitativní a neoficiální než kvantitativní. Abychom zabránili vytvoření zápisu, který by pro konkrétní školu nebyl známkou, zašleme našemu správnímu kontaktu na každou školu kopii profilu, který hodláme zveřejnit, s dostatečnou příležitostí reagovat opravami, komentáři nebo přímo námitky. V každém případě, kdy dostáváme žádosti o změny, přijímáme pečlivá opatření, abychom zkontrolovali návrhy školy ve srovnání s údaji z průzkumů studentů, které jsme shromáždili, a provedeme příslušné změny, pokud to bude nutné.

Co je pro nás nejpřesvědčivější na tom, jak reprezentativní jsou naše výsledky průzkumu, je toto: Žádáme studenty, kteří se průzkumu zúčastní - poté, co jej dokončí -, aby zkontrolovali informace, které jsme o jejich škole zveřejnili v předchozím roce, a hodnotili nás podle jejich přesnosti a platnost. Rok co rok jsme dosáhli vysokých známek: Letos 81 procent studentů uvedlo, že máme pravdu.

V zásadě tedy připouštějí, že jejich údaje z průzkumu mají poskytnout subjektivní a narativní obraz vysokých škol - ne věci, ze kterých můžete čerpat široké zobecnění. A přesto je to přesně to Princeton recenze pokračuje v práci se svými údaji - čerpá z obecných zobecnění ze svých průzkumů a kvantitativně hodnotí vysoké školy. Samotné vysoké školy mohou vyvíjet určitý neznámý další vliv na to, zda je jejich škola uvedena na daném seznamu.Pokud se proces hodnocení zdá být méně než transparentní a zahalený tajemstvím, je to záměrně.

Jak mohou vědci přeměnit anekdotická data na kvantitativní? Vědecky to nemůžete (např. Neexistuje žádný postup založený na výzkumu, protože to je doslova srovnání jablek nebo pomerančů). Když taková organizace dělá něco takového, můžete argumentovat, že každé takové hodnocení je pouze názorem lidí, kteří sestavili seznam, na základě názorů ostatních lidí, kteří školu skutečně navštěvovali.

Všechno by bylo v pořádku, kromě toho, že Posouzení vloží všechny tyto věci do seznamů, které naznačují, že mají zobecnitelný význam, pokud tomu tak není. Seznam „Top 20 stranových škol“ není nic jiného než názory některých lidí založené na „kombinaci otázek průzkumu týkajících se užívání alkoholu a drog, počtu hodin studia každý den a popularity řeckého systému“. Mohli si stejně snadno vybrat jinou sadu odpovědí, aby se podívali na to, což by odlišně zkreslilo hodnocení škol.

Je nepravděpodobné, že by se větší školy s většími studentskými orgány významně lišily velikostí svého řeckého systému (velkým) a širokou škálou sociálních a jiných neakademických příležitostí, které svým studentům nabízejí (což má za následek méně hodin studia každý den) . Zvyšuje to pravděpodobnost, že bude taková škola „párty školou“, když se podíváme na to, co studenti říkají, kolik vypijí? Samozřejmě že ne. Může to jen znamenat, že škola je skvělým místem jak pro učení, tak pro socializaci.

Plakát představený na APS minulý víkend s názvem „Sebenaplňující se proroctví a Princeton Review: popisy nebo recepty na pití na vysoké škole?“ dát do mé hlavy návrh, který měří jako Princeton recenze mít nějakou pochybnou platnost. Vědci zkoumali údaje o skutečném užívání alkoholu za deset let pro jednu středně velkou univerzitu umístěnou v západním New Yorku a porovnali je s různými souvisejícími žebříčky v Princeton recenze. Našli žebříčky v Princeton recenze nemá systematickou korelaci s žádnými údaji o užívání alkoholu, které zkoumali. Zjistili, že údaje o konzumaci alkoholu korelovaly s publikovaným žebříčkem po jejich zveřejnění - což naznačuje sebezaplňující se proroctví.

Vědci poznamenali, že vzhledem k tomu, že jejich studie byla prováděna pouze na jedné univerzitě, musel by být výzkum replikován na jiné vysoké školy a univerzity, než bude možné zobecnit výsledky. Zjištění jsou nicméně zajímavá.

Odkaz:

Clark, C.D. et. al. (2008). Sebenaplňující se proroctví a Princetonova recenze: popisy nebo recepty na pití na vysoké škole? Plakát představený na 20. výročním sjezdu Asociace pro psychologické vědy, Chicago IL, 24. května.