Julia Belluz and Steven Hoffman: "Slutt å late som at fagfellevurdering fungerer"

Julia Belluz and Steven Hoffman har skrevet en artikkel i Vox med den provoserende tittelen: "Let's stop pretending peer review Works". Her er det sitert mange enkeltstudier og systematiske studier som gir ganske solid dokumentasjon på at fagfellevurdering ikke fungerer slik den er tenkt. De siterer to av de viktigste medisinske tidsskriftenes redaktører med følgende humoristiske karakteristikk av fagfellevurdering:

Richard Smith, the former editor of the BMJ, summed up: "We have little or no evidence that peer review 'works,' but we have lots of evidence of its downside." Another former editor of the Lancet, Robbie Fox, used to joke that his journal "had a system of throwing a pile of papers down the stairs and publishing those that reached the bottom." Not exactly reassuring comments from the editors of the world's leading medical journals.

Nå har Julia Belluz har i en oppfølgerartikkel funnet ut at selv om man utelater artikler som er blitt trukket tilbake (retracted), så viser det seg at topptidsskrifter publiserer mindre pålitelig forskning enn mindre prestisjetunge tidsskrifter. Bjørn Brembs har spekulert på hva dette kan ha seg på bloggen sin.
 Jeg tror Goodhart hadde et poeng som passer bra på Impact Factor:

"When a measure becomes a target, it ceases to be a good measure."