Publicering ingen garanti för kvalitet

chart
WSJ: artiklar man ångrat

Med den våldsamma utbildningsexpansionen under andra halvan av 1900-talet har samtidigt antalet forskare ökat. Konkurrensen är ofta hård om tjänster och forskningsmedel. Detta har också inneburit att tillsättnings- och urvalskommittéer försökt skaffa sig förenklade verktyg.

Ett sådant verktyg är att man helt enkelt räknar antalet publicerade artiklar och sätter det lika med vetenskaplig kvalitet. Detta har i sin tur lett till ett våldsamt publiceringsraseri: publish or perish!

Statistikern William Briggs har ett läsvärt inlägg i denna diskussion. Upphovet är en artikel i Wall Street Journal om att samtidigt som antalet artiklar ökar så verkar det som att antalet artiklar där man ångrar publicering ökar ännu mer. Dvs., det blir fler och fler felaktiga resultat som  publiceras. Att något är publicerat utgör således ingen garanti för kvalitet. Och att behandla peer-reviewade artiklar som fastslagna sanningar, såsom ofta görs i klimatsammanhang, är naivt och okunnigt.

Så, hur skall man då veta vad som är bra eller dåligt? Svaret är väl att man aldrig kan vara säker. Även om en artikel passerat peer-review i en tidskrift med gott rykte så kan resultaten bygga på alltifrån mänskliga misstag till rena falsarierna.

Men samtidigt är det förstås så att ju mer en artikel läses, desto större är sannolikheten att misstag upptäcks. Här har bloggvärlden kommit in som ett intressant komplement till den traditionella akademiska processen.

En blogg som håller lite koll på artiklar som tas tillbaka är Retraction Watch. Här bokförs olika fall av plagiarism, fusk och misstag. I senaste inlägget redovisas lite mer utförlig forskning som gjorts om detta.

På en annan blogg diskuterar författarna David McKenzie och Berk Ödzler vilken betydelse bloggar numera har för att en artikel skall läsas och få en kritisk granskning. Om en artikel nämns och länkas på en inflytelserik blogg inom ett ämne (i deras fall: ekonomi), så ger det ofta ett enormt genomslag både beträffande läsandet av abstract och av antalet nedladdningar. Det kan exempelvis se ut så här om en artikel blivit omtalad på bloggen ”Freakonomics”:

Freakonomics

Med ökad läsning av vetenskapliga artiklar, så ökar givetvis också möjligheten att upptäcka fel och brister. Det tål att tänkas på!

Ingemar Nordin

Kommentarer

Kommentera längst ner på sidan.

  1. Gunnar E

    ”Med ökad läsning av vetenskapliga artiklar, så ökar givetvis också möjligheten att upptäcka fel och brister.”
    Och framsorteringen av det som står sig.

  2. Ulrik

    Det går åt skogen – troligen. I varje fall med vatten från Krankesjön.

    http://www.sydsvenskan.se/sverige/article1526321/Lundaekologer-forutspar-dyrare-dricksvatten.html

  3. Thomas

    Peer Review har aldrig varit mer än en grovsållning. Det plockar bort den värsta smörjan, inte mer. Som lekman får man vänta och se hur en artikel tas emot för att kunna bedöma kvaliteten. Är det många som citerar den och är det i så fall för att använda resultatet eller för att påpeka fel. Att dra upp en artikel som just publicerats, eller rentav ett rykte om att en artikel är på väg att publiceras, är vanskligt.

  4. KristianA

    Varför börjar höger skala på -5? Possible retracted retractions?

  5. Ingemar Nordin

    Kristian A #4,

     

    Det är nog bara för att få det snyggt. Fram till 2004 så följer ju kurvan med antal tillbakataganden per 100 K artiklar ungefär toppen på staplarna med antalet publicerade artiklar totalt.

  6. Lejeune

    Kevin and I will keep them out somehow – even if we have to redefine what the peer-review literature is !

  7. Hayek

    Skulle vara intressant att se en studie som jämför intellektuell förmåga hos forskare inom olika områden. Av någon anledning så har jag fått intrycket att s.k. ”klimatforskare” ofta inte är de skarpaste knivarna i lådan . . . 

  8. KristianA

    #5 
    Känns ändå märkligt att ha en skala som börjar inom ett område som inte kan förekomma!
    Det är som att ha en skala för antalet dödade i trafiken som börjar på -10(födslar i Taxi på allmän väg?).
    Det är ju sådana här saker som gör att man ifrågasätter ALLT man läser, för man undrar ju om man tänker lite själv, ”vad har de för baktanke”.
    Det är som med alla Hockey-sticks man kan åstadkomma genom att välja rätt skalor på de olika axlarna. T.ex. enbart visa CO2-haltökning från 250-300 ppm isf. för en skala på 0-400 ppm. 
    Allt beroende på vad du vill visa med din statitk.

  9. Jag har alltid undrat över den synbara motsättningen i att forskning ska ha en viss höjd, komma med något nytt som ingen tidigare visste och den ska granskas av någon jämbördig (peer) med den som kommit på det nya. Men kan det verkligen finnas någon jämbördig med den som kommit längst?
    Tenzing kunde förmodligen säga till Hillary, -Jag vet precis hur det känns! Men vem skulle verka trovärdig om han mötte Chuck Yeager på landningbanan med samma ord?

    Sedan är det ju en gammal insikt att en idiot med mycket inlärd kunskap inte blir klokare, bara farligare.