Du er her: IRF Anmeldelser Studieanmeldelser Studieanmeldelser arkiv Afrapportering og fortolkning af randomiserede studier

Print

Bemærk at denne anmeldelse er mere end ét år gammel. Indholdet afspejler derfor ikke nødvendigvis IRFs nuværende holdning.


Pas på forfatternes fortolkningsevne:

- Afrapportering og fortolkning af randomiserede studier med ikke signifikant resultat på det primære endepunkt

Denne systematiske gennemgang af prospektive, randomiserede (og dermed kontrollerede) og parallelle studier i mennesker viser, at der hyppigt er diskrepans imellem resultaterne og forfatternes fortolkning og præsentation af disse.

 

Kort om studiet

  • Systematisk gennemgang af prospektive, randomiserede, parallel-gruppestudier i mennesker med et ikke statistisk signifikant resultat, som blev publiceret i december 2006 (1).
  • 72 studier havde et ikke-statistisk signifikant resultat på det primære endepunkt.
  • I 44 abstracts blev det primære endepunkt beskrevet, i 3 abstracts blev et sekundært endepunkt beskrevet som værende det primære endepunkt, kun 9 abstracts beskrev effektstørrelsen af det primære endepunkt med konfidensintervaller. Der blev fundet fordrejninger (spin) af resultatet primært i konklusionen både i abstract (58% af artiklerne) og i hovedteksten (50 %).
  • 1/3 af studierne var enten privat finansierede eller privat og offentligt finansierede. 1/3 var offentligt finansierede og i den resterende 1/3 af publikationerne blev det ikke anført. 

 

Det mener IRF

  • Dette studie viser først og fremmest, at man ikke kan nøjes med at læse abstract eller konklusion.
  • Uanset formålet, så bliver data hyppigt drejet i positiv retning i studier, hvor det primære endepunkt har vist ikke statistisk signifikans.
  • Problemet findes ikke alene i kommercielle studier, men fordrejning af data finder i lige så høj grad sted i ikke-kommerciel forskning.

 

Baggrund

Forskere har en moralsk pligt til at offentliggøre deres forskningsresultater af hensyn til det videnskabelige ’samfund’. Dette sikres bl.a. ved studieregistrering og ved guidelines for, hvordan man afrapporterer studierne. Men når det kommer til artikelskrivning, er der rimeligt frit slag alt afhængigt af hvordan tidsskriftet udøver sin redaktionelle politik. Dette studie er et forsøg på at lave en systematisk gennemgang med henblik på at afdække problemets størrelse inden for et afgrænset emne.

Metode

Der blev foretaget en søgning i pubmed på humane, prospektive, randomiserede, som blev publiceret i december 2006. De 1735 titler blev gennemgået og 879 blev tilbage efter gennemgang af abstracts. 616 artikler var tilbage efter gennemlæsning af hovedteksten. Ud af disse valgte man at gå videre med de parallelgruppe designs med et klart defineret primært endepunkt. Ækvivalens, non-inferiority, overkrydsningsforsøg m.fl. og fase 2 studier med mere end to arme blev ekskluderet. I artikler hvor man fandt at de primære endepunkter var klart definerede, men uden statistiske beregninger, forsøgte forfatterne at beregne effektstørrelsen og konfidensintervallerne.

 

2 forfattere læste hver artikel igennem og noterede finansieringen, 2007 journal impact factor, antal citeringer (i 2008), interventionen, komparator, samplesize og type af primært endepunkt (effekt, sikkerhed). Det blev noteret om det primære endepunkt, effektstørrelsen og præcisionen fremgik af abstract og/eller hovedteksten. Drejning af resultater blev defineret som ”spin” og forfatterne anvendte et selvudviklet klassifikationssystem for spin, som vanskeligt lader sig vurdere. Mængden og sværhedsgraden af spin blev talt op i hvert afsnit i artiklen inklusive abstract.

Resultater

Der blev fundet i alt 72 artikler. I 44 abstracts blev det primære endepunkt beskrevet, i 3 abstracts blev et sekundært endepunkt beskrevet som værende det primære endepunkt, kun 9 abstracts beskrev effektstørrelsen af det primære endepunkt med konfidensintervaller. 28 artikler rapporterede ingen numeriske værdier for det primære endepunkt. I hovedteksten i artiklerne blev effektstørrelsen og præcisionen for det primære endepunkt kun beskrevet i 16 artikler. I 21 artikler blev der anvendt summarisk statistik for hver gruppe uden præcision.

 

Der var mest spin i konklusionen, både i abstract (58 % af artiklerne) og i hovedteksten (50 %). Denne spin fokuserede enten kun på fordelen ved behandlingen (uden statistisk underbyggelse), proklamerede ækvivalens eller komparativ effekt (selvom studiet var designet til at vise superiority), indrømmede at der var et ikke-signifikant resultat, men understregede derefter de statistisk signifikante resultater, så som subgruppe analyser og sekundære endepunkter. Andre strategier var at fremhæve resultater, som var før/efter intervention i samme gruppe, udelukke bestemte bivirkninger i studier med disse som primært endepunkt på baggrund af ikke-statistisk signifikant resultat eller sammenligne med placebo gruppe i andre undersøgelser.

 

I 18 % af artiklerne var der spin i titlen og i 37,5 % af artiklerne var der spin i abstractets resultatsektion, mens dette fandtes i 29,2 % af resultatsektionerne i hovedteksten.  Endvidere fandtes der spin i 58% af konklusionerne i abstracts og i 50% af artiklens konklusioner.

Finansiering af studierne var kommerciel i 22,2 % af tilfældene, ikke-kommerciel i 26,4 %, en blanding i 11,1 % og ikke anført i hele 37,5 % af tilfældene. 2,8 % af studierne var eksplicit anført som usponsorerede.

 

På JAMAs hjemmeside kan man finde et langt elektronisk appendix med eksempler på spin fra artiklerne og referencer til disse. 

 

 

IRF kan kontaktes på irf@dkma.dk

Referencer

  1. Boutron I, Dutton S, Ravaud P and Altman DG. Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA 2010; 303(20): 2058-64

 

Studieanmeldelsen har været forelagt Dansk Selskab for Klinisk Farmakologi, som havde en række konstruktive kritikpunkter, som alle er indarbejdet i ovenstående.

 

 

Institut for Rationel Farmakoterapi, 13. juli 2010.


 

Siden sidst opdateret: 16. november 2013 Print Printspacer Tip en ven Tip en ven/kollega spacerTil top Til top