Da jeg løbende skriver om HPV-debatten, har jeg tænkt mig at bruge en ny form for de generelle blogindlæg – nemlig disse relativt korte tekster, hvor jeg skriver om relevante artikler eller indlæg. Dette er andet indlæg i rækken og handler om:

• Et meget omtalt studie af Rebecca Chandler et al. 

Men først en lille snak om videnskab …

Der er en interessant tendens til, at vaccinemodstandere (og andre der ikke anerkender almindelig videnskabelig praksis) sætter deres lid til enkeltpersoner og enkelte studier, der (måske – måske ikke) understøtter deres dagsorden. Med HPV-vaccinen har vi set det flere gange: Penkowa og andre henviser gerne til enkeltstående studier (der dog oftest viser sig at konkludere det stik modsatte af det påståede), og rigtig mange hiver gerne et eller andet navn op af en hat, som om det skulle bevise noget. Derudover kommer man selvfølgelig gerne med mere eller mindre udokumenterede anekdoter, som åbenbart skulle omvælte store, veludførte kliniske studier.

Det er bare ikke sådan, forskning fungerer. Generelt er jeg forbløffet over manglen på kildekritik men også ligegyldigheden overfor almindelig videnskabelig praksis.

Et enkelt studie er aldrig afgørende. Som forsker prøver man selvfølgelig at vise, at ens egen forskning er uhyre vigtigt, men i sidste ende bygger man altid ovenpå tidligere generationer og ens egne foregående studier. Det er en proces.

Indenfor videnskab er den almindelige fremgangsmåde, at man ser på den samlede mængde evidens – den videnskabelige konsensus på området. Der er ikke tale om en demokratisk proces, hvor forskere har stemt om det svar, de bedst kan lide. Det er mængden og kvaliteten af data, der tæller. Hvis data siger én ting, er det irrelevant om så hele Videnskabernes Akademi mener noget andet. Det er det smukke ved videnskab.

Man skal være kritisk tænkende som forsker, men det kræver som minimum, at man har sat sig ind i sagerne – eller er man ikke kritisk tænkende men bare uoplyst kværulant. Man skal stille spørgsmål, man skal lytte til kritik og tage dokumenterede bekymringer alvorligt, og man skal blive ved med at se på nye data. Indenfor videnskab opererer man ikke med endegyldige beviser. Det handler om sandsynligheder og statistik, om den bedste evidens, og om plausibilitet.

Man skal også vurdere kvaliteten af studierne og indsætte dem det relevante sted i evidenshierarkiet: Er der blot tale om “case reports” (videnskabens svar på anekdoter)? Så er det den svageste form for evidens. Er det et kohortestudie? Så begynder man at kunne se mønstre. Det bedste er selvfølgelig et velkontrolleret, randomiseret studie, og på toppen metaanalyser, der samler den eksisterende viden og vægter dem efter kvalitet.

Derudover skal man tilgå ethvert studie med en række kritiske spørgsmål: Hvad er hypotesen? Hvilket spørgsmål prøver de at besvare? Hvordan er data indsamlet? Hvordan er analysen udført? Er den fyldestgørende? Er den korrekt? Hvilke fejlkilder er der? Hvad konkluderer de? Passer det med deres data? Er de statistiske analyser korrekte? Bruger de signifikans og effektstørrelse korrekt? Er konklusionen plausibel? Passer den med alt det, vi ellers ved? Og så videre, og så videre.

Videnskab er ikke simpelt. Det er en hård gesjæft, fordi alle andre kigger én over skulderen. Det tager tid, og det kræver arbejde og indsigt, men det er den bedste metode, vi har til faktisk at blive klogere på verden. Ja, det er i mine øjne den eneste metode.

Jeg påstår eksempelvis ikke, at jeg ligger inde med sandheden. Ja, jeg har en ph.d-grad, men jeg kan da sagtens tage fejl. Det eneste, jeg kan gøre, er at læse studierne efter bedste evne, udlægge resultater og konklusioner – og ellers opfordre til, at I selv læser artiklerne og tjekker efter. I skal da ikke bare tage mine ord for gode varer. Det ville være uvidenskabeligt…

Og alt det for at nå frem til dagens tekst.

Rebecca Chandler og “Uppsala-rapporten”

Der er en artikel, der på det seneste er blevet omtalt meget og udlagt på en temmelig bizar måde. Den er af uvisse grunde blev døbt “Uppsala-rapporten”, hvilket får den til at lyde meget formel og omfattende, ligesom mange fejlagtigt påstår, at det er en officiel WHO-rapport.

Det er det ikke.

Konklusionerne fremstilles også yderst dramatisk: Det er den farligste vaccine nogensinde! Der er over 40.000 kvinder, der er ramt af alvorlige bivirkninger! Hele 1,3% af vaccinerede får alvorlige bivirkninger!

Intet af det passer. Intet!

Artiklen har fyldt en del på Facebook og Twitter, hvor de sædvanlige modstandere af god videnskab ukritisk har videreformidlet den overskrift, de har læst. Den har også fået en del tid på Radio24syv, hvor de blandt andet har haft Karsten Juhl Jørgensen fra Nordisk Cochrane Center i studiet for at snakke om artiklen.

Men hvad siger artiklen så egentlig?

For at starte med det grundlæggende: Det er en ganske almindelig videnskabelig artikel, der er skrevet af nogle forskere fra Uppsala Monitoring Centre, der opererer under WHO. Som bekendt er WHO endnu en af de mange organisationer, der anbefaler HPV-vaccinen:

WHO position

WHO recognizes the importance of cervical cancer and other HPV-related diseases as global public health problems and reiterates the recommendation that HPV vaccines should be included in national immunization programmes. Cervical cancer, which comprises 84% of all HPV-related cancers, should remain the priority for HPV immunization. Prevention of cervical cancer is best achieved through the immunization of girls, prior to sexual debut. All 3 licensed HPV vaccines – bivalent, quadrivalent and nonavalent – have excellent safety, efficacy and effectiveness profiles.

Der er rigtig mange ting, der bliver stærkt misrepræsenteret i formidlingen af den nævnte artikel, men det er jo ikke forfatternes skyld. Helt afgørende er det, som nævnt ovenfor, at et enkelt studie ikke pludselig omvælter alle de artikler, der er gået forud. Derudover skal man vurdere styrken af studiet og stille alle de sædvanlige spørgsmål til hypotese, data etc.

Så lad os da se på det…

Nogle kalder artiklen en metaanalyse, hvilket jo ville give den en del vægt. Det er det nu ikke. Det er en enkeltstående analyse af indrapporterede bivirkninger. Det er vigtigt at have i baghovedet, og forfatterne skriver da også, at de ikke kan konkludere noget om kausalitet. Metaanalyser er ellers, som nævnt ovenfor, utrolig kraftfulde – her er for eksempel en metaanalyse af HPV-vaccinen publiceret i The Lancet i 2015, der viser god beskyttelse og nedgang af såvel HPV-infektioner som kønsvorter .

Det aktuelle studie er der i og for sig ikke noget galt med, men det er vigtigt at holde sig for øje, hvad det rent faktisk siger, og hvordan data er analyseret. Det er en analyse baseret på et udtræk af diagnosekoder, som man efterfølgende har forsøgt at gruppere for at beskrive bestemte komplekse syndromer. Man har herefter ledt efter mønstre i grupperingen af disse termer, hvor man vel at mærke ikke kræver 100% tilstedeværelse, da det ville give alt for få grupper at lave statistik på.

Lad os sige, at syndrom X beskrives med diagnosekoderne A, B, C og D. Hvis man kun grupperede ved fuldt overlap med alle fire koder, bliver antallet ret lille. Hvis man derimod accepterer 3 ud af 4, får man flere resultater. Det er der ikke nødvendigvis noget galt i, for forskellige læger kan rapportere tingene forskelligt, men det er værd at have med i baghovedet.

Rent teknisk er der nogle meget vigtige detaljer omkring den anvendte metode (clustering), som det nok er de færreste, der går og tænker over. Det skal siges, at jeg har beskæftiget mig en del med clustering-metoder i min egen forskning og har holdt adskillige forelæsninger om emnet:

Man kan ikke bruge clustering til at sige noget om kausalitet, men det kan hjælpe til at finde mulige mønstre og signaler. Man vil altid få en eller anden gruppering ud, om den så er relevant eller ej – det ligger i metoden. Man risikerer derfor også falske mønstre. Det er derfor uhyre vigtigt at kende detaljerne og parametrene bag, som dog ikke fremgår af artiklen. Man må også se på, hvor stabile grupperne er: Får man altid samme grupper ud? Er grupperingen følsom overfor ændringer i data? Hvor signifikante er grupperne? I bedste fald kan en sådan analyse alene bruges til at informere videre studier.

Men der er flere ting, der undrer mig i artiklen, og som jeg havde spurgt ind til, hvis jeg havde været reviewer: De benytter PRR (proportional reporting ratios – altså forskelle i indrapporteringer) som deres test men forholder sig slet ikke til størrelsen på de grupper, de kigger på. Det er ellers helt afgørende jvf. den artikel, de selv henviser til. Ved små antal er risikoen for falske positive forhøjet. Af de fire clusters, der fremhæves i artiklen, er især nr. 17 (18 rapporter) og 34 (8 rapporter) så små, at jeg ville være meget påpasselig med konklusionerne. Risikoen for tilfældig støj er overhængende.

Jeg undrer mig også over antallet af bivirkningsrapporter: I starten af resultatafsnittet har de “39,953 HPV vaccine reports”, mens det længere nede efter Fig. 2 er steget til “45,780 HPV vaccine reports”. Det er en sær uoverensstemmelse, som der muligvis er en god forklaring på.

Det hele sammenlignes med “32,839 non-HPV vaccine reports”. Dette tal er påfaldende lavt: Er det summen af alle rapporter, der ikke er relateret til HPV-vaccinen? Nej, for der er ifølge forfatterne 10.3 millioner rapporter i databasen. Det må så skyldes, at de kun kigger på kvinder i alderen 9-25, men det betyder, at ingen andre børnevaccinationer er med. Altså er det ikke en særlig homogen gruppe, de sammenligner med, men i stedet en kombination af mange forskellige vacciner med meget forskellige profiler. Det vil jo typisk være nogle helt bestemt typer vacciner i forbindelse med rejser og den slags, der gives i dette tidsrum, og sammen med antallet af rapporter gør det et sammenlignende studie svært. Der er her en stor risiko for bias i udvælgelsen, og det er en svaghed, der bør uddybes.

Som nævnt fremhæves det i flere af de sensationalistisk reportager, at artiklen viser alvorlige bivirkninger hos 1,3% af vaccinerede. Det passer overhovedet ikke. Det påstår de heller ikke selv – det er videreformidlingen, der er helt forkert. Lad os lige se på tallene: De skriver selv, at estimeret 80.000.000 kvinder er blevet vaccineret. De har indhentet maksimalt 45.780 bivirkningsrapporter (jvf. ovenfor) – det er altså omkring 0,05% af de vaccinerede, der har indberettet en eller anden bivirkning. I artiklen beskriver de, at 596 rapporter indeholder de termer, der er interesserede i. Det er ganske rigtigt ca. 1,3% af rapporterne, men det er jo noget ganske andet. Af de faktisk vaccinerede er det ca. 0,0007% …

Det er da også tankevækkende, at de har data fra over 120 lande, hvoraf ca. 60 har indført HPV-vaccinen, før de trak rapporter ud af databasen. Alligevel finder de kun deres termer i 15 lande (Figur 2) – og endda kun signifikant i 6 lande (Tabel 1). Her ville en uddybende kommentar også være rar. Er det ikke sært? Tyder det ikke på et andet underliggende problem? Kan det eventuelt påvirke de statistiske analyser, når grupperne i forvejen er meget små?

[Note: Følgende 3 afsnit er blevet opdateret den 29/5]

Tabel 3 i deres supplementary material er også virkelig interessant – især når man ser på den måde, resultaterne udlægges på i medierne og i artiklens egen konklusion. Tabellen viser forskelle i antallet af rapporterede alvorlige bivirkninger af den slags, forfatterne kigger efter  – dvs. langvarig svimmelhed, besvimelse, hovedpine og dens slags. De viser, at der ikke er forskel på antallet af disse alvorlige bivirkninger, uanset om man inkluderer Japan og Danmark eller ej. HPV-vaccinen ligner alle andre vacciner i alle lande og i alle aldersgrupper.

Dette er uhyre relevant. Der er forskel på f.eks. at opleve forbigående svimmelhed umiddelbart efter vaccinen (en bivirkning der klassificeres som mild og derfor er opført i tabel 2), og så at opleve svimmelhed over så lang tid, at det f.eks. påvirker din skolegang (en alvorlig bivirkning der hører til i tabel 3). Hvad forfatterne viser her er, at der ikke er evidens for, at flere HPV-vaccinerede oplever disse langvarige, invaliderende lidelser end andre. Det er her relevant at huske på, at der for nye lægemidler er skærpet indberetningspligt, så det er heller ikke overraskende, hvis det samlede antal er højt for en ny vaccine.

Men, hov, artiklen bliver jo brugt til at sige, at der er evidens for flere af disse symptomer efter HPV-vaccinen, men det passer jo ganske simpelt ikke. Artiklens konklusion lyder endda: “Cluster analysis reveals additional reports of AEs following HPV vaccination, which are serious in nature“ (min fremhævning). De skriver godt nok ikke “serious adverse effects”, hvilket ville være direkte løgn, men formuleringen er, mener jeg, stærkt misvisende. Den korrekte konklusion baseret på deres eget datagrundlag og relativt løse søgetermer: Der er flere rapporter for HPV-vaccinen, men der er ikke flere alvorlige indrapporterede bivirkninger af den slags, de leder efter.

Endelig ville det netop i dette konkrete spørgsmål have været uhyre interessant at undersøge en mulig tidsmæssig korrelation: Hvornår er de forskellige bivirkninger blevet indrapporteret i forhold til selve vaccinationen? Jeg må dog erkende, at jeg ikke ved, om denne information er tilgængelig i den anvendte database.

Så der er her tale om stor ståhej for ingenting, mener jeg. Mediernes formidling har været ekstremt sensationspræget for ikke at sige direkte misvisende, hvilket i sig selv er stærkt problematisk. Derudover er der helt oplagte begrænsninger og potentielle svagheder i studiet, der gør, at man skal passe på med at tillægge det for meget vægt. Man skal ikke ignorere det mulige signal, men lige nu er der så mange spørgsmål og fejlkilder, som jeg mangler at få belyst, før jeg ville godtage det. Man kan ikke sige “signifikans” uden også at sige “effektstørrelse”, og når grupperne er så små, er risikoen for støj tilsvarende højere.

Opdatering den 29/5: Jeg har udbygget og rettet min diskussion af tabel 3 og konklusionen, da det er endnu mere misvisende, end jeg først havde beskrevet.