Ha ragione l’Economist
Dopo qualche settimana, vorrei tornare alla questione sollevata dall’Economist sui fallimenti della scienza e sulla necessità di riforme per mantenerne la credibilità, ben riassunta e spiegata qui da Simone Maccaferri, e con contributi interessanti di Giordano Masini e di Alessandra Bosia.
Ci torno dalla mia prospettiva di rischi alimentari e di nutrizione, perché è diventato un tema centrale per poter fare un lavoro serio ed affidabile in questo campo.
Voglio dirlo senza ambiguità:
L’Economist ha ragione.
Infatti, al di là dei dettagli, sono convinto che non ci basti essere un po’ meglio dell’astrologia.
Noi come comunità scientifica non stiamo facendo sufficientemente bene per meritarci la posizione privilegiata che ci è stata consegnata dalla società moderna:
nel dibattito pubblico, difatti, la scienza dovrebbe portare i dati, i fatti, e la loro obiettiva interpretazione, con la trasparente enunciazione dei propri limiti. Con l’idea che, se partiamo dai dati, potremmo trovare un punto d’incontro anche se le nostre filosofie sono molto diverse.
Se invece la scienza diventa una filosofia come un’altra, e lo fa quando diventa teoria, deve accontentarsi di un posto tra religioni e filosofie. In questo modo, però, spariscono i fatti dalla società, e, se la scienza – almeno nel senso che interessa a me in questo ambito – dovrebbe tacere sui valori, chiedendo ad altri di portarli nel dibattito sulla conoscenza e sulle politiche, un mondo di semplici opinioni filosofiche mi sembra destinato ad un fallimento certo.
Il mio punto di vista parte dalla biologia molecolare, praticata negli anni ’90, e che ora arriva alla valutazione del rischio alimentare e alla nutrizione, di cui mi sono occupato in questo nuovo millennio.
Partiamo dalla mia esperienza di studi, in preparazione della laurea.
Leggendo diversi articoli con attenzione, ero arrivato, con enorme stupore, alla conclusione che i calcoli riportati nelle tabelle, che era possibile rifare sui dati presentati, erano sbagliati: non tali da sconvolgere le conclusioni magari, ma sbagliati. Ne parlai stupito con uno dei miei relatori di tesi, ma la cosa si risolse con un sospiro del tipo “benvenuto nel mondo reale”.
Io ne ero molto colpito: un articolo scientifico doveva essere corretto in ogni virgola. Del resto, questo mi era stato insegnato: anche una sola cifra sbagliata in una tabella era cosa da seppuku, vergogna incancellabile per un ricercatore.
Ma nel tempo continuo a scovarli questi errori, e, quando si chiedono chiarimenti agli autori, questi glissano e spesso parlano d’altro. Non parlo dei soliti italiani, ma un po’ di tutto il mondo.
Se tutti sbagliamo, l’impressione è spesso di aver fretta più di pubblicare che di fare bene. Forse sarebbe il caso di tornare, un po’ovunque, ad una sana severità.
Anche perché i risk assessment, le valutazioni del rischio alimentare, su cui poi si basano le nostre decisioni sul fissare limiti ai contaminanti negli alimenti, o nell’autorizzare un additivo e così via, poggiano spesso su pochi studi chiave. Nel latte crudo di bufala quanto rapidamente cresce Listeria monocytogenes? Ci saranno mille calcoli prima e dopo questo dato, ma se lo studio suggerisce che raddoppia in un’ora e invece ci mette dieci minuti, i risultati possono essere fuorvianti.
A volte su un punto chiave lo studio è uno solo: la responsabilità di chi l’ha scritto, magari senza prevederne l’uso, è grande.
Le valutazioni del rischio in campo alimentare richiedono poi la concatenazione di dati presi da singoli studi e altre ragionevoli supposizioni; leggendo studi pubblicati anche su riviste prestigiose, a volte si trovano nodi importanti in cui non si capisce bene come abbia fatto l’autore a tirar fuori certe stime.
Chi poi prova a ripetere la simulazione se ne rende conto e critica giustamente l’autore dello studio precedente. Avviene però troppo raramente e con poca “sanzione sociale” di chi ha più o meno “inventato” dei passaggi.
Ma lo spazio della ripetizione è ridotto. Un mio amico, il bravo Jouni Tuomisto dell’Istituto per la Salute e per il Benessere (THL) finlandese, ha avuto l’idea potenzialmente geniale di usare l’approccio Wikipedia ai problemi di valutazione del rischio: dall’inquinamento da traffico automobilistico ai microbi nelle acque.
Se Wikipedia riesce con la collaborazione a battere l’encicopledia britannica in precisione, scienziati che lavorano insieme dovrebbero fare molto meglio di un singolo team che si occupa del problema.
Invece, finora non gli è andata troppo bene, perché si scopre che a quel piccolo passaggio di una mega-valutazione del rischio ad essere interessati, in tutto il globo terrestre, sono forse tre-quattro persone. I professori non hanno tempo; restano gli studenti di dottorato, e anche loro fanno fatica. Insomma, a quel passaggio magari anche cruciale lavora alla fine una persona sola. Bisognerebbe scrivere le proposte di finanziamento e organizzare la ricerca in un modo molto diverso.
Più banalmente, quando ci occupiamo di una nuova pianta sudamericana o africana, per stabilirne la sicurezza, si cerca su Pubmed che dati ci sono. Ma se i dati sono sbagliati cosa resta? E allora non ci si può stupire se sfruttando studi cinesi molto dubbi un’impresa americana di integratori alimentari ha sostenuto che una certa sostanza stimolante, finora sintetizzata solo in laboratorio, si trova anche in natura. Se negli studi c’è di tutto, magari anche di sponsorizzato senza ritegno, o fatto in maniera approssimativa, allora poi si può sostenere nel mondo reale dei consumatori ogni ipotesi, con il risultato iper-reale di persone in ospedale o – ahimé – anche all’obitorio. Di recente la cosa si è ripetuta.
Ma c’è anche una confessione da fare.
Un bravo scienziato può avere esperienza diretta del suo lavoro e di quello del suo gruppo e laboratorio. Può seguire attentamente un problema specifico, leggere gli articoli ed avere esperienza diretta dei metodi ed anche dei ricercatori per “pesarli”. Ma, nella scienza d’oggi, questo problema specifico è piuttosto microscopico. Se la domanda diventa un po’più ampia, un po’diversa, si deve ricorrere alla letteratura; su problemi specifici si possono leggere lavori originali, ma più ci si allontana dal proprio orticello e meno si capisce se i metodi sono stati proprio quelli adatti. Pur rimanendo nel proprio ambito, spesso si deve andare in campi dove gli studi pubblicati sono decine, e si deve ricorrere a revisioni, a visioni di insieme.
Se un’amica mi chiede se lavare le verdure con bicarbonato è davvero necessario, posso ancora andare a guardarmi i lavori originali. Se mi si chiede se la dieta vegetariana o vegana crea problemi alla salute, ricorro a revisioni od opinioni autorevoli.
Lo dobbiamo fare tutti, e quindi abbiamo bisogno di poterci fidare dei nostri colleghi, della loro onestà intellettuale e mancanza di “secondi fini”, per quanto nobili.
Ma non basta. Perché dovremmo avere anche una prospettiva storica.
Già all’università avevo la strana sensazione di vivere nell’epoca in cui finalmente si sapeva la “verità” su un sacco di fenomeni biologici; certo alcune cose non erano ancora state studiate, ma quelle che erano state indagate e per cui c’era una spiegazione erano certamente così.
Che epoca fortunata, visto che nel passato di cantonate ne sono state prese tante.
Nel tempo mi sono domandato come era possibile che negli anni ’50, ’60, ’70, ’80 prendessero tutte quelle cantonate, e invece noi no. La risposta è evidentemente che anche noi stiamo prendendo delle cantonate, e che alcuni filoni di ricerca o ipotesi accettate si rileveranno sbagliate: non è lì la causa o il rimedio dell’Alzheimer, non è vero che da RNA a DNA non si può passare.
Quello che però mancava – senza passare a letture della scienza deboli o del tutto, e immotivamente, sfiducianti – era un qualsiasi dibattito sulle cantonate della scienza, sui limiti. Non c’era nessun corso – trovato invece negli USA come obbligatorio – sulla storia della scienza.
Probabilmente molti dei miei professori, alcuni brillanti, sapevano benissimo che i loro predecessori non erano meno intelligenti di loro, e che, accanto ad idee giuste ed esperimenti felici, ce n’erano altre brillanti ma sbagliate, ed esperimenti non ripetuti.
Ma si faceva finta di niente, presumo, per carità di patria, come delle vicende amorose di accademici moralisti ed esemplari.
E gli studi con risultati negativi di cui si parla tanto?
Pochi mesi fa ho assistito attonito alla presentazione di un biochimico inglese molto bravo e prestigioso, nell’ambito di un progetto di ricerca. Aveva eseguito uno studio per mettere a punto un metodo per misurare un metabolita in fluidi biologici; aveva scoperto che nessuno dei metaboliti si trovava nelle matrici indagate, e ritenendo di aver fallito diceva chiaramente che il dato non era pubblicabile.
Nessuno ha detto nulla (neanch’io) – neppure per dire che altri laboratori perderanno tempo nella stessa direzione per la sua scelta di non ammettere una “sconfitta” su una rivista scientifica.
Ma ce ne sono altre.
Leggo un articolo di opinione sul British Medical Journal che mette in dubbio, con tono autorevole e sprezzante, l’associazione del colesterolo ematico con le malattie cardiovascolari, dei grassi saturi con le malattie cardiovascolari e l’utilità delle statine. Ritornerò sul tema, ma mi domando se, anche avendo ragione, uno scienziato possa sostenere un’ipotesi nuova senza considerare e discutere tutti i dati e le conclusioni precedenti che portavano a conclusioni diverse.
Se un meccanismo anche editoriale che premia la conservazione sarebbe assolutamente antiscientifico, ce n’è un altro che premia non la riflessione critica ma la novità (ed è la sexy science citata da Simone Maccaferri).
Le meta-analisi e le revisioni sistematiche sono state un’innovazione straordinaria. Eppure, ancora oggi non si riesce a farne un uso e a darne un’interpretazione che rappresenti lo stato delle evidenze, con relative limitazioni, senza riconoscere i limiti metodologici e porsi su un tracciato di chiarimento, e non di “notizia”.
Come in campo medico, dove la campagna per pubblicare i dati dei clinical trials è ancora in corso (consiglio a chiunque non l’avesse fatto di leggere l’ottimo “Bad Pharma” di Ben Goldacre, tradotto in Italiano con il titolo di “Effetti Collaterali”), anche in campo alimentare ad EFSA è stato chiesto di pubblicare i dati originali dell’industria sui cui basa i propri pareri. Con la risposta dell’industria che i dati potrebbero essere copiati o male interpretati.
La mia personale opinione, avendo vissuto sistemi di varia trasparenza (USA alla fine degli anni ’90: elevata; Italia di oggi: minima), è che i motivi per negare l’accesso ai dati dovrebbero essere fortissimi, perché nella camera caritatis si fa di tutto e di più, e che spesso ci sono strumenti giuridici efficaci per tutelare le parti.
Tutto questo per dire che la scienza deve darsi una regolata, senza ipotesi stralunate (abolire la peer-review), seguendo la ricetta del pubblicare sempre (anche i risultati negativi), di trasparenza, di rigore editoriale e di riproducibilità (dati e programmi), di finanziare proposte che prevedono la conferma indipendente e la ripetizione, di formare scienziati consapevoli dei limiti delle conoscenze che apprendono e timorosi non di idee nuove ma di “brutte figure” per dati presentati superficialmente o senza una conoscenza dei lavori precedenti.
Se mi sono impegnato per difendere la scienza nel dibattito pubblico italiano, il mio impegno “dentro la scienza” per difenderne la qualità dovrebbe essere almeno dieci volte più intenso.