Sexy Science, valutazione della ricerca e peer review
La scorsa settimana ho commentato, in maniera generale, alcuni problemi riguardanti l’uso dei soli criteri bibliometrici nella valutazione della ricerca scientifica. La materia è dibattuta, ed esiste molta letteratura, anche recentissima, al riguardo. A tal proposito voglio approfondire meglio questo tema, perché influenza filosofia e modalità con cui la ricerca viene svolta nel nostro Paese.
Il problema dell’inadeguatezza nell’uso di indici bibliometrici unitari è stato messo recentemente in discussione sulla rivista EMBO Reports. Nel numero di marzo, due ricercatori del Max Planck Institute hanno criticato il modello “one size fits all” rappresentato dall’uso di impact factor ed h-index, proponendo un nuovo indicatore che si basi sulla comparazione dell’impatto di una pubblicazione con quella di un set di pubblicazioni simili, nello stesso ambito disciplinare.
Perché? Valutare articoli scientifici di ambiti diversi, teorizzano gli autori, è come valutare le performance di atleti che praticano sport diversi. Com’è possibile giudicare se sia migliore un giocatore di pallamano che segna 5 gol a partita, o un calciatore che ne segna uno? Non comparando il numero dei gol, ma quanto quelle reti sono in media con le prestazioni di un giocatore medio nella propria disciplina.
Valutare la ricerca è importante. Valutare bene la ricerca assume, oggi, un ruolo di primissimo rilievo. In un sistema pubblico in cui le risorse da allocare sono scarse e “ogni euro conta”, come dicono a Bruxelles, i finanziamenti devono esser allocati ai ricercatori migliori. Come possiamo identificarli con chiarezza? Oggi in Italia utilizziamo due indicatori: l’impact factor, cioè l’indicatore di qualità della rivista, e il citation index, cioè il numero di citazioni ricevute dalla pubblicazione.
Ma le riviste ad alto impact factor, sono davvero le migliori? Mettere in dubbio riviste del calibro di Science o Nature appare da folli, ma…
La ricerca di un gruppo di scienziati guidato da Patrizio Tressoldi, dell’Università di Padova, pubblicata a febbraio su PlosOne, ha messo in guardia su come gli approcci statistici sulle pubblicazioni nelle riviste generaliste ad alto impatto (Science e Nature) siano molto meno robusti rispetto a riviste mediche di alto livello, e non diverse da altre riviste a impact factor molto più bassi.
Perché? Troppo spesso le riviste ad alto impact factor puntano sulla cosiddetta “sexy science”, cioè sull’appealing delle notizie, e sull’importanza del tema trattato, rispetto alla necessità di una solida metodologia e replicabilità sperimentale. Questo è verificabile leggendo i criteri di pubblicazione di riviste famosissime come Nature, Science, PNAS, quelle riviste cioè che finiscono sui lanci d’agenzia e nelle pagine dei quotidiani.
E’ bene quindi stare attenti nel voler sostituire un solido sistema di peer-review con un approccio notarile di uso degli indici bibliometrici, perché possono non solo rivelarsi inadeguati in ottica multidisciplinare ma, al tempo stesso, poco indicativi all’interno della stessa disciplina. La ricerca ha bisogno di risultati scientifici di valore, prima che di freddi numeri a valutarla. E, nell’ambito delle scienze della vita, ancora più rilevanza l’assume la capacità del ricercatore di tradurre i risultati scientifici in beni o servizi.