Chi ha paura dell’Open-Access?

Posted by Riccardo Guidi on Ott 9, 2013

Tra le pagine dell’inserto speciale che Science ha dedicato la settimana scorsa alla comunicazione scientifica, trovava spazio un articolo che ha fatto perdere le staffe a buona parte del mondo accademico, ed ha infuocato Twitter.

Just how bad was the science in Bohannon’s anti-#OpenAccess sting? Very, very bad. Details at http://t.co/qx3CagY8ON

— Mike Taylor (@MikeTaylor) October 8, 2013

Parliamo dell’inchiesta condotta da John Bohannon che mostrerebbe come il sistema di pubblicazione Open-Access sia una comoda porta d’accesso per la pubblicazione di bufale scientifiche. I numeri dell’inchiesta rivelano però molto altro.

Open… cosa?

Partiamo dal principio. Da tempi immemori, i publisher [editori] di riviste scientifiche si sono mantenuti vendendo copie delle loro riviste, così come farebbe il Corriere della Sera, Le Science o Vanity Fair. Questo modello, chiamato Pay-for-Play (PfP), ha suscitato pesanti critiche, perché alcuni publisher approfittano della loro influenza per far pagare prezzi ingiustificabili alle librerie universitarie che devono garantire l’accesso ai propri studenti/ricercatori al contenuto di queste riviste.

I detrattori del PfP sottolineano come il sistema faccia pagare al cittadino le scoperte scientifiche due volte: una volta per farle, una seconda per poterle leggere. Qualche anno fa, “il caso Elsevier” ha dato fuoco alle polveri, con migliaia di ricercatori che hanno boicottato il publisher scolastico più grande al mondo che cercava di bloccare una proposta di legge presentata alle Camere Americane contro il PfP. [Per un approfondimento sulla storia, consiglio il blog SV-POW]

Poco più di 10 anni fa nasce però un’alternativa: l’Open-Access (OA). Qui, i publisher garantiscono l’accesso gratuito alle loro riviste, ma per mantenersi chiedono agli autori dei lavori una “quota”. Lascio al lettore valutare i pro e contro di un sistema dove il conflitto di interessi è evidentemente alto, ma ricordo che all’inizio di quest’anno, UK ed Unione Europea hanno fatto rotta verso l’OA come standard di pubblicazione, mentre l’NIH ha già stabilito che tutto quello che esce sotto il suo nome deve essere accessibile a tutti.

Indifferentemente, che sia OA or PfP, ogni articolo scientifico è comunque, nelle riviste serie, sottoposto a peer-review, uno scrutinio di esperti indipendenti che ne garantisce [in principio] integrità, metodica ed etica del lavoro. Non è un’esagerazione dire che il peer-review è un vero e proprio pilastro del mondo scientifico, che conta in gran parte su un controllo reciproco delle ricerche per garantirne l’autenticità.

Cosa ha fatto Bohannon?

Stuzzicato da uno sfortunato episodio di una biologa nigeriana truffata da una rivista Open-Access, Bohannon decide di fare luce su quello che è diventato un fenomeno globale: più di 1.000 nuove riviste registrate nel solo 2012, ed un totale che probabilmente supera le 10.000 riviste. In media, c’é 1,1 rivista open-access per ogni università del mondo.

Bohannon ha sottomesso a 304 riviste OA un lavoro fasullo, con evidenti errori di metodo che a dire di Bohannon

sarebbero stati facilmente scovati da chunque avesse una educazione da scuola superiore

E qui la pillola amara: delle 255 riviste che hanno effettivamente preso in considerazione il lavoro (quasi 30 riviste si reveleranno “fantasma”) il 60% ha dato l’OK alla pubblicazione.

Bohannon fa un po’ di calcoli: delle riviste che hanno dato l’ok, il 52% lo ha fatto senza peer-review. Di quei giornali che hanno effettivamente mandato il lavoro ad un “rigoroso” processo di revisione, il 44% ha dato comunque l’ok alla pubblicazione nonostante tutti i commenti fossero negativi. E hanno chiesto di pagare, ovviamente.

I risultati dell’indagine sono scoraggianti, e Bohannon usa i suoi dati per screditare l’OA, da lui definito “humble and idealistic”. Ma qualcuno (non da ultimo il sottoscritto) teme che le conclusioni di Bohannon – riprese a più battute da tutte le testate giornalistiche del mondo – non siano supportate dai suoi stessi dati.

L’articolo è stato preso d’assalto da Mike Taylor, agguerrito sostenitore OA, e criticato da Michael Eisen (co-founder di PLoS), da the Guardian, dalla Open Access Scholarly Publishers Association (OASPA) e dalla Directory of Open Access Journals (DOJA), per citarne alcuni. Tutti sono d’accordo su una cosa:

i dati dell’inchiesta non supportano le conclusioni dell’articolo, e sembra esserci un accanimento ingiustificato contro un modello di pubblicazione destinato (seguendo la volontà delle politiche internazionali) a diventare la norma.

Nel nostro Paese la notizia arriva con titoli che lasciano poco spazio all’interpretazione:

uno studio privo di fondamento, realizzato ad hoc e riempito di errori elementari, è stato accettato nel 60% dei casi. Basta saldare il bonifico

Ma se qui c’é uno studio “privo di fondamento, realizzato ad hoc e pieno di errori elementari”, questo è proprio il lavoro di Bohannon.

Cosa veramente ha fatto Bohannon?

Il lavoro è un case-control, longitudinal study, dove le riviste sono state testate per una particolare caratteristica:

sono serie o no?

Bohannon indica inoltre quali riviste non abbiano fatto peer-review, chi ha fatto una peer-review superficiale, e chi una peer-review sostanziale. I risultati dell’indagine sono disponibili qui.

Bohannon fa una precisa scelta delle riviste da sottoporre al suo trucco: metà sono notoriamente discreditate, mentre l’altra metà appartengono ad un gruppo di publisher che (sempre in principio) si attiene a rigide regole di pubblicazione. Insomma, garantite!

L’inchiesta di Bohannon ci può quindi aiutare non tanto a capire quanto difettoso sia il sistema OA per se, ma se ci siano differenze tra i giornali “definiti cattivi” e quelli “definiti buoni”.

I risultati

E qui la [non proprio] sorpresa: se si manda il proprio articolo pieno di errori a quei giornali che appartengono alla “lista nera”, è 8 volte più probabile che il lavoro venga accettato rispetto al mandarlo a un “buon” giornale (OR=8.08, 95%CI(4.1-15.8))**. Questa, a mio avviso, è l’ottima, vera notizia dell’inchiesta. Per fare un paragone, facciamo molto più rumore per risultati molto meno drastici, come quando si tratta di disquisire sugli OGM.

Questa differenza non appare però ne nella pubblicazione su Science, ne su nessuna comunicazione giornalistica fatta ai cittadini.

Le stranezze non sono finite. Bohannon scrive che delle riviste che fanno una peer-review, l’82% di quelle “cattive” conclude con: “ti pubblichiamo nonostante i commenti negativi”, contro il 42% di quelle “buone”. Ho letto e riletto i numeri, e proprio non riesco ad arrivare alla stessa conclusione. Semplicemente guardando il grafico dell’inchiesta, si vede che una volta che un manoscritto entra nel processo di peer-review, non c’è differenza che esso sia in un giornale “buono” o “cattivo”: le probabilità che verrà accettato oscillano tra il 70-80% in entrambi i casi (OR=1.69, 95%CI(0.68-4.22))**.

La mia interpretazione? Cambiate l’editor-in-chief.

Altri pregi e difetti sono stati trovati da altri blogger, e presto le associazioni OA rilasceranno dettagliate conclusioni sui dati resi disponibili da Bohannon.

In ogni caso, i dati di Bohannon restano scoraggianti, ma il cattivo uso/interpretazione dei numeri (per cui qualcuno è pure finito in prigione in altre circostanze) deforma lo studio e offre una scusa per un titolo giornalistico facile. L’impatto negativo che questa notizia può avere nella mente dei cittadini nei confronti dell’Open-Access (e della credibilità della scienza in generale) resta ingiustificato, soprattutto se confrontato con i chiari benefici che ha avuto per la società e per la scienza.

Le buone notizie, ovviamente, ci sono: Journal of Natural Pharmaceuticals, tra le vittime dello scherzo, ha sospeso l’attività, così come preannunciato dal suo publisher, Wolters Kluwer Health, intervistato da Science, e altri publishers importanti come Elsevier ed Sage, i cui giornali non hanno passato il test, ora promettono provvedimenti.

Conclusioni

Il vero “difetto del sistema” rivelato dall’inchiesta sono le incertezze della peer-review, e poi la banale conclusione che i giornali che godono di una buona reputazione sono meglio di altri, meno blasonati, nell’evitare di pubblicare fandonie. Avete letto questo nei quotidiani? Io no.

@riccardoguidi87

——-

**Invito i nerd a controllare questi numeri sul datasheet disponibile qui.

Commenti

commento/i