Il gattopardismo della Valutazione della Qualità della Ricerca in Italia
Degli scenari post-elettorali, e del ruolo di Università, Ricerca ed Innovazione nelle azioni del prossimo governo, preferisco non parlare. Foss’altro perché, mancando di capacità divinatorie, oggi il quadro è così complesso da risultare difficilmente decriptabile.
Nei giornali di questo fine settimana ha avuto risalto l’atto d’indirizzo del Ministro Profumo per il 2013, che indica la rotta tracciata durante il suo, pur breve, periodo di gestione del ministero di Viale Trastevere. In questo documento si parla un po’ di tutto, a mio avviso con molta superficialità e senza una reale definizione di priorità e relative strategie da adottare.
Fra i punti identificati come “priorità politiche” dal Ministro Profumo vi è “promozione della qualità ed incremento di efficienza del sistema universitario”. In particolare, viene richiesto di completare l’attuazione del sistema nazionale di valutazione ANVUR. Questa priorità è lodevole e, se raggiunta, porterebbe ad un incremento dell’impatto economico della ricerca italiana senza precedenti.
L’ANVUR e il sistema di valutazione della qualità della ricerca (VQR) sono tuttavia nati con una serie di bias molto forti.
Anzitutto vengono considerati, ai fini della valutazione, “articoli su riviste, libri e loro capitoli inclusi atti di congressi, brevetti depositati, composizioni, disegni, mostre ed esposizioni, manufatti, prototipi, banche dati e software”, tra gli altri. Ogni ricercatore deve presentare almeno 3 pubblicazioni, di cui è autore o coautore, relativo al settennato precedente, ordinandole per rilevanza scientifica.
Ciascuna Università o Ente di ricerca deve inoltre certificare il numero di brevetti e spin-off di cui è titolare o co-titolare, le entrate di cassa derivanti dalla vendita o licenza di brevetti, le entrate di cassa derivanti da progetti PRIN, FIRB, programmi comunitari e altri fondi pubblici o privati. Esiste quindi una distonia fra la valutazione individuale della ricerca in sé, e la valutazione aggregata della capacità di allineamento della ricerca alle priorità nazionali ed internazionali e della abilità nel fundraising.
L’ANVUR valuta i prodotti della ricerca sulla base di indici bibliometrici e, in alternativa o in combinazione, analizza la rilevanza, l’originalità e l’internazionalizzazione dei prodotti sottoposti a giudizio.
Esiste cioè una mancata chiarezza sul metodo di valutazione cui i prodotti di ricerca saranno sottoposti, e soprattutto questo potrebbe essere applicato in maniera arbitraria.
Qui potete vedere il provvedimento che identifica i criteri di valutazione ed i metodi di lavoro della Research Excellence Framework – REF2014 inglese, che è stato più volte indicato come il gold standard dai tecnici del Ministro Gelmini, che lanciarono il concetto e l’importanza dell’ANVUR.
E’ possibile notare come la REF, che deriva da un analogo programma chiamato RAE2008, sia suddiviso in quattro panel disciplinari, ciascuno con dei propri criteri di valutazione che tengono conto delle specificità di quell’ambito tematico. Inoltre, a differenza del VQR italiano, il REF2014 è basato esclusivamente sul sistema di valutazione peer-review. Da una serie di studi e consultazioni di esperti, è infatti stato appurato che:
bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF. However there is considerable scope for citation information to be used to inform expert review.
Il sistema inglese riconosce, cioè, che l’applicazione degli indici bibliometrici da soli, così come avverrà in almeno il 50% dei casi in Italia, non porta a risultati sufficientemente robusti, così suggerendo di usare i dati bibliometrici solamente come dato informativo per l’operazione di peer review da parte dei panel di valutatori.
Il secondo punto di differenza fra il sistema britannico e quello italiano riguarda l’estremo rigore e trasparenza sui criteri di valutazione. Il 20% della valutazione avviene sulla base dell’impatto della ricerca, un parametro troppo spesso dimenticato da chi fa ricerca in Italia. Impatto che viene inteso come incidenza sulla produzione industriale, sulla qualità dei servizi, sulle public policy, sull’ambiente, sul commercio, sullo sviluppo internazionale. In 20 anni di fuga dei cervelli abbiamo perso 4 miliardi di euro, per dare una idea concreta dell’impatto economico, anche a breve termine, del prodotto della ricerca italiana sul PIL.
Non dobbiamo continuare a fare l’errore di valutare scevramente i prodotti della ricerca, identificando dei criteri di valutazione di minima che non diano un vantaggio a chi realmente fa ricerca applicata. In questi giorni si discute di Abilitazione Scientifica Nazionale che, al netto della complicata ed opaca procedura di valutazione, fatta di ricorsi e controricorsi al TAR, si sta configurando sempre più come una gattopardesca imitazione del vecchio metodo di concorsi pilotati e chiamate di dubbia convenienza.
Sarebbe un gravissimo errore, che non arginerebbe la fuga all’estero dei giovani più brillanti, e che al contempo porterebbe ad estremizzare il sentimento di forte criticità e lo stato d’animo anti-baronale nell’Università italiana, già sufficientemente radicato nei giovani precari che costituiscono il “motore” della ricerca italiana.
Vedendo cosa è accaduto alle urne con l’odio anticasta per la politica, il gattopardismo delle riforme universitarie, tante, troppe, ma mai portate fino in fondo, potrebbe deflagrare con conseguenze drammatiche per il sistema Paese.