Valutiamo la Qualità della VQR

Stampa
Valutazione attuale:  / 14
ScarsoOttimo 
Categoria: Comunicati Stampa

[In attesa di incontrarci in piazza del Parlamento venerdì 18 dicembre, per portare anche in quel luogo il nostro punto di vista sulle troppe criticità cui è sottoposto il sistema universitario e chi ci lavora, ci pare utile formulare qualche riflessione sulla VQR, che è tanto veicolo quanto oggetto di una protesta ormai assai diffusa (QUI per aggiornamenti)]

Nelle scorse settimane un impressionante numero di istituzioni universitarie si è espresso formalmente contro la seconda tornata della procedura cosiddetta VQR, la Valutazione della Qualità della Ricerca. A prima vista questo movimento sembra essere molto eterogeneo, con mozioni di Dipartimento, Senato e di assemblee di ateneo variegate che toccano molti temi: richiesta di terminare il blocco degli scatti (gli universitari sono l'unica categoria ancora interessata); richieste per riportare i finanziamenti ai livelli precedenti l'austerità (comunque di gran lunga inferiori ai partner occidentali); richieste a favore dei ricercatori precari (fondamentali per il funzionamento delle università, il 97% viene espulso dal sistema dopo essere stato sfruttato per anni); richieste a favore degli studenti più capaci a basso reddito (la tassazione universitaria è tra le più alte d’Europa e i servizi agli ultimi posti). In comune a quasi tutte le dichiarazioni di adesione alla protesta, sia pur con diverse sfumature, è la minaccia-invito di boicottare la VQR, la procedura di Valutazione della Qualità della Ricerca.

Il boicottaggio della VQR è, in parte, un espediente per esprimere il malessere dovuto ai motivi accennati sopra senza contribuire a danneggiare ulteriormente chi vive all’università, come gli studenti, con scioperi o altre iniziative classiche. E’ stato individuato come sistema di protesta più adeguato perché si tratta di un contenzioso tra Docenti e Ministero e usa lo strumento di interrelazione fra i due soggetti, senza coinvolgere altri.Ma c’è anche altro: la VQR non piace a quasi nessun ricercatore, e molti di coloro che non la criticano lo fanno per paura di ritorsioni più che per vero convincimento.

Perché ci si accanisce contro la valutazione? Forse, come accusano più o meno esplicitamente gli osservatori meno attenti (e interessati ad attaccare il sistema universitario nazionale) i membri delle università sono degli incompetenti che temono che la valutazione possa rendere evidente la propria incapacità? In realtà non è così; quello che non si riesce più a tollerare è questa specifica forma di (pseudo) valutazione, che non è in grado di evidenziare le situazioni critiche, non aiuta a migliorare le attività degli atenei, e fornisce risultati arbitrari e oggettivamente dannosi per il sistema universitario nel suo complesso. Prima di vedere i principali punti critici della VQR è necessaria una breve introduzione.

Consideriamo l'attitudine dei ricercatori universitari (sia quelli di ruolo che quelli potenziali come i precari, o in formazione come i dottorandi) rispetto alla valutazione della ricerca. Tutte queste figure sono abituate a essere costantemente sottoposte a procedure di valutazione operanti ad ogni passo delle loro normali attività. Facciamo un rapido elenco. Possiamo iniziare, ad esempio, con la richiesta di fondi e risorse per esplorare un’idea ritenuta promettente: bisogna convincere l’ente finanziatore (dipartimento, ateneo, Ministero, Commissione Europea, ente privato, etc.) della validità della propria idea, che andrà a competere con altre per ottenere risorse che, globalmente, sono sempre una frazione di quanto richiesto. Quindi, un primo filtro valutativo è costituito dalla selezione dei progetti che saranno finanziati e quelli che devono essere rivisti per un’altra occasione, o cestinati. Proseguendo, i risultati di una ricerca hanno valore accademico solo se pubblicati da riviste o case editrici che sottopongono i lavori proposti a un attento esame da parte di esperti della materia (generalmente anonimi) chemettono a disposizione la loro professionalità per la valutazione dei risultati dei loro colleghi. Il secondo filtro valutativo consiste quindi nel riuscire a pubblicare i propri risultati, ma la valutazione non finisce sicuramente qui. Un ricercatore che aspiri a essere assunto in un ruolo universitario deve partecipare a competizioni che mettono in gara il curriculum di ogni candidato contro quello di ogni altro, con una commissione che deve giustificare la scelta fatta in base a criteri oggettivi. Altra valutazione, e siamo a tre. Per le posizioni apicali (professori Associati e Ordinari) è necessario che i concorrenti si siano dotati di una patente che li abiliti alla partecipazione ai concorsi: ancora valutati (quattro). Infine, secondo quanto previsto dalla nuova legge che regola l’università, gli scatti di anzianità dei docenti (finora bloccati) saranno concessi solo a chi si sottopone a un'apposita valutazione.

Abbiamo elencato in tutto 5 distinti livelli di valutazione che analizzano il lavoro dei ricercatori universitari. Ci siamo inoltre limitati alle sole attività riguardanti la ricerca e “obbligatorie”, cioè facenti parte della normale attività di un docente universitario. Dozzine di altri passaggi valutativi riguardano la didattica (lezioni, tesi, seminari, corsi di dottorato, etc.) oppure sono utilizzati dagli atenei e dai dipartimenti per le loro decisioni interne. Ma perché allora ci si scalda tanto per la VQR, se non è altro che un semplice ulteriore passaggio valutativo? Il motivo è che la VQR non è una forma di valutazione, ma un'operazione di politica accademica senza alcuna logica realmente valutativa e fondamento metodologico. Invece che contribuire a migliorare il sistema, l’unico risultato della VQR sarà quello di ridimensionare drasticamente il sistema universitario nazionale e cambiarne sostanzialmente la natura in direzione contraria alle necessità del paese. Vediamo le motivazioni di queste affermazioni.

Formalmente la VQR è un esercizio di valutazione della ricerca prodotta dalle strutture universitarie (e da altri enti di ricerca) su un arco di tempo medio-lungo, 4-5 anni. In realtà però la VQR si basa su pochi dati individuali inadatti a descrivere i risultati di ricerca complessivi di una struttura e non valuta assolutamente nulla, ma è costituita da una banale elaborazione automatica dei dati svolta in modo totalmente arbitrario e con l’unico scopo di produrre una classifica degli atenei in base alla quale sarà distribuita quella parte di risorse chiamate “quota premiale”. Questa è l’unica funzione della “valutazione” secondo il ministero e l’agenzia cui è demandato il suo svolgimento. Tuttavia, poiché l’ammontare totale delle risorse non aumenta mai, e la quota “premiale” ha raggiunto quasi un terzo del finanziamento ordinario degli atenei, il tutto si traduce nella riduzione radicale delle risorse disponibili per gli atenei non premiati. Il motivo per cui un ateneo si trova a essere punito nelle sue risorse è nascosto in algoritmi indecifrabili applicati a dati riservati, non pubblici. Di conseguenza non è dato sapere perché il mio ateneo viene punito-premiato né le eventuali misure che dovrebbe prendere per affrontare eventuali criticità. Il concetto stesso di classificazione è notoriamente inadatto per confrontare entità per natura incomparabili come enti di ricerca: è possibile punire un dipartimento di Letteratura perché un dipartimento di Fisica ha ottenuto buoni risultati? Questo è quello che potrebbe accadere sulla base di una “valutazione” progettata su classifiche. In realtà, non c’è alcuna valutazione, ma una sorta di inappellabile e imperscrutabile giudizio divino che, essendo svolto ogni 4-5 anni, determinerà la possibilità di una struttura universitaria di crescere, sopravvivere, o semplicemente scomparire senza alcuna possibilità di sapere i motivi o modificare il proprio destino.

Diversi aspetti rendono la VQR un esercizio inutile ai fini valutativi, come comunemente intesi, ma uno strumento finalizzato non a rimuovere i problemi oggettivamente presenti negli atenei, ma a scardinare l’idea stessa di sistema universitario pubblico. Vediamo un breve elenco.

Innanzitutto, la VQR non costituisce una valutazione, come comunemente intesa dal mondo della ricerca, cioè analisi dei risultati sistemici ottenuti sulla base delle condizioni di partenza. E’ invece un meccanismo di ridistribuzione delle risorse basato sul concetto di “eccellenza” scientifica, idea di grande appeal comunicativo ma dalla definizione estremamente vaga e ampiamente soggetta ad arbitrarietà. Chi può onestamente assicurare che un certo contributo scientifico ricade fra il 10%, 20% o 30% più importante a livello internazionale? Eppure è questa distinzione che determina il successo o il fallimento in base alle logiche della VQR. L’esigenza degli atenei, al contrario, non è tanto cercare di fare un'impossibile classifica dei vertici, arbitraria in caso di aree omogenee e completamente assurda se applicata a prodotti di aree diverse, quanto l’individuare la sottoproduzione scientifica (quantitativa o qualitativa), fenomeno più rilevante come impatto sul sistema e di individuazione gran lunga più facile e meno controversa. Su questo aspetto la VQR offre un comodo riparo permettendo di confondere chi non svolge a pieno il suo lavoro con chi produce risultati valutati come meno che eccellenti.

In secondo luogo, le tecniche utilizzate per implementare la VQR (che valuta solo la ricerca, ma viene usata per distribuire risorse necessarie anche per la didattica) sono tali da avvantaggiare alcune tipologie di atenei, ad esempio gli atenei di maggiori dimensioni e gli istituti specializzati in alcune linee di ricerca, danneggiando proporzionalmente gli altri indipendentemente da ogni altro fattore. Se la redistribuzione delle risorse persegue questo principio anche solo per pochi anni gli atenei intermedi, non favoriti dal sistema, non saranno in grado di sopravvivere. In pratica, e senza alcun dibattito o dichiarazione pubblica, la VQR implementa la visione di un sistema universitario nazionale formato da pochi grandi hub nazionali circondati da un deserto scientifico e culturale il cui unico ruolo consiste nell’essere il bacino di utenza del grande ateneo di riferimento. Questo ridurrà drammaticamente il numero di studenti universitari, già bassissimo nel paese, colpendo particolarmente coloro che provengono da famiglie con scarsi mezzi impossibilitati ad accedere ai pochi e costosi posti disponibili. Inoltre, il ridotto numero di istituzioni porterà a limitare le aree di ricerca perseguite, eliminando la componente della varietà di approcci e di interessi che è fondamentale per di un sistema di ricerca avanzato nel lungo periodo. Alla fine, questo modello eliminerà anche la parvenza di sistema universitario pubblico, formando solo pochissime persone a livelli di istruzione avanzati e limitando la ricerca ad ambiti ristrettissimi, in modo assolutamente insufficiente a sostenere l’economia e la società di un paese moderno.

Un terzo deleterio aspetto della VQR è costituito dalle ricadute sulle condizioni di lavoro dei singoli ricercatori, a causa di un'ipocrisia di fondo che appare del tutto peculiare. La (pseudo)valutazione in formato VQR è infatti dichiaratamente immaginata e progettata per la valutazione di interi dipartimenti, ma si configura in realtà come semplice sommatoria di valutazioni dei singoli membri del dipartimento, ignorando completamente ogni aspetto di coordinamento collettivo che pure è la ragione d’essere di un dipartimento, costituendo i suoi potenziali pregi e difetti. I dati raccolti ai fini della VQR non appaiono infatti funzionali né a valutare singoli né le strutture cui afferiscono. Per i singoli infatti si prende in considerazione un numero limitatissimo di lavori con modalità non trasparenti, scoraggiando oggettivamente la collaborazione ed escludendo un'analisi approfondita della ricerca condotta dal singolo. Le caratteristiche delle strutture non solo vengono ignorate, ma non si prende neanche in considerazione il contesto nel quale operano, le modalità attraverso le quali la struttura favorisce o meno la ricerca, gli obiettivi che si prefissa e la corrispondenza con i risultati ottenuti.

L’inadeguatezza di questa forma di “valutazione” non si limita a minare la possibilità della procedura di ottenere risultati sensati, almeno ai fini di un miglioramento del sistema ma, oggettivamente, induce comportamenti adattativi distorsivi della libertà di ricerca, a tutto svantaggio della reale “Qualità della Ricerca”. Ciò avviene anche perché le comunità universitarie “locali”, che pure avrebbero tutti gli elementi per valutare a tutto tondo l’impegno di ricerca dei loro stessi componenti, si sentono sollevate dalla responsabilità di scelte di ogni tipo, dalle attività di ricerca da potenziare per giungere, perfino, alle opportunità di progressione di carriera. Invece che assumersi il rischio di prendere decisioni in potenziale conflitto con quelle percepite come più autorevoli, le comunità locali subiscono la tentazione di utilizzare i ranking VQR come pretesi indicatori “oggettivi” perfino per valutare i singoli, scopo (illegittimo e illegale) per il quale è considerata inadatta dagli stessi architetti della VQR. Rincorrendo l’utopia delle classifiche ad ogni costo si rinnega quindi anche la coerenza metodologica dei processi e della relazione mezzi/obiettivi, che pure dovrebbe essere l’elemento fondante della valutazione in un contesto scientifico.

Come si è arrivati a chiamare “valutazione” questa maldestra (e, peraltro, costosissima) operazione? La VQR è un'invenzione dell’Agenzia Nazionale di Valutazione dell’Università e della Ricerca (Anvur) voluta dalla legge di riforma del sistema universitario varata dal Ministro Gelmini. L’Anvur è una creatura particolare, parte agenzia tecnica indipendente e parte branca ministeriale, con procedure decisionali tanto arbitrarie e inappellabili quanto imperscrutabili. Non ha obiettivi specifici da raggiungere, non è soggetta ad alcuna supervisione e di conseguenza non deve rispondere a nessuno del suo operato. Inoltre, diversamente dalle agenzie di controllo indipendenti, non è chiamata a intervenire per individuare e correggere criticità, ma è parte integrante delle attività regolari di gestione accademica di pertinenza politica, ad esempio decidendo direttamente la distribuzione delle risorse tra gli atenei. Forse anche per questo Il suo operato è stato oggetto di numerosissime critiche, implicitamente avvallate dall’apparente rifiuto dell’ENQA, l’associazione delle agenzie di valutazione universitaria europea, di accettare l’Anvur tra i suoi membri (le informazioni in proposito sono indirette, a causa della solita mancanza di trasparenza dell’agenzia). Il motivo delle critiche alla VQR non è quindi dovuto a un rifiuto di sottoporsi a valutazione, ma piuttosto alla sua mancanza, sostituita da procedure burocratiche complesse e ridondanti, che minano alla base il sistema universitario pubblico, e finalizzate a ridurre drasticamente l’impegno dello stato nell’alta formazione e la ricerca italiana.

Chi oggi protesta chiede una seria gestione della politica accademica, e in particolare una valutazione complessiva degli organi universitari nazionali con obiettivi chiari e condivisi. Esistono margini di miglioramento per il sistema universitario italiano, ma sicuramente questo obiettivo non sarà raggiunto neanche approssimativamente facendo affidamento a sistemi meccanici di stampo burocratico ideati da una struttura screditata orientata a perseguire un disegno di politica universitaria deleterio per il paese.

Tuesday the 21st. Design: Hostgator Coupon. Rete29Aprile
Copyright 2012

©