Da: "Orazio Lanza" <lanza@unict.it>
Data: 20 febbraio 2009 10:53:17 CET
Oggetto: Forum pesi scientifici
Caro Magnifico,
ritorno per la seconda volta (e qui mi fermo!) sul tema dei pesi scientifici. Mi pare che il forum sia uno strumento utile sia per il progressivo diffondersi della cultura della valutazione sia per evidenziare alcuni fisiologici limiti della scelte fin qui da noi fatte. In particolare, che la scelta a favore di una valutazione prevalentemente quantitativa sembra produrre spinte, certamente non generalizzate, ma da non sottovalutare:
1) ad inserire nel Catalogo d'Ateneo tutto e tutti;
2) a controlli poco rigorosi sugli inserimenti (declassare od eliminare un prodotto significa penalizzare la propria Area nella ripartizione dei futuri finanziamenti PRA, ammesso che ci siano);
3) a privilegiare eccessivamente il lavoro in gruppo piuttosto che l'apporto individuale: lo stesso prodotto finisce per pesare tanto più quanto più sono gli autori ;
4) a produrre iniquità tra settori disciplinari della stessa area e tra un'area e l'altra ( ad esempio settori e le aree nelle quali più diffuse/i gruppi di ricerca ristretti e le pubblicazioni individuali sono certamente svantaggiate/i).
Inoltre, mi pare che le necessarie ed imprescindibili regole comuni in qualche caso introducano vincoli inutili ai fini di una buona valutazione. Non sono, ad esempio, riuscito a capire perchè una Commissione d'area che lo ritenga utile non possa (senza con ciò imporlo ad altre) utilizzare parametri relativi al numero di pagine di un prodotto.
Come ovviare? Difficile dirlo e, forse, ancor più difficile farlo, se non si parte da presupposto che non esistono criteri ottimali che vadano bene per tutti i settori e per tutte le aree. Non a caso, le proposte fin qui emerse rinviano quasi tutte ad alcuni criteri utilizzati prevalentemente nelle aree scientifiche, sulla cui efficacia esistono controversie tuttora irrisolte, che non sempre si adattano bene alle esigenze di gran parte delle aree umanistiche.
Che fare allora? A me pare ragionevole privilegiare una strategia incrementale, che non stravolga quanto di buono fin qui fatto e che cerchi di porre rimedi, la cui efficacia è tutta da verificare nei fatti, ai maggiori vizi fin qui emersi.
A mio parere, si potrebbe cominciare col:
1) porre qualche vincolo in più, relativamente agli inserimenti nel Catalogo d'Ateneo (ad esempio: ok per gli assegnasti di ricerca, non per dottori e dottorandi; stabilire una soglia ragionevole alle pubblicazioni che ciascun ricercatore può inserire; consentire alle commissioni la possibilità di correggere gli eventuali errori di collocazione e di eliminare i prodotti "non scientifici")
3) mettere al centro della valutazione i prodotti e lasciare alle singole aree la determinazione dei parametri relativi alla distribuzione del valore di un prodotto tra gli autori, o ad altro a (ad esempio, quelli relativi al valore da attribuire al numero di pagine, per i settori nei quali queste sono importanti); intendo dire, in altri termini, che se un articolo ISI vale 10 quando è prodotto da un solo ricercatore, deve (ai fini della comparabilità) mantenere, complessivamente, tale valore anche quando è prodotto da 15;
4) aumentare il peso (ad esempio a 12 punti, su un totale di 50) che le singole Commissioni d'area possono assegnare al prodotto più prestigioso di ciascuna area, al fine di alleviare le costrizioni all'appiattimento che adesso operano; in alternativa, diminuire drasticamente i tipi.
Con i più cordiali saluti.
Orazio Lanza
-----------------
From: Alfio Lombardo
To: 'Orazio Lanza'
Sent: Friday, February 20, 2009 5:21 PM
Subject: R: Forum pesi scientifici
Caro Orazio, solo alcune precisazioni che, probabilmente rispondono ad alcune delle tue domande:
Che fare allora? A me pare ragionevole privilegiare una strategia incrementale, che non stravolga quanto di buono fin qui fatto e che cerchi di porre rimedi, la cui efficacia è tutta da verificare nei fatti, ai maggiori vizi fin qui emersi. A mio parere, si potrebbe cominciare col:
1) porre qualche vincolo in più, relativamente agli inserimenti nel Catalogo d'Ateneo (ad esempio: ok per gli assegnasti di ricerca, non per dottori e dottorandi; stabilire una soglia ragionevole alle pubblicazioni che ciascun ricercatore può inserire; consentire alle commissioni la possibilità di correggere gli eventuali errori di collocazione e di eliminare i prodotti "non scientifici")
Qui di seguito i "compiti" delle Commissioni di Area ripresi dall'attuale regolamento (art 12) . Come vedi le Commissioni hanno gia' il potere da te auspicato (comma a)
Le Commissioni di Area hanno i seguenti compiti:
a) verificano i dati immessi nel catalogo d'ateneo; ai fini della pubblicazione annuale del Catalogo d'Ateneo la Commissione di Area controlla la correttezza dei lavori inseriti dai docenti nella griglia di valutazione; il suo presidente ha la facoltà di correggere d'ufficio gli errori individuati e di eliminare eventuali duplicati residui. Ove lo ritenesse necessario, la Commissione ha inoltre facoltà di verificare attraverso campionatura la esattezza dei dati immessi nel Catalogo d'Ateneo. A tal fine la Commissione potrà richiedere agli intestatari dei lavori prescelti ogni documentazione atta a verificarne l'esattezza;
3) mettere al centro della valutazione i prodotti e lasciare alle singole aree la determinazione dei parametri relativi alla distribuzione del valore di un prodotto tra gli autori, o ad altro a (ad esempio, quelli relativi al valore da attribuire al numero di pagine, per i settori nei quali queste sono importanti); intendo dire, in altri termini, che se un articolo ISI vale 10 quando è prodotto da un solo ricercatore, deve (ai fini della comparabilità) mantenere, complessivamente, tale valore anche quando è prodotto da 15;
Qui di seguito il comma b dello stesso articolo 12 del Regolamento
b) Le Commissioni di Area ai fini della valutazione del parametro "peso del gruppo di ricerca", definiscono i parametri correttivi che tengono conto del numero di autori;
Ricordo infatti che nel Regolamento suddetto, per esplicita richiesta del Senato Accademico, esistono due parametri; il "Peso Scientifico" e il "Peso Scientifico modificato" Il primo e' utilizzato per valutare se un ricercatore e' operativo o meno e, ripeto per esplicita richiesta del Senato, NON tiene conto del numero di autori, che, come vedi dal regolamento e' computato in modo differente dalle singole Comissioni Scientifiche di Area; Il secondo invece e' utilizzato per ripartire le cifre del fondo di ricerca di Ateneo tra i progetti PRA della medesima Area (ricordo che non c'e' competizione diretta e confronto tra le Aree): in questo caso Si tiene conto del numero di autori in accordo alle indicazioni date dalle singole Commissioni Scientifiche di Area
4) aumentare il peso (ad esempio a 12 punti, su un totale di 50) che le singole Commissioni d'area possono assegnare al prodotto più prestigioso di ciascuna area, al fine di alleviare le costrizioni all'appiattimento che adesso operano; in alternativa, diminuire drasticamente i tipi.
Come ricorderai la Commissione ricerca lo scorso anno aveva dato indicazione alle Commissioni Scientifiche di Area di determinare i pesi per ciascuna tipologia di pubblicazione. Consci delle differenze esistenti tra le Aree l'unica regola dettata dalla Commissione Ricerca e' stata
-dare 10 punti alla tipologia di pubblicazione piu' prestigiosa per l'Area
- il totale del punteggio dato alle varie tipologie presenti doveva essere pari a 60.
Gia' da quest'anno la Commissione ricerca , nel richiedere alle Commissioni Scientifiche di Area di correggere/verificare i pesi dettati lo scorso anno, ha indicato che il totale dei pesi dovesse essere 50 (e non 60) fermo restando che la tipologia piu' prestigiosa per l'Area debba avere un peso 10.
Non si e' ritenuto di alzare quest'ultimo valore perche' legato alla attuale "soglia di operativita'" che e' ancora fissata a 10, appunto.
Come vedi non siamo molto distanti dalle tue posizioni.
Alfio
-----------------------
Da: Orazio Lanza [mailto:lanza@unict.it]
Inviato: venerdì 20 febbraio 2009 18.21
Oggetto: Re: R: Forum pesi scientifici
Grazie Alfio,
per la (solita)cortesia e la (solita) puntualità! Non era informato
sugli ultimi sviluppi. Non c'è dubbio, comunque, che le direzioni
siano quelle. Resta il fatto che ....si può sempre migliorare!!
Un cordialissimo saluto!
Orazio.
--------------------------
Da: "Giuseppe Falci" <gfalci@dmfci.unict.it>
Data: 20 febbraio 2009 13:57:32 CET
A: arecca@dmfci.unict.it, lombardo@diit.unict.it
Oggetto: pesi scientifici
Rispondere-A: gfalci@dmfci.unict.it
Caro Toni e caro Alfio,
partendo dalla considerazione che il lavoro fin qui svolto e ``in progress'', ne ho un'impressione molto positiva. E' fondamentale il fatto che si sia sfatato il mito della ``indecidibilità'' (pratica) della
valutazione e ritengo che una lettura attenta dei risultati contenga
informazione valida. Questo è di per sè un grande successo.
Mi auguro però che nel futuro non si arrivi al mito opposto, quello della tabella di indicatori pesati che diventa tavola della verità.
Non si conseguono buoni risultati se i numeri ``oggettivi'' non sono letti con buon senso e rigore intellettuale, e le tabelle danno solo elementi per scelte umane, da operare volta per volta, con la relativa assunzione di responsabilità.
Avendo fatto parte della Commissione 02, oltre ad aver maturato il
convincimento che la strada fin qui percorsa è buona, ma è solo un primo passo, ho una serie di proposte concrete, che per l'inevitabile tecnicismo non è il caso che io esponga. Esse però danno sostanza ad alcune riflessioni che vorrei sottoporvi.
1) Una valutazione ai fini PRA non ha niente a che fare nè con una
valutazione individuale (dal criterio per i ricercatori attivi ai criteri
per concorsi) nè con una valutazione per prendere un grant americano o un progetto UE. Essa serve a ottimizzare le risorse umane, tramite l'impiego di una PICCOLA somma, al fine di risultare competitivi, ad esempio per l'assegnazione dello FFO (e scusate se è poco).
Quindi non si attribuiscomo medaglie al merito, ma occorre garantire
dinamismo, mantenere una ``offerta'' diffusa di ricerca, e incentivare la ricerca di punta, se non altro ``psicologicamente''.
Il benedetto giorno in cui serie valutazioni nazionali avranno una ricaduta concreta sullo FFO si penserà ad esempio a considerare tutta l'informazione che viene dallo IF (indicatore da introdurre in qualche forma), discettando sulla normalizzazione e sul numero di decimali necessari.
2) I punteggi ed il lavoro delle aree deve limitarsi a garantire una
efficiente redistribuzione interna.
Essa naturalmente risponde alla politica dell'Ateneo di suddivisione dei
fondi tra le aree.
In queste condizioni la discrezionalità di scelta delle aree può essere
esplorata per rendere sensata la redistribuzione interna. Questo è di per sè un lavoraccio, in particolare in aree dove esistono diverse tipologie di ricerca e specificità e richiede decisioni responsabili delle
Commissioni di Area.
L'attribuzione dei pesi, vincolata SOLO ad esigenze dell'area, elimina il
problema metafisico del confronto tra il giurista e il matematico, operato dal medico.
3) Il lavoro da pensare (o da mutuare dall'esempio di altre Università) è quello della suddivisione dei fondi tra le aree, che è un problema
completamente diverso.
Ciò richiede che vengano fatte scelte politiche, per incentivare
comportamenti ``virtuosi''. Cosa voglia dire ``virtuoso'' lo decide
l'Ateneo, prendendosi la responsabilità della ricaduta sul piano della
competizione tra Atenei.
Gli indicatori devono confrontare l'area X di Catania con l'area X in
Italia (e forse oltre), e determinare se il contributo dell'area X
garantisce all'Ateneo competitività su quel terreno. E' chiaro che non
basta sapere cosa l'area X di Catania pensa di sè.
Ovviamente queste scelte si riflettono sulle decisioni all'interno delle
aree.
Fin quando la suddivisione si basa sul numero di ricercatori attivi, è
chiaro che l'Area deve fare in modo da averne molti, e finisce che magari l'aver classificato attivo uno zombie diventa titolo di merito. Da questo punto di vista la politica di Ateneo dovrebbe limitarsi ad incentivare decisioni responsabili da parte delle Aree.
Per considerare adeguatamente questi meccanismi (di retroazione) la
valutazione nell'area e il confronto tra aree vanno tenuti lontani
(ovviamente tanto quanto basta).
4) E' secondo me essenziale che si ragioni in una prospettiva dinamica.
Non abbiamo idea di quello che ci richiederà la società fra cinque anni e la politica tra due mesi: un criterio buono oggi potrebbe essere
disastroso in seguito, per cui mi auguro che il problema della valutazione resti sul tappeto ancora per lungo tempo e si arricchisca di esperienze e tecniche già collaudate altrove.
Cari saluti
Pino
Prof. Giuseppe Falci
Dipartimento di Metodologie Fisiche e Chimiche (DMFCI) - Catania & MATIS-INFM - Catania
----------------------------
From: ctringali@unict.it
Sent: Monday, February 23, 2009 9:29 AM
Subject: Forum Pesi scientifici
Caro Rettore,
dopo avere letto numerosi interventi dei Colleghi nel forum sui 'pesi scientifici' vorrei esporti un mio punto di vista. Io credo che la discussione sui criteri più opportuni da utilizzare non possa prescindere dall'obiettivo che si vuole perseguire con questa specifica valutazione condotta a livello di Ateneo. Ho constatato infatti che vengono proposte formule, algoritmi, modelli matematici sui quali si possono fare estese considerazioni a favore o contro; ma è ragionevole utilizzare questa complessità nei sistemi di valutazione (e il conseguente notevole impegno di tempo dei colleghi, suppongo sottratto ad attività di ricerca e didattica) allo scopo si spostare da un ricercatore all'altro poche centinaia o, nel migliore dei casi, poche migliaia di euro? I gruppi di ricerca di maggior spicco avranno un significativo vantaggio da questi incrementi, rispetto alle risorse di cui già dispongono? Una certa malcelata irritazione di alcuni interventi penso nasca dal dubbio che il risultato - indipendentemente dalla volontà dei proponenti - sia stato quello di determinare 'graduatorie di merito' che potrebbero essere utilizzate per scopi diversi da quelli per cui sono state ottenute.
Per entrare nel propositivo, mi sembra ragionevole utilizzare criteri che permettano in modo semplice di suddividere i ricercatori in poche fasce: escludendo i 'non operativi', quattro categorie di merito mi sembrano sufficienti poiché gli indici proposti (IF, HI, e loro varie riduzioni) come è stato già sottolineato, hanno un campo di variabilità così ampio (ad es. riguardo alle riviste) che risulta difficile immaginare che fra le persone esistano livelli di efficienza scientifica così difformi. La proposta avanzata dalla Commissione 'Scienze Chimiche' (Allegato Puglisi) mi sembra che vada in questa direzione e credo vada valutata attentamente. Tuttavia vorrei aggiungere qualche altro spunto. Secondo me lo scopo della valutazione non può prescindere dal tentativo di introdurre innovazione nel nostro sistema di ricerca: perché allora non premiare con qualche punteggio i gruppi con minore età media? Perché non valutare il rapporto fra produzione scientifica e risorse, premiando gruppi che magari con modesti finanziamenti riescono ad ottenere risultati proporzionalmente più significativi di gruppi ben strutturati e solidamente finanziati? Far emergere queste potenzialità ritengo sarebbe il risultato principale da perseguire per il futuro del nostro Ateneo.
Ti ringrazio dell'attenzione, cari saluti
Corrado Tringali
--------------------------