Da: cicirata@unict.it
Data: 15 febbraio 2009 20:20:44 CET
A: arecca@dmfci.unict.it
Oggetto: catalogo di Ateneo sulla ricerca
Caro Tony,
ho pensato utile dare un contributo alla discussione sul peso specifico della ricerca di ateneo. La cui vivacità testimonia dell'importanza attribuitagli dalla nostra comunità scientifica.
Si ha un bel dire, come ha fatto il prof lombardo nel lodevole tentativo di spegnere le polemiche , che il catalogo non deve essere letto come una classifica di merito. Dal momento che il sistema prevede un punteggio, deriva inevitabile una gerarchia. E questa inevitabilmente assume un significato politico perché in essa c'è un implicito suggerimento sull'indirizzo "virtuoso" da perseguire.
Un approccio rigoroso ed efficientista alla formulazione di tali valutazioni avrebbe voluto che venissero utilizzati (con opportuni adattamenti) criteri ben collaudati, già operativi in tanti Atenei, incluso italiani. Invece si sono preferiti criteri "home made", perché?
Le risultanze della tabelle, se commisurate alle scale utilizzate in altro contesti, sono inattendibili, perché opinabili sono i criteri posti a monte. La cosa che più salta agli occhi è che i criteri utilizzati hanno privilegiato la "quantità", invece della "qualità". Voglio limitarmi a due soli esempi. Non si tiene in alcun conto l'impact factor delle pubblicazioni, e questo è fuori da ogni realtà attuale. Ma la considerazione che più mi lascia perplesso è l'assegnazione dello stesso "punteggio" a tutti i firmatari degli articoli, senza tener conto del loro contributo (internazionalmente riconosciuto dall'ordine degli autori) e del loro numero (avrai avuto anche tu modo di vedere articoli anche brevi con una lista di autori che supera quella di una squadra di calcio). In tal modo un articoletto, dignitoso, può "rendere" una somma di punti elevatissima, per il grande numero di autori, mentre un articolo pubblicato su una rivista di eccezionale prestigio, da un piccolo gruppo di ricercatori (che hanno speso anni di lavoro per mettere a punto un manoscritto di alta qualità) saranno penalizzati.
I criteri utilizzati spingono in alto: 1) quei gruppi che nell'alternativa tra pubblicare pochi articoli corposi e di prestigio ovvero molti articoli brevi e di minore impatto, scelgono la seconda strada; 2) quei gruppi numerosi, in cui tutti scambino con tutti; 3) e quei ricercatori che venendo inseriti nelle pubblicazioni di vari gruppi a cui apportano piccoli contributi tecnici e metodologici , finiranno per classificarsi ben più in alto nel catalogo di Ateneo, dei main investigators dei lavori a cui hanno partecipato. Tali risultanze sono in completa discordanza con quanto viene considerato positivo ,in sedi accademiche prestigiose. Un apparente , ma esplicativo paradosso, sarebbe quello di un gruppo di ricerca ("purtroppo") bravissimi, che in un quinquennio avessero pubblicato 3 articoli su Nature o Science (l'olimpo delle riviste di natura biologica), essi sarebbero delle autorità a livello mondiale, ma nel catalogo del nostro Ateneo verrebbero valutati con 30 punti ( e dunque in fondo alla lista)!!
Conoscendo la tua intenzione di modernizzare il nostro Ateneo e di renderlo più competitivo nei confronti degli altri Atenei, sono certo che tu abbia dato un mandato coerente con la tua intenzione. Purtroppo le procedure utilizzate in questo specifico settore non sono state idonee al raggiungimento dei risultati preposti. E' necessario quindi una radicale riconsiderazione del settore.
In linea generale, i criteri da seguire devono essere definiti in relazione agli scopi da raggiungere ed al livello degli altri partecipanti con cui si è in competizione. Se abbiamo l'ambizione di competere con i migliori Atenei nazionali ed europei, allora dobbiamo utilizzare criteri di valutazione comparabili ai loro. Solo in tal modo il nostro Ateneo potrà dare visibilità e peso ai tanti ricercatori assai validi, di cui il nostro Ateneo beneficia.
cordiali saluti
Federico
-----------------------
Da: Sebastiano Battiato <battiato@dmi.unict.it>
Data: 15 febbraio 2009 17:43:59 CET
A: Antonino Recca <arecca@dmfci.unict.it>
Cc: lombardo@diit.unict.it
Oggetto: pubblicazione
Rispondere-A: battiato@dmi.unict.it
Caro Magnifico,
volevo complimentarmi con l'ottima iniziativa messa in atto volta a rendere fruibili in maniera diretta i punteggi ottenuti con la valutazione PRA 2007.
Penso sia importante che ci si cominci finalmente a confrontare con dei criteri di valutazione oggettivi (anche se ovviamente criticabili e migliorabili qualora lo si voglia)...
cari saluti
SB
-----------------------
Da: "Prof. G. Musumarra" <gmusumarra@dipchi.unict.it>
Data: 16 febbraio 2009 20:00:58 CET
Oggetto: forum pesi scientifici
Caro Rettore, Cari Colleghi,
desidero innanzitutto ringraziare il collega Lombardo e tutti i componenti delle commissioni di area per il lavoro svolto. Meglio avere criteri criticabili e criticati, che non averne. Detto questo vorrei fare alcune riflessioni con spirito costruttivo:
1.
PESI SCIENTIFICI. I vincoli imposti per la definizione di ricercatore attivo (17 tipologie, max 10 punti per tipologia su un totale di 60) mi sembra derivassero dalla necessità di applicare i nuovi criteri con gradualità, limitando il numero dei non attivi e questo mi sta bene. Il problema sta però nella applicazione degli stessi criteri per la definizione del peso scientifico dei ricercatori "attivi" e quindi del finanziamento. Infatti per quanto riguarda la mia area (03) e penso anche altre, il punteggio attribuito alla tipologia 3 (articoli su riviste ISI) potrebbe a mio avviso rappresentare fino al 50% del totale. Infatti molti ricercatori "attivi", che non hanno potuto o voluto dedicare il loro tempo per compilare i punti 8-11, 16, 17 (che a mio avviso potrebbero avere peso bassissimo o addirittura zero ai fini del finanziamento), protestano non tanto per le piccole differenze nel finanziamento, quanto per una questione di principio e di immagine.
2.
RIVISTE ISI. Il punteggio attuale premia la quantità non la qualità, la cui valutazione per quanto difficile ed opinabile è però necessaria. A questo proposito una proposta condivisibile ed attuabile senza troppe complicazioni potrebbe essere quella di assegnare punteggi differenti ai lavori che appartengono ad una fascia alta, media o bassa considerando l'impact factor della rivista rispetto alla media dell'area (gli IF-così come la democrazia- hanno molti difetti, ma non riesco a trovare sistemi migliori). Non considererei le citazioni dei singoli lavori perché richiederebbero un enorme lavoro e sarebbero poco attendibili in quanto dipenderebbero dall'anno di pubblicazione difficilmente "normalizzabile" (un ottimo lavoro pubblicato un mese fa non ha in genere citazioni). La proposta di Montaudo di attribuire un punteggio all'h index del proponente mi sembra possa rappresentare un valido criterio per contribuire alla valutazione del suo peso scientifico in base alle citazioni dei lavori pubblicati dal 1990 ad oggi.
3.
CONFRONTO TRA LE DIVERSE AREE. Mi sembra il punto più delicato e difficile da affrontare per i componenti la commissione ricerca. Non sono in grado di formulare proposte, faccio solo qualche considerazione. Gli IF sono diversi per le varie aree e bisognerebbe trovare il modo di "normalizzarli" per confrontarli. In alcune aree i criteri relativi al numero degli autori appaiono troppo penalizzanti; ritengo infatti contraddittorio premiare la aggregazione e le ricerche multidisciplinari ed allo stesso tempo penalizzare non poco i lavori con un numero di autori fino a 4-5.
Grato per l'attenzione, auguro buon lavoro al collega Lombardo ed agli altri componenti la commissione.
Cordiali saluti
Giuseppe Musumarra
---------------------------
Andrea Rapisarda <andrea.rapisarda@ct.infn.it>
Data: 16 febbraio 2009 17:41:18 CET
Oggetto: un piccolo grafico sui punteggi dei ricercatori operativi di Unict
Caro Tony
non so se puo' essere utile alla discussione, ma mi sembra comunque interessante anche come curiosità.
Ti invio un grafico che mi sono divertito a fare a partire dai dati della tabella dei punteggi dei ricercatori operativi. Ne viene fuori una bella legge a potenza alla Pareto (a parte un piccola saturazione sui valori bassi). Una caratteristica assolutamente fisiologica e molto naturale come si riscontra in tanti altri fenomeni di distribuzione analoghi in sistemi di tipo sociale, fisico, biologico, ecc.
Un caro saluto Andrea
Vedi allegato
---------------------------
Da: "S. Caccamese" <scaccamese@dipchi.unict.it>
Data: 17 febbraio 2009 9:49:55 CET
Oggetto: pesi scientifici
Caro Toni,
Leggo nella lettera del collega Orazio Lanza che il Bollettino di Ateneo è stato inserito da qualche collega nel calcolo del suo peso scientifico come "rivista con comitato scientifico, comitato di redazione e a diffusione internazionale" (tipologia 3 della Tabella 1). Senza dubbio il Bollettino ha una sua funzione importante soprattutto da un punto di vista di scambio di opinioni e trasmissione di memoria. Ma, a mio parere, non può essere quasi al top delle tipologie di pubblicazioni ed avere un elevato peso scientifico.
Spero che la svista del collega sia stata involontaria, in buona fede. Però egli ha probabilmente delegato a qualche componente del suo gruppo di ricerca, inesperto nella classificazione dei lavori, l'inserimento delle pubblicazioni nel Catalogo di Ateneo essendo egli impegnatissimo in tante altre attività. Un lavoro così delicato va fatto in prima persona. Ne va della sua responsabilità oggettiva. Ricordo anche che questo errore del collega è visibile dai colleghi degli altri Atenei, essendo il Catalogo delle Pubblicazioni del nostro Ateneo consultabile da altri Atenei, e viceversa.
L'utilizzo degli indici bibliometrici nelle aree scientifiche è, come scritto anche dal collega Marcello Migliore, un criterio molto valido e si può migliorare. Anche io ritengo che l'Average Citation Iindex debba essere preso in considerazione per valutare il peso scientifico di un ricercatore. Poichè un lavoro per entrare in circolazione nella comunità scientifica ed essere quindi citato se valido, richiede quanto meno tre anni si potrebbe considerare un periodo di osservazione del Citation Index di otto anni precedenti la domanda. Per una valutazione personale è molto più indicativo questo parametro, o il correlato h-index, rispetto al solo impact factor come peraltro suggerito dal collega Montaudo. Mi è capitato di essere valutatore del peso scientifico di un grosso collega, non di Catania, che negli ultimi anni aveva pubblicato numerose mini reviews (2-3 pagine) sugli ultimi progressi riportati in letteratura in un certo campo di ricerca in una rivista con impact factor 12 ( Trends in ....), valore altissimo per l'Area Chimica. Ma lui di ricerche sue originali negli ultimi dieci anni aveva pubblicato pochissimo e il suo citation index era bassissimo ( minore di 3)....
Un caro saluto
Salvatore Caccamese
---------------------------