19/feb/09, alle 09:51:
Oggetto: Forum Pesi scientifici
Caro Tony,
di recente il CUN ha proposto un regolamento per i concorsi universitari, dove il valore del candidato è pesato, non solo sul numero dei lavori, ma sull'IF della rivista e sulla posizione che occupa tra gli autori.
Probabilmente, il sistema adottato dal nostro Ateneo ha bisogno di essere rivisto, sia alla luce di sistemi bibliometrici internazionali che nazionali.
Va, inoltre, considerato che alcuni settori hanno attribuito valori differenti alle varie tipologie di pubblicazioni, determinando di fatto una differenza sulla valutazione e sulla comparazione con settori differenti.
Credo, inoltre, che certi trionfalismi facciano molto male alla ricerca e alla serenità che questo Ateneo dovrebbe tenere nella valutazione della sua attività di ricerca.
Inoltre, proporrei che il Catalogo Saperi, non sia utilizzato per la valutazione dei docenti, ma, invece, rappresenti un catalago bibliografico con il quale l'Ateneo si presenta al pubblico.
Con affetto
Pio Maria Furneri
----------------------------
Da: Riccardo Polosa <polosa@unict.it>
Data: 19 febbraio 2009 10:15:51 CET
Oggetto: Forum "pesi scientifici"
Caro Alfio,
Fa piacere veder che questo forum abbia acceso l'interesse dei colleghi. Il rischio è di parlarne all'infinito senza trovare la giusta soluzione a questo problema.
Il lavoro che la Commissione sta portando avanti non è facile. Tuttavia sono disponibili tracce già segnate dai colleghi di alcuni prestigiosi Atenei del Nord.
Sarebbe utile un confronto con i documenti già sviluppato da questi.
Un caro saluto, Riccardo
----------------------------
Da: "Vincenzo Cucinotta" <ecucinotta@unict.it>
Data: 19 febbraio 2009 10:38:51 CET
Oggetto: pesi scientifici
Caro Toni,
vorrei anch'io dire la mia in merito ai criteri di ripartizione del PRA. Faccio una doverosa premessa: secondo me, non esiste alcuna modalità, anche parzialmente oggettiva, per confrontare articoli riguardanti argomenti totalmente differenti. Perciò, ritengo, ma non ne sono certo, e vorrei essere confortato da una tua conferma, che la suddivisione dei fondi tra le differenti aree avvenga seguendo criteri storici: escluderei che si possa suddividere i finanziamenti tra le differenti aree in base agli stessi criteri che vengono adoperati per dividerli all'interno di ciascuna area.
Se le cose stanno davvero così, non ha molto senso che io, da chimico, mi occupi di come debbano essere valutati i titoli nell'area giuridica, tanto per fare un esempio. Se noi quindi diamo per scontato che paragoni tra differenti aree non siano possibili, viene meno, io credo, l'esigenza che la somma dei parametri di valutazione di ciascuna tipologia di titoli raggiunga un valore predeterminato, che è stato 60 nella prima applicazione. Potremmo, secondo me, più agevolmente, tolto questo vincolo artificioso, dare una valutazione dei titoli simile a come si esprime in uno spettro di massa l'intensità dei singoli picchi. Mi scuso con i colleghi di altre aree, ma in realtà si tratta di una modalità facilmente comprensibile e che proverò a descrivere. Si attribuisce il valore di 100 al picco più intenso, detto picco base, cioè nel nostro caso al titolo più prestigioso, e i punteggi degli altri titoli vengono riferiti a questo punteggio massimo, cioè saranno espressi in percentuale.
Concordo pienamente coi colleghi già intervenuti: nella nostra area ciò che davvero conta nei momenti decisivi, ad esempio ai fini concorsuali, sono quasi soltanto gli articoli pubblicati su riviste ISI. Concordo anche con l'esigenza già prospettata di discriminare tra questi in base alla rivista su cui siano stati pubblicati. Io penso che l'IF, malgrado i suoi evidenti limiti e difetti, possa essere vantaggiosamente utilizzato. Rispetto ad altri indici, forse più accurati, ha il vantaggio di essere più conosciuto e facilmente reperibile, ma penso che qualunque di questi indici, proprio perché elaborato in un ambito mondiale, sia dotato della necessaria obiettività. Se si vuole utilizzare un IF normalizzato rispetto allo specifico settore di pertinenza, e ci potrebbero essere controindicazioni anche su questo versante, io raccomando comunque che tale normalizzazione avvenga mediante una sottrazione e non una divisione. La sottrazione (IF- IFmedio) mantiene le differenze originali, mentre la divisione (IF/IFmedio) distorce le differenze, cioè ha un obiettivo effetto azzerante o amplificante, in dipendenza del valore di IF(medio) (se >1 o <1): a questo punto, verrebbe meno l'utilità stessa di usare l'IF!
Entrare nel merito del numero degli autori, sebbene teoricamente corretto, ci porterebbe su un terreno minato. In effetti, in alcuni articoli un grande numero di autori è perfettamente giustificato, come quelli che richiedono l'utilizzo di numerose tecniche e competenze differenziate, e non si capirebbe perché si dovrebbe penalizzarli. In altri no, ma non mi pare esista un metodo standard per distinguerli.
Grazie dell'ospitalità,
Vincenzo Cucinotta
----------------------------
Da: "Prof. Giovanni Puglisi" <puglisig@unict.it>
Data: 19 febbraio 2009 12:21:35 CET
Oggetto: pesi scientifici
Ci sembrava utile come Commissione PRA area 03 dare un contributo al dibattito attualmente in atto relativamente alla valutazione del peso scientifico ai fini della distribuzione dei fondi PRA.
Distinti saluti
Prof. Giovanni Puglisi
Dipartimento di Scienze Farmaceutiche
Università degli Studi di Catania
Vedi allegato
----------------------------
Da: glagreca@unict.it
Data: 19 febbraio 2009 13:58:02 CET
Oggetto: Pesi scientifici- Forum
Valutazione pesi scientifici
Mi sento di ringraziare per l'apprezzabile sforzo fatto dal Rettore, dall'Ateneo e soprattutto da Alfio Lombardo e collaboratori per dare un peso alla valutazione all'attività scientifica. Questo non è un compito facile quando, giustamente, si vuole rispettare il lavoro di ciascuno soggetto dell'Ateneo, ma la valutazione deve avere criteri rigorosi e dati e fonti certe.
Oltre alle problematiche condivisibili indicate già da molti soprattutto di Federico Cicirata e G. Musumarra ma di altri colleghi nel forum,una discreta analisi dei dati, mi porta ad alcune considerazioni.
Premetto che le mie valutazioni attengono principalmente all'area 06 Medicina ma forse sono presenti anche per altre aree scientifiche. Fermo restando che in ogni facoltà ed area per chi conosce l'attività scientifica profusa da tutti noi conosce certamente i pesi reali di ciascuno risalta ad un analisi discreta che il sistema utilizzato dall'Ateneo mostra che vi sono delle situazioni emblematiche e paradossali.
Ricercatori praticamente assenti da Pub-med, con impact factor complessivo 1990-2007 e 2003-2007 pari a 0,0000 con qualche decina di " lavori" indicizzati "al catalogo dei saperi" dell'ateneo di Catania hanno punteggi comparabili o al di sopra di molti altri con diversi lavori indicizzatisu pub-med etc, e con impact factor rispettabile ed anche il doppio o triplo dei lavori.
Case reports per "esteso" sul Foglietto di Medico di Roccacannucccia e Forlimpopoli sembrano poter avere lo stesso valore di studi Pubblicati sul Lancet o Nature .
A mio avviso è anche probabile che alcuni nell'inserire i lavori abbiano esagerato o sbagliato, qualcuno anche per difetto, probabilmente per mancata conoscenza, o per inconsapevole volontà autoreferenziale nell'attribuzione delle caratteristiche editoriali delle loro opere. Per esempio inserendo erroneamente il 4) Articoli su riviste con comitato scientifico, comitato di redazione e processo di selezione gli abstracts o comunicazioni nazionali su volumi o proceedings si raddoppia o triplica il "valore" del loro reale contributo alla scienza dell'umanità-
Siccome ognuno scrive quello che vuole possono avvenire notevoli squilibri tra la realtà produttiva e la presunta produttività calcolata con il sistema applicato, tanto non c'e controllo.
Esistono problemi nel sistema di calcolo perché per esempio non esiste, anacronisticamente, nessun riferimento all'impact factor complessivo del ricercatore, né alle citazioni ma esiste anche un problema di dati forniti per l'analisi.
Spacciare patate per tartufi o mischiare cipolle o carote con lattughe può confondere le minestre.
Questo sistema, la vivacità del forum lo dimostra, ha il merito di avere sollevato finalmente il problema ma il sistema deve essere abbondantemente corretto con i suggerimenti già in gran parte proposti ma a mio avviso devono essere definiti meglio i criteri oggettivi ed internazionali soprattutto per le aree scientifiche.
1) l'impact factor complessivo del ricercatore = deve essere
preponderante soprattutto per l'area scientifica
2) Il numero di pubblicazioni da 1° autore deve essere considerato
differentemente dal coautore
3) La reale consistenza scientifica di pubblicazioni [non ISI e senza
IF) e la rilevanza della rivista, ignota ai più, deve essere
controllata da una qualche commissione con criteri chiari e definiti .
4) Gli abstracts soprattutto su congressi nazionali senza selezione
certa devono essere abbondantemente ridimensionati di valore.
Con il sistema attuale, lodevole nelle intenzioni, accadrà che per galleggiare tutti i manderanno abstracts dovunque [persino al 1° seminario sul grano duro di Pietraperzia) per cui 5 abstracts, scritti in 2 ore fanno una pubblicazione su Science prodotta in 5 anni di ricerca. I migliori e quelli veramente "operativi" verranno penalizzati nella visibilità "locale" della loro attività di ricerca e penalizzati anche nell'assegnazione dei fondi e verrà stimolata nuovamente invece la fumosità negativa della corsa alla quantità di para-ricerca e pseudoricerca data dalla psicosi della pubblicazione ad ogni costo che in realtà stava finalmente scomparendo anche nel nostro barocco mezzoggiorno accademico per via naturale.
Certamente questo è anche un grosso problema di giustizia, visto che da questi punteggi deriva l'assegnazione dei fondi PRA ma il problema è soprattutto concettuale e di principio e cioè di avere l'Ateneo un sistema il più rispettoso possibile della meritocrazia scientifica , più attuale, internazionale e più oggettivo e il meno autoreferenziale possibile. Non si devono discriminare i meno attivi ma neanche penalizzare ed "omogeneizzare" chi lavora e dignitosamete produce anche poco ma bene per la ricerca e per l'immagine dell'Ateneo di Catania.
Tutti i volenterosi, ma i giovani soprattutto, in questi periodi di incertezza globale, vanno motivati e supportati devono essere sicuri dei loro obbiettivi e del riconoscimento dei loro sforzi passati, presenti e futuri.
Spero che tutte queste considerazioni spesso convergenti del Forum possano essere utilizzate dalle commissioni preposte per migliorare velocemente il sistema in senso moderno ed evitare probabili effetti negativi.
Cordiali Saluti
Gaetano La Greca
Dip. Scienze Chirurgiche Trapianti D'Organo e Tecnologie Avanzate
glagreca@unict.it
--------------------------
Da: "A.Ancarani" <aancaran@dica.unict.it>
Oggetto: Sistema di valutazione PRA
Caro Rettore, Cari Colleghi,
riporto di seguito alcune osservazioni sulla valutazione delle pubblicazioni scientifiche:
- I parametri ISI tengono conto anche di alcuni elementi che non fanno riferimento alla qualità ma alla diffusione, al numero di articoli che vengono inviati, alla corretta organizzazione editoriale (numeri sempre in stock e pronti in certi periodi dell'anno); questo consente a giornali di associazioni con molti soci di pubblicare per esempio articoli presentati al convegno e solo appena rivisitati; non si può dare un giudizio sempre di eccellenza;
- Come sottolineato da alcuni esistono una quantità di riviste in ogni settore che hanno un fattore ISI inferiore a 0,4/0,6 (sorta di soglia psicologica che distingue una rivista tendenzialmente buona da una a volte pessima); se passasse l'ISI come unico punto di riferimento sarebbe incentivata la pubblicazione su tali riviste (e non mi sembra un fattore di qualità);
- Una rivista che ha richiesto l'ISI deve aspettare 3 anni per averlo anche se l'accettazione avviene dopo il 1° anno (a partire dal quale può fregiarsi della scritta accettato per l'ISI); in alcuni settori con riviste "giovani" c'è una presenza di riviste ISI ridotto solo per questo motivo;
- A mio parere quindi non possiamo dare all'IF un valore assoluto perchè ciò vale solo per un ristretto numero di riviste;
- In tutti i settori esistono riviste che, con un pessimo inglesismo possiamo chiamare ISI-like, di ottimo livello che sono censite e classificate; se vogliamo entrare in questi meccanismi di valutazione sofisticata mi sembra indispensabile quindi fare riferimento anche ad altre classificazioni (per es. nell'area 09 sono accettate ABS ed Harzing), che forniscono un'ampia gamma di indicatori su un ampio ventaglio di riviste; anche i criteri minimi per molte aree vanno in questa direzione;
- Non condivido la totale delegittimazione dei convegni; l'idea del ricercatore che si chiude nella stanza e pubblica ISI non corrisponde alla mia visione di figura professionale che abbia una caratura ed una rilevanza internazionale dovuta anche alla capacità relazionale e di interazione; ora, anche se partiamo dalla constatazione che le pubblicazioni nei convegni spesso non sono scientificamente rilevanti perché molti organizzatori accettano tutte o quasi le proposte, comunque i network internazionali si creano anche frequentando i convegni e proponendo le proprie ricerche all'audience congressuale; l'eccessiva penalizzazione dei convegni potrebbe determinare nel breve periodo, in questa congiuntura di mancanza di fondi, un risultato positivo, ma nel lungo periodo i collegamenti si perderebbero e sarebbe difficile riprenderli; tutte le istituzioni internazionali più prestigiose finanziano e favoriscono la partecipazione ai network internazionali ed ai convegni;
- Una soluzione di compromesso potrebbe essere di mantenere tali pubblicazioni nella valutazione ma di fissare un tetto al numero di articoli su convegno che entrano nel punteggio complessivo (% del punteggio complessivo??); in alcune aree anche i criteri minimi accettano i contributi su convegno di rilevanza internazionale, con referaggio etc.;
- Credo che siamo ragionevoli i coefficienti usati per diminuire il peso per ciascun ricercatore delle pubblicazioni a più nomi; non mi trova molto d'accordo invece il pesare anche il coefficiente di IF; come ho già detto l'IF dipende da molti parametri ed il confronto tra riviste diverse è difficilissimo (anche se fatto per range di valori), inoltre non sarebbe così immediato capire quale IF usare visto che questo viene rivisto annualmente e spesso ha grandissime oscillazioni (quello dell'anno di pubblicazione oppure una media per alcuni anni???);
- Un ultimo commento è relativo all'inserimento delle riviste nel catalogo con la relativa classificazione; credo che le commissioni di area dovrebbero farsi carico della validazione delle classificazioni, soprattutto per quanto riguarda la distinzione tra "4" e "5"; in diversi casi ho verificato la presenza di riviste classificate "4" che non hanno nessun tipo di diffusione internazionale, nessun comitato editoriale e nessun processo standard di revisione; se questo rispondeva all'inizio al tentativo di recuperare tutte le attività dei diversi ricercatori, oggi, in una fase di maturazione, non si può più accettare.
Spero che queste riflessioni possano essere di qualche contributo al dibattito in corso
Cordiali saluti
Alessandro Ancarani
------------------------
Da: "Prof. Dolei" <dolei@unict.it>
Data: 20 febbraio 2009 10:30:49 CET
Oggetto: Pesi scientifici
Caro Magnifico, caro collega Lombardo e cari docenti di ogni Facoltà,
ho letto che la valutazione del peso scientifico dei ricercatori del nostro ateneo ha suscitato non poche e non piccole critiche anche nelle aree scientifiche "per antonomasia".
Ringrazio questi colleghi per il loro contributo, ma non sono in grado di intervenire sulle loro obiezioni. Quanto alle aree umanistiche, e segnatamente all'area 10 di mia più stretta pertinenza, debbo condensare il mio motivato giudizio nel proverbio:"Di buone intenzioni è lastricata la via dell'inferno". L'intenzione dei creatori e applicatori dell'ormai famosa tabella prevedente 17 tipologie di ricerca era quella di sottrarre all'arbitrio delle commissioni scientifiche la valutazione dei progetti d'ateneo(PRA). E i risultati?
In circa 40 di carriera universitaria non mi è mai capitato di leggere risultati tanto ingiusti quanto quelli raggiunti con questo sistema di valutazione. Ingiusti fino al paradosso. E' stata premiata la produzione di note e noterelle, e penalizzata la produzione di alto spessore scientifico(monografie, edizioni critiche, saggi di ampio respiro). E' stata cioè premiata la quantità a scapito della qualità. Dichiaro questo non per sentito dire, ma in seguito a un attento esame dei risultati conseguiti dai sessanta docenti del Dipartimento di Filologia moderna che mi onoro di dirigere.
Che fare? In una seduta della Facoltà di Lettere avevo proposto al Magnifico Rettore la nomina/elezione di un autorevole docente dell'area umanistica, che affiancasse l'improba fatica del collega Lombardo, a cui tutti dobbiamo un ringraziamento per l'impegno con cui assolve il suo compito. In subordinata, visto che i rappresentanti dell'area umanistica in seno alla Commissione Ricerca non sembrano avere colto l'importanza del problema(vogliamo per il futuro incoraggiare la pigrizia e la produzione minore?), chiediamo una sorta di supplenza alle Commissioni scientifiche che stiamo per eleggere, e alle quali il collega Lombardo presta meritoria attenzione.
Last, but not least. Vorrei con la massima umiltà sollecitare tutti i colleghi a una riflessione fondamentale. Vogliamo dare al fattore umano la giusta importanza? Se sbaglia l'uomo, sbagliano ancora di più le macchine o i meccanismi. Per quanto sofisticati, non possono sostituirsi all'uomo. Ridiamo un po' di fiducia al suo margine di discrezionalità.
Pensiamo davvero che una commissione di 7 o 10 docenti trovino l'accordo per produrre ingiustizie tali da dovere essere riparate da una tabella più o meno perfetta tecnicamente?
Signori, l'esperienza ha detto il contrario.
Cari saluti
Giuseppe Dolei
Docente di letteratura tedesca
----------------------------------
Da: "Lucia Ciranna" <ciranna@unict.it>
Data: 20 febbraio 2009 10:39:57 CET
Oggetto: pesi scientifici
Caro Rettore,
riguardo ai criteri di valutazione delle pubblicazioni scientifiche, condivido pienamente l'intervento del Prof. Cicirata: il nostro Ateneo non può ignorare i criteri di buon senso universalmente accettati nei paesi in cui si fa ricerca di buon livello, con i quali desideriamo confrontarci avendone in pieno le capacità e la competenza (non certo i mezzi).
Proprio in questi giorni devo decidere a quale rivista inviare un articolo per la possibile pubblicazione; confesso di essere andata in crisi dopo aver letto la nostra classifica di valutazione e di aver seriamente pensato che sarebbe il caso di cominciare a scrivere dieci articoli l'anno sul Bollettino di Ateneo piuttosto che uno solo su Hippocampus. Il livello qualitativo che ho raggiunto non mi basta e vorrei migliorarlo ulteriormente, però mi chiedo se così facendo io non danneggi me stessa. Anche il futuro della mia allieva diventa incerto: se continuiamo a intestardirci sulle pubblicazioni di buon livello (che richiedono un sacco di tempo sia per il lavoro che per riuscire a farle passare dai referees) lei non potrà competere con altri candidati locali nei concorsi locali. Se ne andrà a fare ricerca altrove, portandosi via tutte le preziose competenze che ha acquisito nei nostri laboratori in tanti anni.
Condivido quindi in pieno tutto quello che ha scritto il Prof. Cicirata e spero che i criteri di valutazione vengano presto modificati.
Cordiali saluti
Lucia Ciranna
Prof. Lucia Ciranna, PhD
Dipartimento di Scienze Fisiologiche
------------------------------------