Misurare la qualità della produzione di un ricercatore è certamente difficile. Tuttavia, in ambito scientifico è ormai generalmente assunto che è meglio pubblicare molto piuttosto che poco. Non per niente è ormai in voga il detto "publish or perish" (pubblica o muori). E' inoltre ormai assodato che il numero delle citazioni ottenute (relativamente allo specifico contesto in cui si opera) può essere usato come misura della qualità.
Il conteggio delle pubblicazioni di un ricercatore può essere effettuato differenziandone il peso per tipologia di pubblicazione (rivista internazionale o nazionale, congresso internazionale o nazionale, etc.), approccio che si sta iniziando ad utilizzare nel nostro ateneo grazie al catalogo Saperi. Tale computo può essere ulteriormente integrato tenendo opportunamente conto del numero degli autori per ciascuna pubblicazione. Inoltre, per le riviste internazionali incluse nel catalogo ISI (Institute for Scientific Information), si può anche far pesare opportunamente l'impact factor delle riviste. Tale indice, associato annualmente a ciascuna rivista presente nel catalogo ISI, è valutato contando il numero delle citazioni ricevute dalla rivista nei due anni precedenti, diviso per il numero degli articoli pubblicati sempre nei due anni precedenti.
Critica immediata per le metriche descritte deriva dal non tenere realmente conto della qualità delle pubblicazioni, e tale dubbio permane anche nel caso si consideri l'impact factor, in quanto esso è correlato alla rivista e non alla specifica pubblicazione.
Per valutare la qualità dei lavori si utilizzano metriche che conteggiano le citazioni ottenute. Tali metriche non sono recenti, difatti l'indice scientifico delle pubblicazioni, denominato SCI (Science Citation Index), grazie al quale è possibile contare il numero delle citazioni per articolo, ebbe inizio nel 1961. Tuttavia, tali approcci hanno acquisito sempre maggior rilievo grazie alla crescita esponenziale delle capacità dei mezzi di calcolo. E' necessario sottolineare che, poiché l'uso delle citazioni differisce notevolmente tra i diversi settori (o perfino sottosettori) scientifici, tali indici possono essere adeguati solo per comparare ricercatori che fanno parte di un contesto scientifico omogeneo.
Tra le metriche più semplici vi sono:
- il massimo numero di citazioni ottenute in una pubblicazione;
- il totale delle citazioni ottenute dal ricercatore;
- il numero medio di citazioni per pubblicazione.
Indici più raffinati tengono conto anche della numerosità degli autori della pubblicazione.
Il limite di tali metriche nasce dal non tenere in giusta considerazione l'ampiezza (e la continuità) della produzione scientifica. Inoltre, possono essere pesantemente fuorvianti nel caso di ricercatori che hanno numerose citazioni per lavori di tipo panoramico (senza un contributo realmente innovativo)o, caso ancora più estremo, per lavori criticati e per questo frequentemente citati.
Al fine di poter evitare i limiti sopra illustrati, nel 2005 Jorge E. Hirsh ha introdotto l'indice h ("An index to qualify and individual's scientific research output" su Proc. Natl. Acad. Sci.) così definito: un ricercatore ha indice h se tra tutti i suoi lavori pubblicati, pari ad N, ve ne sono h che hanno almeno h citazioni ciascuno, mentre i restanti lavori, N-h, hanno al più h citazioni.
Consideriamo ad esempio due ricercatori aventi 10 e 7 pubblicazioni ordinate in modo decrescente per numero di citazioni, come mostrato in tabella 1; l'indice h per il ricercatore A e B risulta rispettivamente pari a 4 e a 5.
L'indice h media il numero delle pubblicazioni con il numero delle citazioni per lavoro. Inoltre, smorza nella valutazione l'impatto di un eventuale lavoro con molte citazioni (come potrebbero essere quelli di tipo panoramico).
Come mostrato nell'articolo originale di Jorge E. Hirsh, l'indice h tipicamente cresce linearmente con l'anzianità di servizio del ricercatore, e può quindi essere utilizzato nella valutazione anche includendo tale anzianità (premesso che il ricercatore abbia lavorato a tempo pieno ed in modo continuativo). A questo scopo si può usare la variazione nel tempo dell'indice h, o valutare lo stesso soltanto all'interno di un periodo di tempo predefinito (come, ad esempio, gli ultimi 10 anni).
Per quanto l'uso di tale indice si stia diffondendo velocemente in ambito scientifico, tanto che di recente l' ISI lo ha incluso tra i parametri significativi all'interno del rapporto delle citazioni che il WoS fornisce per autore, si ritiene opportuno rimarcare che esso non è adeguato per confrontare ricercatori di aree differenti (nell'area fisica, ad esempio, un ricercatore moderatamente produttivo ha un indice h pari circa al numero di anni di attività, mentre per l'ambito biomedico il valore è generalmente molto più alto). Inoltre, l'indice h non si presta al confronto di ricercatori con periodi di servizio limitato o con poche pubblicazioni (casi limite, ma significativi, sono i valori h di due grandi scienziati: Evarist Galois e Albert Einstein, pari rispettivamente a 2 ed a 5). Ovviamente, avere presenti i limiti di tale metrica non vuol dire negarne la funzionalità.
L'indice h, valutato solo sulle riviste catalogate dall'ISI (e che quindi non tiene conto di libri, capitoli di libri e atti di congresso), può essere ottenuto dal WoS dell'ISI, il cui accesso in ateneo è consentito dal Centro biblioteche e documentazione (all'indirizzo http://www.sida.unict.it/) all'interno delle "banche dati".