Un articolo dell’Economist rivela lo scandalo delle ricerche accademiche "fake" cinesi. Alla radice, il modello quantitativo, ormai riconosciuto internazionalmente, applicato a ciò che deve essere qualitativo per definizione. E si scopre che quello più affermato è proprio cinese. È stato l’Economist a fare scoppiare il bubbone: la malavita cinese ha messo in piedi un sistema industriale di falsificazione delle ricerche accademiche, che venivano rivendute a ricercatori ansiosi di fare carriera all’interno delle università del Celeste Impero. La polizia di Pechino – si racconta – ha sgominato a inizio settembre una gang che, sorpresa sul fatto, ha lanciato dalla finestra il ricavato dell’attività illecita: una caterva di biglietti da cento yuan, per un equivalente di circa 50mila dollari, giù dal quindicesimo piano. Nel 2009, l’università di Wuhan già stimava che “l’industria del plagio” avesse un giro d’affari da 150 milioni di dollari. Oggi chissà.
L’articolo prosegue dicendo che fenomeni simili si verificano ovunque – sia in Occidente sia oltre Muraglia sono circa un terzo del totale i ricercatori che scopiazzano o falsificano – ma in Cina il sistema si presta particolarmente al boom della ricerca fake, dato che la presenza del Dragone nelle riviste scientifiche internazionali è cresciuta esponenzialmente negli ultimi anni: dal 2002 al 2012, sono stati pubblicati su riviste scientifiche internazionali oltre un milione di ricerche made in China, mentre Nature comunica che nel 2012 i paper provenienti dal Celeste Impero sono aumentati del 35 per cento rispetto al 2011.
A livello internazionale sono a volte proprio le riviste che non controllano i contenuti delle ricerche. Ha fatto scalpore ed è stata ripresa anche dalla stampa italiana l’”esca” lanciata dal giornalista di Science, John Bohannon, che ha spedito a un certo numero di pubblicazioni scientifiche (questa volta online) uno studio palesemente falso e inesatto sulle proprietà curative di muschi e licheni rispetto al cancro. Ben 157 riviste online su 304 hanno accettato di pubblicare la bufala scientifica.
Insomma, si taroccano le ricerche ovunque, si controlla male, ma Cina (e India, secondo l’Economist) lo fanno un po’ di più.
Il punto è che ormai, a livello quasi universale, è proprio la pubblicazione sulla rivista scientifica a far fare carriera nelle università e a stabilire i criteri di assegnazione dei fondi agli stessi istituti.
Più pubblichi, più vieni citato, e più salirai in alto, dando benefici anche alla tua università che intercetterà più fondi.
Alla radice del fenomeno, un modello quantitativo di derivazione anglosassone: la bibliometria.
Ne parliamo con Daniele Checchi, economista dell’università di Milano, che si occupa di formazione e che da almeno vent’anni si scervella su come identificare il merito nella scuola.
«Mi divertiva l’articolo dell’Economist sulla Cina, perché per la prima volta mi trovo di fronte a una vera e propria “organizzazione criminale” che falsifica industrialmente ricerche per conto terzi, ai fini della promozione interna. Tuttavia c’era anche un aspetto ormai diffusissimo ovunque: quando tu pubblichi una ricerca su una rivista scientifica, ti impegni implicitamente a non pubblicarla altrove; invece ormai succede che molti pubblichino di qua e di là. Da una ricerca, se ne fanno cinque.»
Tuttavia lui, che era inizialmente scettico, difende oggi il metodo bibliometrico e comincia con lo spiegare come funziona.
«La cosa buffa della bibliometria è che nasce come scienza bibliotecaria, perché serviva un metodo per stimare quanti scaffali servissero per inserire, nel corso del tempo, gli articoli dei ricercatori. Così facendo, si sono create delle banche dati con gli autori che pubblicano su una rivista, il titolo degli articoli, ma anche la bibliografia dell’articolo stesso. A questo punto, con queste informazioni, puoi per esempio contare quante volte una persona è stata citata dagli altri. Se tu interpreti la notorietà come un indicatore di qualità rispetto a quello che è stato scritto, allora puoi costruire una graduatoria d’importanza dei lavori in base a quante volte sono stati citati. A quel punto puoi costruire “l’indice h” delle persone, che in pratica calcola la prolificità di un ricercatore (cioè la sue efficienza), mettendo in relazione il numero di pubblicazioni ricevute con il numero di citazioni (la produttività con la notorietà).»
Per capire meglio, «io ho indice 30 – continua Checchi – il che significa che ho almeno 30 pubblicazioni che hanno ricevuto più di 30 citazioni. Un mio collega molto bravo ha indice 70, cioè almeno 70 lavori con 70 citazioni. Più della metà degli economisti italiani ha “h” zero, il che può voler dire o che non hanno scritto o che hanno scritto cose che nessuno ha citato.»
Ed il problema sta tutto qui: «Bisogna considerare che una recente ricerca ha dimostrato che circa il dodici per cento dei nostri ricercatori non è riuscito a produrre nulla negli ultimi sei anni. Cosa vai a insegnare, se non produci?»
La mente corre ad Alfred Lotka, lo scienziato ungherese naturalizzato statunitense che per primo, negli anni Trenta, cercò di applicare il metodo quantitativo a ciò che è qualitativo per definizione: la ricerca. «Lui non aveva le banche dati – prosegue l’economista – per cui si limitava a contare le pubblicazioni. Però era giunto alla conclusione che oltre la metà dei ricercatori universitari è improduttiva. Era un biologo matematico, cioè un tipo con il chiodo fisso di estendere il metodo quantitativo della matematica e della fisica anche alla biologia. Per esempio, cercò di spiegare matematicamente le dinamiche dei pesci nell’Adriatico.»
Ma la valutazione bibliometrica è integrabile con criteri più qualitativi?
«Gli inglesi, che hanno la tradizione di più lunga data, dieci anni fa sono andati sparati sulla bibliometria. Adesso la usano per fare il primo screening e poi mandano degli ispettori esterni che vanno nei dipartimenti, intervistano i ricercatori sul loro lavoro, e danno una valutazione di tipo qualitativo.»
A questo punto, torniamo in Cina. E sì, perché si finisce con lo scoprire che il metodo bibliometrico di valutazione più diffuso al mondo è proprio made in China: L’Academic Ranking of World Universities (ARWU), promosso dall’Istituto di Educazione Superiore dell’università Jiao Tong di Shanghai, che fa una classifica delle prime 500 università del mondo valutando la qualità degli ex studenti (numero di alunni vincitori del premio Nobel o delle medaglie Fields); la qualità del corpo docente (numero di accademici vincitori del premio Nobel o di medaglie Fields); i ricercatori più citati in 21 campi disciplinari; la qualità della produzione scientifica: il numero di articoli pubblicati sulle riviste Nature e Science; il numero di articoli indicizzati in Science Citation Index-expanded e Social Science Citation Index; la performance rispetto alle dimensioni dell’ateneo (cioè il punteggio dei cinque indicatori sopra riportati diviso per il numero del personale).
Insomma, al boom di pubblicazioni cinesi è corrisposto il boom del loro modello di valutazione, in una corsa per produrre qualità “misurabile” che, come abbiamo visto, crea anche fenomeni malavitosi collaterali.
Ma c’è un altro aspetto: «L’obiezione principale ai metodi di valutazione bibliometrici, basati sul numero di citazioni, è che di fatto favoriscano la ricerca mainstream – spiega Checchi – perché non viene quasi mai citato l’eterodosso che fa ricerca su temi di frontiera, bensì chi sta dentro il dibattito e pubblica sulle riviste più visibili internazionalmente.»
Un metodo, insomma, che incentiva la conformità invece che la difformità. E se si vanno a vedere i singoli parametri utilizzati dall’Academic Ranking di Shanghai, non si sfugge a questa impressione. Sarebbe facile concludere che la Cina, ancora una volta, cerca qualità senza voler correre rischi di “destabilizzazione”.
«Riconosco che l’obiezione sia ragionevole – ammette l’economista – tuttavia il punto è distinguere tra “valutazione” delle ricerche e “selezione” delle persone. Cioè, se fanno carriera solo quelli che hanno un alto “indice h”, allora sì che rischi di riempire l’università con quelli che non si discostano dalla ricerca mainstream. La valutazione dovrebbe invece servire a mettere il sale sulla coda delle persone, a decidere la retribuzione, ad assegnare fondi di ricerca e a distribuire il carico didattico: se tu sei uno che non scrive niente, almeno insegna più ore di me, questo è il principio. Magari c’è qualcuno che invece non pubblica niente ma è bravo a insegnare. Insomma, si può essere bravi a fare ricerca e bravi a insegnare (meglio entrambi), ma l’importante è che la selezione bibliometrica non vada a toccare quello dei concorsi.»
In Cina non sembra andare così. L’introduzione del conteggio delle pubblicazioni come criterio selettivo, negli anni Ottanta, sembrava un buon modo per sbarazzarsi dei criteri politici nella valutazione dei ricercatori. Ma oggi, sono utilizzati indiscriminatamente per giudicare su dottorati, promozioni, assegni di ricerca e bonus salariali, spiega l’Economist. Alcuni professori ambiziosi accumulano pubblicazioni allo stesso ritmo con cui i loro alter-ego politici accumulano cariche nella nomenklatura. No, in effetti non conviene uscire dal mainstream.
[Articolo scritto per Linkiesta.it]