Despre evaluarea granturilor TE

Colegii din Ad-Astra (ii consider colegi deşi in acest moment nu mai sunt membru Ad-Astra) au lansat un sondaj privind recent incheiata competiţie Tinere Echipe.

Cum blogul meu e citit de mai mulţi membri Ad-Astra, cum am fost evaluator in procesul recent incheiat şi am unele probleme serioase cu rezultatul final (cel puţin la informatică, unde vor primi probabil finanţare unii candidaţi care, după mine, nu o merită, lăsând pe dinafară unii candidaţi foarte buni), am ales să le ofer pe această cale sugestiile mele pentru imbunătăţirea procesului.

Pe scurt: deşi n-a diferit substanţial de competiţiile anterioare, sistemul actual a condus la nişte rezultate problematice ininformatica. Nu il percep neapărat ca o problemă imputabilă cuiva anume. Problema vine mai curând din depersonalizarea sistemului, care imparte răspunderea prea puţin transparent.

Deşi criticabil de multe ori, un sistem precum cel folosit la alegerea lucrărilor acceptate la conferinţele de informatică mi se pare preferabil sistemului folosit la ora actuală in acordarea granturilor.

Care sunt slăbiciunile sistemului actual  folosit la granturi ?

• Amestecarea informaticii cu matematica. Dacă lucrul acesta este cât de cât scuzabil când vine vorba de informatica teoretică, realitatea e că diferenţa dinte cele două domenii este mai mare decât (probabil) o percep colegii matematicieni. Culturile sunt diferite, ca şi aprecierile privind „valoarea” . Eterogeneitatea aceasta a condus la o absolutizare a rolului evaluatorilor pe care (cum se va vedea mai jos) nu o consider de bun augur.
• Modelul de evaluare din informatică mi se pare superior.  Cum se aleg lucrările acceptate la o conferinţă in informatică ? Există un comitet de program (cunoscut public cu mult inainte) responsabil pentru acceptarea lucrărilor. Membrii lui nu sunt neapărat cei care recenzează lucrări (acestea sunt „subcontractate”, recenzorii primid credit in proceedings-urile care se publică), dar ei sunt cei care au judecata finală, de multe ori comentând/modificând scorurile recenzorilor. Miza e una intrucâtva similară alegerii granturilor: in joc este un număr limitat de sloturi in programul/volumul conferinţei. Procesul este condus (cu o mănă relativ „de fier”) de un chair al comitetului, care are in vedere obţinerea la timp de recenzii, comentarii ale membrilor de program, discuţii privind ierarhizarea lucrărilor, etc. Prin contrast, in procesul actual de alegere a granturilor rolul conducâtor este asumat (impersonal) de către UEFISCDI. Lucrul acesta crează probleme precum  pripa in alegerea/comunicarea datelpr panelurilor  (la orice conferinţă serioasă data intâlnirii PC-ului este planificată din timp), neuniformităţi in privinţa rapoartelor, a notării etc.
• Ideea de raport de consens este contraproductivă. Nu există ceva de genul ăsta in conferinţele din informatică. Se recunoaşte, cred, faptul că opiniile recenzorilor pot diferi. E treaba comitetului de program  pănă la urmă să facă judecăţi de valoare.

  Nu e o situaţie ipotetică: am fost raportor la un proiect care a primit două scoruri „foarte bune” şi unul mai puţin bun. Au existat limite privind convergenţa scorurilor (in mare evaluatorii şi-au menţinut poziţia). Dacă aş fi ştiut că imi va fi descurajată prezenţa la intâlnirea de panel (invitaţia – primită tardiv de la UEFISCDI, cu două-trei zile inainte, in condiţiile in care sunt in Timişoara – menţiona ca sunt invitaţi in special raportorii la proiectele care nu au intrunit consensul) nu aş fi mai intocmit raportul de consens. Cu atăt mai mult aş fi făcut lucrul ăsta dacă aş fi ştiut că va ieşi ierarhia care a ieşit la informatică.

Toate aceste lucruri pot fi combătute proactiv – cum se intămplă in conferinţele de informatică – de către panel, care are discută proactiv ierarhizarea lucrărilor şi conduce procesul, nu se limitează la discutarea rapoartelor recenzorilor.

Ca să rezum: favorizez un sistem in care panelul aparţine unui unic domeniu ştiinţific, este cunoscut public dinainte, este proactiv şi işi asumă răspunderea privind calitatea rezultatelor.

Altfel, răspund afirmativ intrebărilor A-H din lista 1A a Ad-Astra.