Avaluar quantitativament… on queden els matisos?
El sistema d’avaluació és probablement el principal repte quan parlem d’eines de mesura d’impacte, ja que és on s’ha de plasmar el criteri polític de l’ESS i fer-lo operatiu en un sistema que combini la capacitat tècnica de recollir dades coherents i fiables, amb un marc de comparació significatiu.
Des de la comissió de Balanç Social hem fet un esforç per millorar el procés d’avaluació, definint unes notes de tall o rangs per establir què entra i què no entra a la definició d’ESS.
Aquesta avaluació s’ha fet comparant els resultats de 35 indicadors del balanç social bàsic amb diferents trams establerts a partir dels resultats mitjans agregats de la campanya anterior –molts d’ells també diferenciats en funció de la forma jurídica-. Per tant, els resultats de cada organització s’han comparat amb els valors mitjans de l’any anterior pel seu mateix grup de referència.
La raó per la qual s’ha optat per iniciar l’anàlisi a partir de les mitjanes agregades és la convicció de que convé partir d’alguna cosa vinculada a la realitat de les organitzacions. Això no significa que totes les mitjanes agregades siguin valors de referència vàlids, perquè la seva anàlisi pot mostrar tant indicadors que no funcionen com a elements de discriminació, com mitjanes que no són prou ambicioses o que no reflecteixen l’essència i l’esperit polític de l’ESS.
Les experiències existents en matèria d’avaluació d’organitzacions en els àmbits ambiental, social i de bon govern mostren que cap sistema no és perfecte. Per aquesta raó, hem estat molt conscients del significat de l’avaluació i de la seva implicació. Així doncs, malgrat que el punt de partida de l’avaluació és la comparació numèrica d’indicadors quantitatius, no l’hem limitat només a això: la comissió de Balanç Social preveu la generació d’espai deliberatius quan percebem l’anàlisi quantitativament com a insuficient.
El sistema de pesos i ponderacions
Com dèiem, la base de l’avaluació és quantitativa, combinant dos sistemes de ponderacions: el pes de cada indicador respecte el total, i el pes dels blocs dins del total. Quant als indicadors, cada un té una ponderació determinada respecte el total, amb la limitació de que un indicador no pot pesar més del 4% respecte el total. El pes de cada indicador està subjecte i condicionat pel pes de cada bloc, ja que hem intentat que no estiguessin massa desequilibrats. A la taula 1 es pot veure el pes que té cada bloc, i el nombre d’indicadors continguts a cada un.
Cal dir també que no tots els indicadors apliquen a totes les organitzacions. Per exemple, si l’organització no té persones treballadores, els indicadors relacionats amb persones treballadors s’anul·len i per tant el resultat final segueix sent sobre 10 però únicament sobre els indicadors que computen. Si el resultat final està per sobre de 4 sobre 10, considerem que l’entitat ha superat l’avaluació. A continuació mostrem el detall d’una taula d’avaluació de resultats, on apareixen tots els indicadors, el seu grau d’acompliment i la seva contribució a la puntuació final.