Per una analisi critica della valutazione

Il tema

L’impianto generale della riflessione proposta parte da una constatazione paradossale: negli ultimi anni al tema della valutazione è dedicata come non mai l’attenzione di studiosi e politici, ma la capacità dei lavori di valutazione di orientare tanto i cambiamenti delle politiche, quanto le strategie delle organizzazioni, appare minimo. Si valuta, ma non si ottengono risultati circa il “cosa funziona” e il “cosa non funziona” tali da contribuire ad indirizzarci per il meglio. E, si argomenta, generalmente non si tratta di “sordità” del decisore rispetto contenuti pur pregnanti delle valutazioni: è proprio la valutazione ad essere povera di contenuti.

Il secondo passaggio consiste nell’indicare il motivo per cui ciò avviene, che non va ricercato in insufficienze di metodi e metriche, ma nella funzione attribuita alla valutazione e nella sua collocazione entro schemi di pensiero inadeguati. In sostanza, si argomenta, si tratta di una valutazione pensata come parte di un processo persuasivo, promozionale, auto affermativo di specifiche organizzazioni che, per finalità di comunicazione pubblica o aderendo ad una richiesta di un finanziatore, avviano iniziative di valutazione con il più o meno esplicito intento di confermare e mostrare agli stakeholder la bontà del proprio operato. E ovviamente tale impianto è intrinsecamente conservativo, giustifica e magnifica l’esistente più che orientarsi al nuovo.

Il terzo passaggio riguarda le conseguenze di tale impostazione, che non si limitano solo alla povertà dei risultati ottenuti in termini di conoscenza e cambiamento, ma rischiano di influire in modo inconsapevole sulle mission organizzative, facendole evolvere in direzioni assai discutibili.

Le argomentazioni introdotte nei tre punti precedenti, e questo è il quarto passaggio, non portano certo ad argomentare l’inutilità o la non auspicabilità della valutazione, quanto a sostenere l’opportunità di collocarla entro un sistema di pensiero diverso, teso al cambiamento e al miglioramento anziché alla comunicazione pubblica; e rilancia la necessità di iniziative di valutazione di ampia portata sulle politiche, di cui si continua a sentire la mancanza.

In sede conclusiva, si cercherà infine di sintetizzare priorità e indicazioni operative emerse dall’analisi sino a quel punto condotta.

La domanda: perché la valutazione è irrilevante?

La tesi qui sostenuta può essere, in prima approssimazione, così riassunta: la pur significativa produzione sul tema della valutazione e segnatamente della “valutazione d’impatto” che ci ha accompagnato in questi anni rischia di rivelarsi sterile; se ciò avviene, non è a causa dell’inadeguatezza delle metriche o per altri motivi riguardanti le tecniche di valutazione, ma per il fatto di concentrarsi su aspetti operativi, non riflettendo adeguatamente sui presupposti, sulle finalità e sulle implicazioni dell’azione di valutazione.

Non è un caso che i lavori di review sul tema della valutazione di impatto – ne sono esempi il lavoro di Zamagni, Venturi e Rago pubblicato su Impresa Sociale (Zamagni et. al, 2015) – si trovino di fronte ad una (crescente e talvolta disordinata) molteplicità di metodi e metriche, ma generalmente a pochi lavori che discutano in modo approfondito le finalità e gli oggetti della valutazione: in altre parole, ci si interroga senza sosta sul “come” valutare, su indicatori da includere o escludere, su tecniche di ponderazione dei diversi fattori, sui procedimenti e solo in modo rituale e approssimativo sul “perché” e sul “cosa” valutare. Anzi, generalmente la questione del “perché valutare”, qui ritenuta fondamentale, è data per autoevidente, al limite brevemente liquidata nelle righe iniziali con argomenti di dubbia consistenza – lo chiede la legge, lo chiede l’Europa, lo chiedono i soggetti della finanza di impatto come condizione per finanziare gli interventi – ed è inserita in modelli di pensiero discutibili. L’esito è un certo barocchismo delle pratiche di valutazione e una scarsa pregnanza dei risultati nell’orientare tanto le politiche quanto l’azione delle singole organizzazioni.

In sostanza, se ci chiedessimo quali nuovi e diversi orientamenti e quali consapevolezze siano stati maturati grazie ad azioni di valutazione e siano entrati a far parte del patrimonio consolidato delle politiche di welfare, saremmo seriamente in difficoltà ad individuarne alcuno. Centinaia di metriche, migliaia di valutazioni, alla fine non riescono a farci fare passi avanti nel dirci come meglio operare in ambito sociale; a dirci che è opportuno intervenire in un certo modo e non in un altro; che le risorse vanno investite in una certa direzione e non in un’altra. Perché? Perché quando si scrive delle politiche di domani, difficilmente una parte significativa delle argomentazioni si fondano sulle valutazioni di oggi? Sono gli stakeholder che non sanno ascoltare, non leggono evidenze che pur sono scritte, preferiscono reiterare posizioni ideologiche preconcette anziché rifarsi agli esiti della scienza? O, al contrario, in realtà la gran parte dei risultati delle iniziative di valutazione sono di fatto poco consistenti, carta da giornale che oggi (il giorno del convegno di presentazione della valutazione) leggi e domani è buona per incartare ortaggi? E lo stesso si può dire a livello di singole organizzazioni, anche se in questo secondo caso è più difficile avere un quadro complessivo: non pare, comunque, che siano frequenti i casi in cui, alla luce di un’iniziativa di valutazione, si sceglie di mutare strategia, di seguire una strada anziché un’altra.

È sempre così?

In premessa, è forse opportuno ricordare che il tema della valutazione, lungi dall’essere stato introdotto in questa recente stagione dell’enfasi sulla valutazione di impatto, è tradizionalmente presente da decenni nel lavoro sociale (De Ambrogio, 2019; Stame in questo numero di Impresa Sociale); e che vi sono casi, anche in ambito sociale e non recenti, in cui iniziative di valutazione hanno contribuito in modo significativo al dibattito pubblico. Facciamo due esempi, entrambi risalenti agli anni Novanta.

Il primo riguarda il tema dell’inserimento lavorativo. A partire appunto dagli anni Novanta sono state realizzate successive ricerche (vari studi di Marocchi e Chiaf, per citare due nomi) che con i linguaggi di oggi ricondurremmo senz’altro alla valutazione di impatto, sviluppatesi su due filoni: il primo che ha indagato i costi e benefici, dal punto di vista della spesa pubblica, dell’inserimento lavorativo, giungendo a dimostrare la convenienza economica di tale pratica; il secondo che ha esaminato gli aspetti di efficacia, in particolare relativamente all’universo carcerario, evidenziando la diminuzione di recidive connessa all’inserimento lavorativo. Non tutti gli amministratori pubblici o gli imprenditori sociali le hanno lette, ma si può affermare che a livello culturale questi contenuti sono entrati a far parte del patrimonio condiviso di chi si occupa di questi temi. Generalmente se si interpella un operatore di questo settore con un qualche vivacità culturale, ha presente i contenuti che vi vengono affermati in tali indagini e sa che sono frutto non di mere supposizioni ma di analisi accurate e che quindi a tali affermazioni va dato credito nel momento in cui si programmano le future politiche^[1].

Il secondo riguarda l’ambito delle dipendenze e in specifico il confronto, tra proibizionismo (si combattono le droghe proibendone non solo l’acquisto ma anche il consumo), approcci orientati al recupero attraverso specifici programmi terapeutici (es. Comunità) e approcci ispirati alla “riduzione del danno”. Ebbene, soprattutto i fautori di questo ultimo approccio hanno spesso argomentato la bontà dei propri orientamenti rifacendosi a evidenze scientifiche, spesso indagini valutative delle diverse strategie di intervento condotte con i metodi controfattuali auspicati in questo numero di Impresa Sociale da Gian Paolo Barbetta.

Anche in anni più recenti vi sono studi valutativi che, forse per pubblici più ristretti, intervengono su temi di un certo rilievo, si pensi ad esempio al lavoro di review di Liliana Leone sull’utilizzo di meccanismi di condizionalità nelle misure di contrasto alla povertà o alle iniziative promosse e autofinanziate dall’Alleanza contro la povertà sull’introduzione del SIA e poi del REI.

Senza entrare nel merito dei temi trattati, si sono evocati questi esempi per dire che non sarebbe vero affermare in termini assoluti che il mondo sociale sia di per sé refrattario alla valutazione: gli esempi sopra richiamati riguardano temi che sono al contrario entrati in modo significativo nel dibattito di settore.

Si sta dicendo altro: che è proprio l’attuale generazione di studi valutativi ispirati alla logica dell’impatto – che ha saputo richiamare l’attenzione pubblica sul tema della valutazione in termini sconosciuti nei decenni scorsi, sino ad inserire la valutazione di impatto nei testi normativi connessi alla riforma del Terzo settore – che generalmente passano in poche settimane dalle mani del consulente a quelli dell’impresa sociale committente e quindi al dimenticatoio senza lasciare traccia.

Di nuovo, ci si chiede: perché ciò avviene?

La questione: dove si colloca la valutazione

Dai ragionamenti e dagli esempi sino ad ora proposti siamo in grado di mettere a fuoco il problema. La qui asserita contraddizione tra l’inedita enfasi per la valutazione di questi anni e l’irrilevanza delle valutazioni che tale enfasi ha prodotto non nasce dal fatto che tecniche e metriche siano insoddisfacenti, ma dalla finalità attribuita alla valutazione e dalla natura dei quesiti valutativi.

Si provi a ricostruire una narrazione della valutazione di impatto che, nella sua forma idealtipica – e, ci si rende conto, un po’ estremizzata, ma utile a comprendere i temi di cui si tratta – si sviluppa su un impianto concettuale così riassumibile:

1. Tradizionalmente, le risorse per il welfare sono allocate in modo inefficiente e conservativo, per incompetenza, indifferenza allo spreco tipica della pubblica amministrazione o peggio ad esito di relazioni clientelari tra soggetto pubblico e i soggetti privati destinatari dei finanziamenti.
2. Tale inefficienza non emerge perché gli interventi non sono mai stati sottoposti a valutazione.
3. Oggi però vi sono nuovi soggetti, in specifico nel mondo della finanza di impatto, scevri dalla faciloneria e dall’approssimazione dell’Ente pubblico, sempre più propensi ad orientare le proprie risorse su enti in grado di documentare un effettivo impatto sociale positivo (e non ad altri); ciò avviene sotto varie forme, da quelle più estreme (nel nostro Paese quasi solo teorizzate) di social impact bonds e di schemi di payment by results, a forme di finanziamento a condizioni favorevoli (in termini di interessi richiesti, “pazienza” dell’investitore, ecc.), a contributi dei soggetti filantropici, tutte rivolte però solo a soggetti maggiormente in grado di produrre e documentare un impatto positivo e non ad altri.
4. Per trascinamento, ora finalmente anche i finanziatori pubblici cercano una maggiore efficienza e innovatività degli interventi, richiedendo la valutazione di impatto ai soggetti finanziati.
5. E dunque gli Enti di Terzo settore dinamici e innovativi devono misurarsi con le sfide di questa nuova situazione e investire nella valutazione di impatto in modo da risultare più appetibili di altri per i propri finanziatori.

Si tralasci che, come si è evidenziato prima, la narrazione circa l’inesistenza della valutazione in ambito sociale sia sostanzialmente ideologica e in qualche modo creata ad arte per produrre un alone messianico intorno alla valutazione di impatto; l’elemento che si intende sottolineare è che nello schema sopra richiamato il momento della valutazione si colloca nell’ambito degli sforzi che un ente di Terzo settore fa per dimostrare ad un soggetto terzo finanziatore le buone ragioni per essere destinatario di risorse. E questo discorso – basta leggere i claim dei fautori della valutazione di impatto – viene, implicitamente o esplicitamente collocato entro un agone competitivo o comunque di autoaffermazione, con l’intento quindi di far risaltare come il proprio operato sia il migliore possibile (e quindi migliore di quello altrui).

Non si esclude che in taluni specifici casi ciò possa portare ad esiti utili: si immagini ad esempio un intervento effettivamente innovativo, che agisce rispetto a fenomeni sui quali non vi è diffusa consapevolezza e rispetto al quale una iniziativa di valutazione contribuisce a documentare gli esiti sociali positivi. L’unico problema è che, in un panorama in cui generalmente tutti si autoaffermano, è difficile capire chi lo fa a buon titolo, avendo effettivamente contenuti rivoluzionari da portare all’attenzione pubblica.

Ma in generale il risultato è sotto gli occhi di tutti: siamo inondati di report che evidenziano come diverse azioni sociali siano miracolosamente in grado di produrre esiti sociali positivi, spesso con SROI degni di uno schema Ponzi; ma che generalmente non contribuiscono a consolidare elementi utili a comprendere cosa fare né a livello di politiche, né verso quali orizzonti far evolvere le organizzazioni valutate, da parte loro paghe di aver visto legittimato il proprio operato grazie alla valutazione positiva. Insomma, non sappiamo se tali prodotti risultino effettivamente utili alla “finanza di impatto” (anche per la non marginale circostanza che tale soggetto appare sostanzialmente inesistente), ma è chiaro che siano poco pregnanti per chi si interroga su come orientare, migliorare e innovare gli interventi sociali o anche solo per delineare le strategie di lungo termine di un’organizzazione.

Non che i tanti studiosi che faticosamente rincorrono le sempre più numerose pubblicazioni sul tema della valutazione facciano male: ci sarà sempre un algoritmo, un procedimento, una metrica in più che nel mondo qualcuno sperimenterà ed è utile darne conto; ma se la domanda valutativa è viziata all’origine, non vi è metodologia, per quanto raffinata che tenga.

Se poi ci spostiamo dall’ottica dell’ente di Terzo settore al soggetto – una pubblica amministrazione o anche un soggetto filantropico, non dotato della stessa lungimiranza di quelli che hanno scritto in questo numero di Impresa Sociale – in capo al quale si collocano le scelte allocative delle risorse e delle politiche da perseguire, emerge uno speculare orientamento coerente con la narrazione sopra esposta. La “valutazione d’impatto” si sostanzia nella maggior parte dei casi nell’esercitare un’azione di controllo circa quanto realizzato dai diversi soggetti destinatari di un grant o di un corrispettivo. Ben lungi dal chiedersi se una certa politica di intervento sia adeguata o meno o in che cosa vada riformata o sviluppata, questo finanziatore sembra chiedersi se il soggetto di Terzo settore – considerato una sorta di postulante – abbia fatto un buon uso delle risorse generosamente accordate. E visto che il finanziatore vuole rimarcare la propria serietà e responsabilità, non si accontenta di incaricare un proprio esperto di svolgere una valutazione professionale, ma chiede al finanziato di destinare una quota di budget per incaricare un consulente di realizzare appunto una “valutazione di impatto”.

Generalmente vi è il lieto fine: vissero felici e contenti l’ente di Terzo settore che dimostra l’utilità del proprio lavoro e il finanziatore che si è confermato nell’idea di spendere al meglio le risorse grazie alla capacità tenere salde con la valutazione le briglie dei finanziati (e visse felice e contento anche il consulente che ha realizzato la valutazione di impatto, chiamandola proprio così anche se magari – per evidenziare solo un particolare – è stata ultimata un mese prima della fine del progetto, anche perché andava consegnata entro la sua scadenza per motivi di rendicontazione).

Circa l’utilità di tale pratica a fini di verifica e controllo (o meglio: quanto esso superi non solo in costi, ma anche nell’accuratezza e nei risultati quello tipico di una valutazione professionale di un esperto) non ci si esprime, ma è abbastanza certo che il report finale in un processo così configurato non passi alla storia per il contributo allo sviluppo di nuove e più appropriate strategie di intervento.

Cosa ne consegue: derive inconsapevoli e discutibili

Accanto alla dubbia utilità dell’operazione, è forse utile spendere qualche parola circa alcune implicazioni che questa collocazione della valutazione porta con sé. Si tratta di temi più ampiamente sviluppati altrove (Marocchi, 2018; 2019), qui brevemente richiamati in relazione alle implicazioni spesso inconsapevoli che una concezione della valutazione così “prestazionale” porta con sé. Perché nella misura in cui la valutazione va a caccia di elementi per poter argomentare la bontà dell’azione svolta, è probabile che l’ente di Terzo settore tenda a considerare tali elementi come l’effettivo obiettivo da perseguire; e se tali elementi sono scentrati rispetto alla mission, ne costituiscono proxy grezze con il solo merito di essere più facilmente riscontrabili e misurabili, e ne deriva una deviazione dell’azione stessa dalle sue finalità originarie.

Gli approcci valutativi in questione tendono a ricercare la binarietà (lavora / non lavora – si droga / è astinente – delinque / non delinque) negli esiti di periodo medio breve per misurare la bontà dell’intervento sociale, quando invece il lavoro sociale è fatto di sfumature, di strumenti offerti e poi utilizzati nei modi e nei tempi più impensati e spesso non prossimi all’intervento (Tabacchi, 2018). Questo modo di valutare è alla ricerca di esiti misurabili (l’esito di un corso per parrucchieri è più misurabile di un corso sulla Costituzione), rendendo implicitamente la praticabilità o meno di una metrica il criterio di valutazione dell’intervento: si rischia di valutare cioè un intervento in relazione al fatto che si possieda un metro adeguato e sufficientemente economico. L’ambiguità, richiamata anche nell’articolo di Stame, tra misurazione e valutazione, con la tendenza ad appiattire la seconda sulla prima, premia gli interventi su destinatari per cui è più facile avere risultati “positivi”, per i quali vi è una prospettiva di “cambiamento” (non sempre, negli interventi sociali, questo avviene, ad esempio gli anziani si ostinano a declinare) e gli interventi per i quali vi è un’attenzione sociale già consolidata, per cui è quindi possibile affermare che facendo un certo intervento, si è potuto evitare una certa spesa (ma se di un certo bisogno non ci si occupa, la spesa evitata è assente...). Manca, insomma, un livello ulteriore in cui la misurazione è consegnata ad una successiva e distinta valutazione politica. Tutti questi bias non portano solo a “sbagliare” la valutazione, ma ad orientare lo stesso lavoro sociale verso approdi discutibili senza che nemmeno se ne abbia consapevolezza. L’abitudine di sempre più scuole, ormai constatabile da ciascun genitore, di snocciolare agli open day dati che documentano esiti Invalsi superiori alle altre scuole (appunto, un indicatore di performance per valutare la bontà dell’insegnamento impartito) fanno parte di questa deriva culturale, sino ai casi limite degli istituti che si vantano di non avere stranieri, disabili o ragazzi di classi sociali inferiori^[2], insomma soggetti che portano a far declinare l’indicatore di valutazione comunemente utilizzato.

Ma l’aspetto forse più singolare che questo approccio alla valutazione porta con sé è la convivenza di un paradigma dell’intervento sociale fortemente orientato al lavoro di rete (e quindi alla convinzione che la bontà dell’intervento si costruisca grazie all’interazione tra più agenzie e tra più interventi) e la ricerca di metodi di valutazione che – per valorizzare l’operato di una specifica organizzazione o di uno specifico intervento in un contesto competitivo – cercano di isolare un effetto specifico (“l’effetto netto”), in sostanza il “merito” dell’organizzazione in questione, concettualmente inteso come separato dalla rete in cui è inserita. Insomma, si opera con un presupposto contrario a quello che con ogni probabilità l’organizzazione stessa predicava in fase di progettazione. Ogni operatore sociale è consapevole di come un esito derivi da un sistema complesso di cui fa parte l’ente di Terzo settore che si sta facendo valutare, altri Enti di Terzo settore (magari concorrenti) che operano sullo stesso territorio e talvolta con le stesse persone, le parrocchie, la scuola, il vicinato, la famiglia, i pari. Ma un discorso del genere rischia di essere ignorato nel momento in cui si è interessati a dimostrare che quell’intervento finanziato abbia fatto la differenza.

Cosa ne consegue: le questioni di committenza

Accanto alle derive discutibili sopra richiamate, la collocazione della valutazione entro un rapporto consulenziale tra il valutato stesso e un’agenzia chiamata ad evidenziare l’impatto sociale positivo realizzato nell’ambito di un’azione di comunicazione del valutato o per richiesta del finanziatore, porta con sé altre questioni che tendono ad essere sottaciute.

La questione della committenza, in qualche misura sempre presente nel lavoro di ricerca, è qui evidente oltre ogni limite. L’ente di Terzo settore paga il un professionista perché lo valuti e chiede la valutazione (principalmente) come elemento che ne rafforzi la competitività; e, detto per inciso, spesso il professionista è un sostenitore della necessità di valutare nei termini qui indicati, sempre a proposito di potenziali conflitti di interesse. Si potrebbe obiettare che ciò non è ritenuto problematico, ad esempio in una pluralità di sistemi di certificazione di qualità dove avviene sostanzialmente la stessa cosa; per quanto ci riguarda, una volta acquisita la consapevolezza del potenziale problema, non si può che lasciare al lettore il giudizio di merito – se siano sistemi tutti ragionevoli o tutti discutibili. Fatto sta che, generalmente, le valutazioni che si leggono sono ampiamente positive, con buona pace della funzione loro attribuita di garanzia verso terzi circa la validità dell’intervento realizzato.

Ma la questione della committenza ha anche ulteriori sfumature di cui è bene essere consapevoli e che riguardano la relazione tra equipe scientifica e soggetto valutato. Per effetto di una cultura sociale diffusa e condivisa (se ne parlerà dopo), probabilmente nella gran parte dei casi il valutatore attua forme di coinvolgimento di membri e lavoratori, ma l’impianto complessivo della pratica di valutazione di impatto è comunque generalmente fondato su un rapporto con un soggetto professionale esterno che realizza la valutazione. A ciò si aggiunga che di solito le iniziative serie di valutazione (che hanno costi di decine di migliaia di euro) vengono realizzate grazie al contributo economico decisivo (e ovviamente occasionale) di soggetti esterni, che si accollano una parte significativa dei costi, tanto è vero che tali valutazioni sono reperibili in rete con indicazioni quali “realizzata con il contributo di…” (generalmente un soggetto filantropico).

Si mettano insieme questi due aspetti: valutazioni eterofinanziate ed eterorealizzate; cosa rimane all’organizzazione entro un rapporto di committenza di questo tipo? Cosa può rimanere, nelle pratiche quotidiane, dopo avere realizzato un momento pubblico di presentazione della valutazione in cui viene attestata l’eccellenza e l’utilità di un certo intervento? Cosa cambierà, cosa innoverà, quali nuove competenze ha consolidato?

Cosa ne consegue: iniziative di corto respiro

Ma le valutazioni eterofinanziate con budget consistenti sono comunque relativamente poche: ciò che invece si diffonde sono microvalutazioni, generalmente indotte da un ente che condiziona l’erogazione di un finanziamento alla realizzazione di una “valutazione di impatto”. Ovviamente le risorse sono minime, poche migliaia di euro. A ciò si aggiunga che – sempre nell’ottica “sospettosa” trattata prima – si eroga il finanziamento o il suo saldo solo dopo la consegna del rapporto di valutazione e ciò richiede che la valutazione sia temporalmente contestuale o comunque molto vicina allo svolgimento del progetto stesso. Già questo ci dice che fine fanno gli effetti di medio e lungo periodo e quelli indiretti; spesso anche gli effetti di breve sono assorbiti dall’urgenza e ci si limita ad alcuni indicatori processuali. Questa ipercontingenza e i budget che, considerati singolarmente, sono molto limitati hanno l’effetto di deprimere ogni esigenza di ragionamento di ampio respiro; insomma, in omaggio alla (falsa) convinzione che tali pratiche testimonino lo scrupolo del finanziatore, i finanziatori di fatto inducono lo spreco di risorse che potrebbero (dovrebbero) essere destinate a valutazioni di ben altra portata, utili a ridefinire l’evoluzione delle politiche e dove il soggetto di Terzo settore, più che come beneficiario sul quale ricade l’onere della prova di avere ben operato, diventa uno degli stakeholder in grado di portare elementi di conoscenza.

Per un diverso approccio alla valutazione

Se sino ad ora si è discusso, non senza una certa severità, dell’ideologia prevalente della valutazione e si è cercato di mettere in luce le conseguenze che essa porta con sé, non bisogna sottrarsi dall’indicare, almeno per sommi capi, una via per costruire al contrario pratiche di valutazione utili. Lo si farà prima con riferimento al Terzo settore, poi rispetto alle politiche e quindi ai soggetti – enti pubblici o filantropia istituzionale – che governano ed orientano i flussi di spesa per interventi sociali.

Una strada per le organizzazioni di Terzo settore

Un’iniziativa di valutazione che, come sopra richiamato, si consumi nella committenza di un’analisi ad un soggetto professionale esterno, di cui poi l’ufficio di comunicazione cura la presentazione pubblica così da enfatizzare l’impatto positivo dell’operato dell’ente, è un’operazione forse di dubbia correttezza, probabilmente utile a fini promozionali, ma non a far maturare presso l’organizzazione una diversa consapevolezza circa gli indirizzi da dare al proprio operato.

Esiti diversi, però, richiedono determinazione e orientamenti organizzativi coerenti. Si tratta, per richiamare ancora l’articolo di Nicoletta Stame, di un’innovazione che è parte integrante di un processo di learning, di innovazione degli interventi e di cambiamento organizzativo. Presuppone organizzazioni strutturalmente orientate a riflettere sul proprio operato e a ricercare nuove e migliori strade per realizzare la propria mission e che pertanto si danno strutture di governance accoglienti rispetto agli stimoli che possono giungere da stakeholder interni ed esterni; rapporti di committenza dove il consulente si dedica principalmente a potenziare le capacità riflessive dell’organizzazione e si preoccupa di inserire eventuali propri contributi valutativi entro i processi organizzativi. Presuppone la lungimiranza, da parte dei finanziatori pubblici o filantropici, di affiancare alla valutazione professionale utile a capire se un certo servizio è stato reso nel migliore dei modi, un coinvolgimento dei partner di Terzo settore nel valutare i modelli di intervento: nell’individuare le “domande strategiche” che è utile porsi, i dati che è utile raccogliere così da far evolvere politiche e strategie di intervento a partire dalle esperienze. Delineare stili valutativi diversi richiederebbe uno sviluppo a sé, ma in prima approssimazione è possibile richiamare alcuni orientamenti.

Per il Terzo settore è importante, in primo luogo, investire nell’interlocuzione con una pluralità di stakeholder interni ed esterni che aiutino l’organizzazione a dare senso ai numeri e fatti. Perché se una vera ricerca sull’impatto poco si presta ai tempi di decisione e alle risorse di una singola organizzazione, è comunque utile invece uscire dalla possibile autoreferenzialità delle letture proposte dal proprio ufficio di comunicazione o dal consiglio di amministrazione. Cosa ne pensano gli operatori, i responsabili di area, i volontari? Cosa ne pensano altri operatori di attività simili (i “pari”)? Cosa ne pensano degli esperti di settore? Cosa ne pensano i referenti istituzionali (es. il Comune o l’azienda sanitaria)? E cosa ne pensano i diretti interessati dell’intervento: i destinatari, se in grado di esprimersi, o le loro famiglie, o associazioni che ne tutelano i diritti?

Raccogliere questi riscontri può certamente richiedere momenti specifici dedicati, talvolta necessita di un supportato da parte di un tecnico esterno; ma è in primo luogo un modo “normale” di agire in un’organizzazione. Significa, se si gestisce un servizio per l’infanzia, parlare spesso con i genitori, fare riunioni di equipe in cui ci si interroga non solo sui turni, ma anche su cosa si pensa del servizio, frequentare luoghi di pensiero come convegni e seminari in cui confrontare le proprie pratiche con quelle altrui e con le valutazioni di esperti, assumere, per quanto possibile, assetti di governance multi stakeholder che consentano di cogliere negli organi stessi sensibilità diverse, ecc. La valutazione diventa una pratica strutturata, eventualmente assistita da un consulente esterno, condotta con metodologie specifiche, ma che si colloca in continuità con ciò che una “organizzazione riflessiva” (Stame, 2016), abituata a ripensare i propri interventi sulla base di dati e valutazioni, normalmente già fa.

Ma il momento dell’utilizzo della valutazione è altrettanto importante, nello stile valutativo che si propone, di quello della realizzazione della valutazione: una volta acquisite le letture degli stakeholder entro una pratica di valutazione strutturata, una volta ricavate da ciò indicazioni circa cosa funziona e cosa no e circa gli sviluppi possibili delle proprie azioni, di tutto questo materiale che uso se ne fa? In che modo si assicura che gli stimoli ricevuti da questi stakeholder entrino a far parte delle riflessioni e dei processi organizzativi, insomma che non rimangano parole al vento, esiti di un gruppo di lavoro che rimangono per decenni a riposare in un cassetto? Questa ultima domanda non è affatto banale, non è affatto scontato che uno stimolo valutativo diventi innovazione delle pratiche; questo richiede organizzazioni intimamente vocate ad innovare, a metabolizzare stimoli e punti di vista diversi in modo aperto, per includerli in una strategia di miglioramento: organizzazioni quindi in grado di conciliare le necessarie linee di decisione gerarchiche (quelle assunte da CdA / direttivo, legale rappresentante, direttore, ecc. e in generale tutte le figure cui è attribuita una responsabilità) con una strutturazione in grado a diversi livelli (equipe, area, gruppo di lavoro) di rielaborare gli stimoli dando spazio a prospettive di cambiamento. In sostanza organizzazioni in cui, oltre che sulla presa della decisione, vi è un investimento specifico sulla formazione della decisione, cioè su quel processo complesso che porta a diffondere e legittimare un orientamento. Nello specifico: la valutazione derivante dal coinvolgimento di utenti, lavoratori, volontari, pari, esperti, ecc. su un intervento svolto diviene oggetto di discussione in un qualche contesto decisionale? Vi è una cultura organizzativa che porta a formare la decisione attraverso processi aperti e partecipati? Ciò ovviamente non deprime il momento della presa della decisione, quando l’organismo dirigente assume la responsabilità finale delle scelte, eventualmente anche a fronte di letture e stimoli diversi o addirittura contrastanti nell’organizzazione; ma risulta non di meno un tassello decisivo nel percorso che porta alla determinazione dell’organo in un senso o nell’altro.

Ci sia concesso a questo punto un breve inciso, volto a dare atto che, in un quadro poco confortante come quello delineato, esistono anche elementi che possono indurre ad un certo ottimismo. Nel corso delle argomentazioni via via proposte si sono delineati due possibili percorsi, che a prima vista sembrano divergere nei presupposti, negli scopi, nei metodi. Da una parte:

• affidamento ad un consulente esterno di una commessa di valutazione di impatto, spesso indotta dal finanziatore dell’intervento;
• produzione di un report che evidenzia l’impatto positivo dell’operato dell’organizzazione, ad esempio in termini di denaro pubblico risparmiato grazie al fatto che l’intervento valutato ha evitato la necessità di compierne altri più costosi;
• diffusione pubblica di tale elaborato da parte dell’ufficio di comunicazione, che traduce gli esiti in prodotti comunicativi (es. infografiche, lanci social, organizzazione di eventi, ecc.) con lo scopo di promuovere l’organizzazione e legittimarne pubblicamente le azioni.

Dall’altra:

• attitudine costante dell’organizzazione a interrogarsi sul proprio operato, sia registrando dati sui propri servizi, sia interloquendo con una pluralità di stakeholder ed eventuale supporto di un tecnico esterno per migliorare gli aspetti metodologici di tale azione;
• processi organizzativi che rielaborano quanto prodotto nella fase precedente, avendo come orizzonte l’introduzione di azioni che portino al miglioramento degli interventi e conseguente assunzione di decisioni.

Un paradosso: visto che l’anima “sociale” di molte organizzazioni è insopprimibile e vista l’affinità culturale con tale anima di almeno una parte dei professionisti della valutazione, non è infrequente che, anche se per motivi di marketing e di moda vengono ufficialmente venduti prodotti del primo tipo, nella realtà sono realizzati prodotti che di impatto si occupano abbastanza poco e assomigliano almeno per alcuni elementi a prodotti del secondo tipo, ad esempio prevedendo percorsi interni di riflessione che coinvolgono quantomeno gli operatori.

In sostanza dichiarare che si sta vendendo una “valutazione di impatto” è diventata una necessità commerciale, poi di fatto si realizza (fortunatamente) almeno in parte altro. Scriveva Ugo De Ambrogio (2019) “Oggi, che la valutazione di impatto diviene non soltanto una modalità di autopromozione, ma una strada obbligata da norme e bandi, il rischio che mi sembra si corra è di una mistificazione del linguaggio. Finiamo con il chiamare valutazione di impatto ciò che si faceva anche prima e che più correttamente chiamavamo semplicemente valutazione o valutazione di esito o risultato”. Ma sotto le etichette (sbagliate) si sviluppano anche pratiche valutative che contengono elementi interessanti e che, laddove concettualizzate con maggiore consapevolezza, potrebbero portare agli esiti positivi qui auspicati.

Valutare le politiche

Ma, accanto alle riflessioni centrate sugli enti di Terzo settore, ve ne è un’altra che va proposta con forza: quella di una cultura della valutazione da parte di chi, con diverse vesti – ente pubblico istituzionalmente responsabile di una determinata politica, soggetto filantropico che adotta un determinato programma di intervento – decide l’allocazione di risorse significative con l’obiettivo di perseguire finalità sociali. Se, nella gran parte dei casi, la valutazione dell’operato dei singoli enti partner può essere realizzata sotto forma di valutazione professionale – si intende: un responsabile di un settore di intervento, esperto sul tema, che organizza sistemi di raccolta delle informazioni di base, visita di persona gli interventi, interloquisce con chi li realizza e con i destinatari e su queste basi si forma un’idea sulla loro realizzazione – in altri è invece auspicabile avviare serie iniziative di valutazione delle politiche di intervento (che poco o nulla hanno a che vedere con la somma delle valutazioni delle singole azioni messe in atto dai partner attuatori). E, in specifico, la valutazione ha senso nel momento in cui sussistono ragioni teoriche per interrogarsi su una determinata scelta, sul fatto che sia la più appropriata, sulle possibili vie alternative, sugli aspetti in cui potrebbe essere migliorata, sulle sue conseguenze anche indirette e anche di medio periodo, per ricalcare le più comuni definizioni dell’impatto. Un’iniziativa specifica di valutazione è mirata, teoricamente fondata, ha alla base concettualizzazioni e domande rilevanti, non è occasionale o ordinaria; è intrapresa perché sussistono motivi per interrogarsi a fondo su una strategia o su una pratica, talvolta nuova e sperimentale, talvolta magari ripetuta da tempo, ma che, sulla base di ragionamenti specifici, si intende sottoporre a valutazione. Questa valutazione è strettamente imparentata con l’innovazione, con la programmazione – riprogrammazione di politiche e strategie.

Non bisogna avvertire sensi di colpa se un intervento (o un certo aspetto di un intervento) non è sottoposto a valutazione nei termini qui indicati. Laddove una scelta politica, organizzativa, ecc. è consolidata e non dà adito a interrogativi, è normale limitarsi alla valutazione professionale del responsabile di servizio. Quando invece iniziano a sorgere dubbi (nati da considerazioni teoriche, dall’esame di dati, ecc.) circa una certa strategia o un determinato assetto dei servizi – ad esempio, perché ne è sino a quel momento stata data per scontata l’efficacia, che ora viene messa in dubbio; perché al contrario tale intervento è oggi marginale e sperimentato solo in contesti limitati, ma si presume che possa candidarsi ad essere utilizzato anche in altre circostanze – allora è sensato investire sulla valutazione degli interventi, ponendo domande valutative in grado di contribuire ad affrontare gli interrogativi emersi.

Se il processo di valutazione nasce all’interno di queste premesse, sarà inserito in un percorso logico e organizzativo profondamente diverso da quelli esaminati nella prima parte dell’articolo. Si ritorni agli esempi iniziali: l’inserimento lavorativo, le dipendenze, la povertà, ecc. Esempi in cui le iniziative di valutazione sono state parte di una discussione che ha portato a ripensare le politiche. In nessuno di questi casi ci si è concentrati su una singola organizzazione o intervento, il committente non era né un ufficio di comunicazione di un ente interessato ad autopromuoversi, né un committente che voleva chiedere conto ai finanziati del proprio operato: si tratta di analisi indipendenti, che si pongono domande sulle politiche, ponendosi quesiti valutativi che non mirano tanto a individuare chi ha operato bene o male, ma a rispondere a domande non scontate che un precedente processo di riflessione ha individuato come strategiche.

Valutare una politica, una strategia di intervento è questione complessa, spesso le risposte restituite dalle valutazioni non sono binarie (“serve” o “non serve”), ma includono circostanze e situazioni di contesto: “serve, in quel contesto”, “serve, se associato ad un altro intervento”, “serve, in territori dove è presente una rete di supporto…”, ecc.; e in tutti i casi l’investimento necessario a porre le giuste domande e ad individuare le dimensioni su cui orientare l’indagine è esso stesso frutto di riflessioni impegnative. La formazione delle ipotesi di lavoro è, come in ogni attività di ricerca, una parte significativa dello sforzo da compiere.

Spesso si tratta di lavorare a partire da interventi realizzati, a carattere sperimentale o meno, di porsi domande in modo aperto, senza risposte precostituite da validare. Quali strategie sono più efficaci nell’inclusione delle seconde generazioni di immigrati? Lo sport, l’arte, un lavoro con le famiglie, il supporto alla scuola o, meglio, quali combinazioni di questi interventi? Quali le strategie per l’inclusione lavorativa di persone con disabilità? Affidamento di commesse a cooperative sociali? Tutoraggio nelle imprese? Formazione professionale? E così via.

Tali quesiti certamente si intrecciano con l’operato di singoli enti (la singola cooperativa sociale che inserisce persone con disabilità in una certa attività produttiva, con determinati supporti, professionalità degli operatori, ecc.), ma necessariamente le risposte devono andare ben oltre tali contingenze.

Ma in un’epoca in cui vi è un’enfasi mai vista sulla necessità di valutazione, una seria valutazione sull’impatto delle politiche spesso manca o è lasciata a quell’insopportabile chiacchiericcio di partito che porta i fautori di una certa misura a glorificarla, l’opposizione a criticarla, in entrambi i casi per partito preso. Non avrebbe senso invece – in questo caso sì! – una seria valutazione di impatto – degli effetti diretti e indiretti, a breve, medio e lungo periodo – del Jobs act o di Garanzia giovani, del reddito di cittadinanza o delle misure di contrasto della povertà educativa? Una valutazione non di parte, autorevole e indipendente, che si dia una solida base fattuale e ci indichi, anche con risposte complesse, cosa ha funzionato o meno di una certa politica, così da indirizzare scelte future. Generalmente questo manca o comunque non è una funzione ordinaria prevista nelle politiche, che al massimo si fermano a richiedere produzione di dati amministrativi (e comunque già questo è un bene) sotto forma di relazioni periodiche al Parlamento.

E di qui siamo arrivati al punto iniziale. C’è bisogno di una valutazione che porti a meno propaganda – di singoli enti o di governi – e più consapevolezza e quindi più spinta al cambiamento e all’innovazione. Il resto è marketing.

Conclusioni

I motivi (anche inconfessabili) dell’enfasi sull’impatto

Verrebbe da chiedersi, stanti queste riflessioni, i motivi per cui uno strumento così controverso abbia avuto una così ampia fortuna: la valutazione di impatto è sostenuta con veemenza da autorevoli studiosi^[3], introdotta nei bandi da soggetti filantropici, scelta come argomento di paper e tesi di laure, inserita nella Riforma del Terzo settore, salvo poi rendersi conto in sede di decretazione attuativa delle difficoltà che ciò comportava. La valutazione di impatto, in questi anni, è stata terribilmente trendy. È stata in grado di costruire intorno a questo tema una narrazione tale per cui la semplice espressione argomentata di dubbi e distinzioni come quelle accennate in questo articolo viene generalmente considerata come espressione di una difesa corporativa da parte di un Terzo settore spaventato di perdere il proprio posizionamento (sottointendendo: il proprio posizionamento frutto di privilegi conseguiti per clientelismo e collateralismo politico, che sarebbe scalzato laddove il Terzo settore fosse obbligato a render conto dei risultati effettivamente conseguiti).

Al successo di questa narrazione convergono una pluralità di elementi, alcuni degni di considerazione, altri meno. È certamente vero che una parte del Terzo settore tende a giustificare le azioni con le intenzioni (“visto che siamo animati dalla ricerca del Bene, le nostre azioni sono sicuramente efficaci”) e che la “deriva gestionale” indotta dal sentirsi esecutori di commesse pubbliche rischia di porre in secondo piano l’investimento autoriflessivo sopra auspicato: tanto gli indirizzi sono quelli che ha definito la pubblica amministrazione. Insomma, vi sono elementi che potrebbero portare parte del Terzo settore ad agire con una sorta di “pilota automatico” rispetto al quale pratiche di valutazione – si intende, di tipo riflessivo come quelle qui auspicate, non certo di stile confermativo pubblicitario – potrebbero portare a passi in avanti significativi. Ed è certamente vero che le politiche avrebbero bisogno, lo si è affermato prima, di iniziative valutative serie che supportino le grandi scelte, in questo caso considerando anche metodologie di valutazione di impatto e tese quindi ad esplorare e comparare effetti diretti ed indiretti nel breve, nel medio e nel lungo periodo.

Purtroppo, a questi motivi degni della massima considerazione, se ne sono sovrapposti altri. Come già argomentato, l’affermazione che prima, nel sociale non si valutava, poi grazie alla finanza di impatto, si è iniziato a verificare chi effettivamente produce risultati sociali e chi no è ideologica; e lo stesso tentativo di fare dell’“impatto sociale positivo” il criterio dirimente per identificare l’impresa sociale che caratterizzava le prime versioni della Riforma rappresentava una testa di ponte per svuotare da dentro il significato stesso di impresa sociale: non più come soggetto imprenditoriale di Terzo settore, ma qualsiasi soggetto che, a prescindere da vincoli stringenti sulla distribuzione degli utili, sulla partecipazione degli stakeholder o sulla mission statutaria, argomentasse di produrre esiti sociali auspicabili e quindi, esemplificando, l’impresa for profit (o con minimi vincoli) che raccoglie rifiuti o produce impianti fotovoltaici.

Ma il fatto che il tema della valutazione sia stato spinto e proposto nell’ambito di discorsi discutibili non deve sottrarci a considerare gli stimoli importanti e positivi che un’attenzione ai temi della valutazione, laddove declinati nelle forme qui auspicate, possono portare sia al Terzo settore che alle politiche negli ambiti di interesse generale.

Cosa resta da fare

Alla fine di questo percorso non si può che affermare insoddisfazione circa lo stato del dibattito sulla valutazione. Pretestuosamente narrata come una scoperta recente, l’enfasi sull’impatto ha prodotto molto lavoro consulenziale e poco cambiamento organizzativo, molto dibattito sugli strumenti e poca evoluzione delle politiche.

È necessario un profondo riordino di questi temi.

Va sicuramente rafforzata l’abitudine a valutare – anche con strumenti riferibili alla valutazione di impatto – le politiche e i programmi di intervento. Si tratta senz’altro di iniziative di valutazione impegnative, che richiedono risorse significative, soggetti terzi e autorevoli; e che devono restituire indicazioni utili a orientare le politiche e i programmi di intervento sulla base di quanto possiamo apprendere da quanto messo in atto nel passato.

È necessario promuovere un’evoluzione delle organizzazioni di Terzo settore in senso riflessivo e non autoreferenziale: organizzazioni capaci di interrogarsi insieme ai propri stakeholder e di trarre dagli elementi valutativi sul proprio operato stimoli per l’innovazione; e a includere tali stimoli nei propri processi organizzativi.

Va rivalutata la valenza della valutazione professionale in tutti gli interventi consolidati, che non deve certo ridursi alla mera attestazione circa l’adempimento di formalità, ma che costituisce lo strumento adeguato nella maggior parte dei casi in cui l’obiettivo sia appurare il buon operato o meno di un’organizzazione finanziata.

Bisogna acquisire consapevolezza su un insieme di debolezze e contraddizioni che caratterizzano le valutazioni di impatto applicate a singole organizzazioni o azioni, prendendo atto come in molti casi possa essere più ragionevole indirizzarsi verso approcci diversi, ampiamente discussi nell’articolo. In particolare, va avviata una riflessione che porti le organizzazioni a comprendere le implicazioni negative di una valutazione cui vengono affidate finalità promozionali in un contesto competitivo e al tempo stesso le potenzialità di una valutazione che mira al miglioramento e all’innovazione.

Sarebbe utile evitare il diffuso uso inappropriato dei termini che induce, per motivi di vendibilità del prodotto o di adeguamento alle mode, a evocare la valutazione di impatto quando non è di ciò che si sta realmente parlando.

Sarebbe, in una parola, utile sottrarre il tema della valutazione a una serie di retaggi ideologici, per aprire una fase in cui essa diventa un elemento significativo in percorsi di cambiamento delle politiche e delle organizzazioni.

DOI: 10.7425/IS.2020.04.08

Bibliografia

Accorinti M., Marchesano K. (2019), Valutare l’impatto del volontariato è possibile?, Welforum.it, 25 novembre 2019.

Alleanza contro la povertà in Italia (2017), Rapporto di valutazione: Dal SIA al REI.

Alleanza contro la povertà in Italia (2020), Il reddito di inclusione (ReI). Un bilancio, Maggioli, Rimini.

Chiaf E. (2013), “Il valore creato dalle imprese sociali di inserimento lavorativo”, Impresa Sociale, 0.2013, pp.21-37. DOI: 10.7425/IS.2013.0.03

De Ambrogio U. (2019), Se si valutassero le valutazioni di impatto, Welforum.it, 21 novembre 2019.

Leone L. (a cura di), Trasferimenti monetari condizionali per il contrasto della povertà infantile e l’inclusione sociale: una review realista sui paesi dell’area OCSE, studio stato realizzato nell’ambito del Progetto NUVAL, Azioni di sostegno alle attività del Sistema Nazionale di Valutazione.

Marocchi G. (1999), Integrazione lavorativa, impresa sociale, sviluppo locale, Franco Angeli, Milano.

Marocchi G. (2018), “La VIS serve per valutare le politiche, non le azioni delle singole organizzazioni”, Welfare Oggi, 6/2017.

Marocchi G. (2019), Impatto sociale, ecco le linee guida, Welforum.it, 17 settembre 2019.

Mellano E. (2019), Potenzialità e rischi della valutazione di impatto nel terzo settore, Welforum.it, 10 novembre 2019.

Tabacchi G. (2018), “Il lavoro sociale tra relazione e cambiamento”, Welfare Oggi, 3/2018.

Venturi P., Rago S. (2019), Valutazione di impatto per dare valore alla trasformazione, Welforum.it, 10 dicembre 2019.

Zamagni S., Venturi P., Rago S. (2015), “Valutare l'impatto sociale. La questione della misurazione nelle imprese sociali”, Impresa Sociale, 6.2015, pp. 77-97. DOI: 10.7425/IS.2015.6.05

Welfare Oggi (2019), “Valutazione: cultura organizzativa e partecipazione degli stakeholder – Intervista a Nicoletta Stame, Welfare Oggi, 3/2016.