Valutazione d’impatto sociale. Committenti, Enti di Terzo Settore e valutatori

Abstract

Gli Enti di Terzo Settore (ETS) sono chiamati a fare la valutazione d’impatto sociale. Chiarendo il significato originario del termine “impatto”, e distinguendolo da quello che è venuto ad assumere recentemente con la Evidence Based Policy, e che è oggetto di vari “modelli” di consulenza, questo articolo intende offrire un contributo di orientamento per i committenti di valutazione. Di fronte alle indicazioni che provengono da tante linee guida, e che ricalcano problematiche già discusse dalla ricerca valutativa ormai da alcuni decenni, si propone un dialogo tra committenti e valutatori che porti a disegni di valutazione adeguati al bisogno di miglioramento che anima gli ETS, come deve essere proprio di questa pratica sociale di conoscenza.

DOI: 10.7425/IS.2020.04.09

Le richieste di Valutazione d’impatto sociale

Gli Enti di Terzo Settore (ETS) che attuano interventi di carattere sociale si interrogano da tempo su cosa e come valutare. Gli ETS possono sia svolgere servizi appaltati o accreditati con caratteristiche di continuità e obbligatorietà (es. un centro diurno per disabili, l’assistenza domiciliare o residenziali agli anziani, una comunità alloggio minori), sia ricevere finanziamenti per svolgere interventi che hanno un contenuto specifico, temporaneo e spesso anche innovativo. Nell’un caso come nell’altro sarebbe naturale chiedersi quali risultati si ottengano con quegli interventi, e quali cambiamenti siano avvenuti nella realtà sociale in cui si opera, anche se i tipi di valutazione utilizzati possono essere diversi: valutazione della performance nel primo caso, valutazione di impatto sociale nel secondo. In effetti, gli ETS avrebbero dovuto incontrarsi con la valutazione da molto tempo, per capire se stessero lavorando bene, se stessero intercettando esigenze importanti, come migliorare, ed eventualmente fornire elementi a chi dovesse decidere se rifinanziarli. In altre parole, per conoscere ed aumentare il proprio valore, come è nel significato etimologico di “valutazione”. Per tutti questi motivi, nel mio lavoro mi sono sempre sforzata di mostrare che la valutazione fosse una attività utile anche per loro, oltre che per la società, e ho cercato di sollecitarne la partecipazione.

Ma, come è noto, innovazioni di questo genere stentano a entrare nelle routine organizzative, a meno che non ci siano delle condizioni nuove, o delle crisi. Queste condizioni si sono verificate recentemente con due spinte.

In primo luogo, la legislazione sulle Fondazioni bancarie^[1] spinge a finanziare interventi a carattere sociale. È la “finanza etica”, di cui fanno parte le Fondazioni bancarie e altri enti non profit. Mosse dal desiderio di mostrare ai finanziatori che i soldi spesi per “fare il bene” sono anche “spesi bene”, spesso queste Fondazioni chiedono una valutazione d’impatto sociale (VIS) degli interventi da loro sostenuti.

In secondo luogo, la legislazione sul Terzo Settore^[2], riconoscendo l’importanza assunta dagli ETS nello svolgere un lavoro con una valenza di bene comune, ha richiesto agli enti che hanno un bilancio superiore a 1.000.000 € di redigere un bilancio sociale; e inoltre di fare una valutazione d’impatto sociale, quando esplicitamente richiesta da una PA che affidi interventi di ambito sovralocale, e di durata pari almeno a 18 mesi. La valutazione d’impatto sociale viene così definita dalla legge: “Per valutazione dell’impatto sociale si intende la valutazione qualitativa e quantitativa, sul breve, medio e lungo periodo, degli effetti delle attività svolte sulla comunità di riferimento rispetto all’obiettivo individuato” (art. 7 c. 3). Le linee guida emanate a seguito della legge^[3] presentano un ampio quadro delle caratteristiche che deve assumere una tale valutazione (intenzionalità, rilevanza, affidabilità, misurabilità, trasparenza), presentata come una raccolta di dati per arrivare alla misurazione dell’impatto^[4].

Queste spinte italiane si inseriscono poi in un movimento mondiale della Evidence Based Policy (EBP) secondo cui – mutuando dal mondo della ricerca medica e della farmacologia – le decisioni di policy dovrebbero essere prese sulla base di evidenze empiriche sugli impatti degli interventi effettuati, ottenute con metodi di ricerca “robusti” (leggi: quantitativi, random control trial RCT, controfattuali).

È successo così che tutt’a un tratto è apparsa all’orizzonte la VIS, un oggetto misterioso, che ha subito fatto pensare che fosse tutta una questione di metodi, e che quindi fosse necessario rivolgersi agli “esperti dei metodi di valutazione”. Ma la nuova congiuntura potrebbe essere al tempo stesso un’occasione per i vari attori per ripensare i propri ruoli e comportamenti: i valutatori per meglio precisare la loro funzione, e dare un senso alla tanto conclamata funzione di conoscenza della valutazione; i committenti di valutazione per chiedersi come potrebbe la valutazione aiutarli a promuovere e riconoscere il valore sociale di cui vogliono essere portatori.

Queste note nascono dall’osservazione di ciò che avviene in questi ambiti – le difficoltà incontrate, le false partenze – come emerge da due aspetti importanti, e speculari, della questione. Da una parte, il messaggio che promana da una serie di modelli di valutazione d’impatto sociale, tesi a privilegiare gli aspetti metodologici su quelli di contenuto di questa pratica sociale; dall’altra, le domande formulate in numerosi bandi di valutazione emanati da ETS, che non colgono l’opportunità della valutazione per il rafforzamento dei propri programmi e delle proprie capacità. Ma ciò che mi spinge a scriverle è l’aver intercettato nuove esigenze e una nuova consapevolezza che sta emergendo tra chi vive l’esperienza quotidiana del lavoro sul campo.

La VIS: oltre la 'confusione' sull’impatto

Negli ultimi tempi sono fiorite decine di linee-guida sulla VIS, glossari, modelli, da parte di agenzie internazionali (es. Comunità Europea, 2014), Università (es. Bachelet, Calò, 2013), Centri di ricerca e consulenza (es. Euricse, 2016), associazioni varie (Forum per la finanza sostenibile, 2017). La prima cosa che sconcerta quando si legge uno di questi testi è che invariabilmente si parli di una “confusione” su cosa sia l’impatto, confusione che in realtà non esiste. È vero invece che con le espressioni “valutazione d’impatto” e “valutazione d’impatto sociale” si è introdotto un concetto di impatto nuovo, rispetto all’uso tradizionale del termine; e si pretende che la valutazione d’impatto sociale sia altra cosa dalla valutazione come si è fatta per i programmi sociali per tanto tempo, mentre essa ne è solo una versione aggiornata, che però non può ignorare quella esperienza. Basti pensare che la valutazione dei programmi sociali è nata negli anni ‘60 del secolo scorso per valutare i programmi di “Guerra alla Povertà” varati dalle amministrazioni Kennedy- Johnson, e che da allora si sono sviluppati approcci e metodi diversi, anche in considerazione dell’evolvere delle politiche (Stame, 2016), come cercherò di richiamare brevemente più sotto.

Invariabilmente in quei testi si comincia chiedendosi cosa sia l’impatto, e quasi mai cosa sia l’impatto sociale. E a proposito di impatto è molto frequente vedere che si dia la definizione di impatto dell’OCSE, ma poi la si abbandoni implicitamente per proporre un diverso modo di concepire l’impatto, su cui si imperniano i modelli di valutazione di impatto sociale proposti. La definizione dell’OCSE è molto chiara: “gli effetti a lungo termine, positivi e negativi, primari e secondari, previsti o imprevisti, prodotti direttamente o indirettamente da un intervento di sviluppo”.

Citando questa definizione di “impatto”, si fa automaticamente riferimento a un crescendo di risultati nel tempo, e a un più ampio ventaglio di stakeholders: dall’output (le prestazioni, il prodotto dell’intervento, da osservare alla sua conclusione), all’outcome (i cambiamenti nel comportamento dei beneficiari rispetto al tipo di intervento, da osservare a breve o media scadenza dalla sua conclusione), all’impatto (i cambiamenti nell’ambiente, e in altre sfere oltre a quella direttamente investita dall’intervento, nel lungo termine). Così, via via che si procede in questa linea, sarà diverso l’oggetto della “valutazione d’impatto”, e il metodo. Qui oltre alla operazionalizzazione degli esiti (individuare le variabili su cui indagare), entra in ballo la questione della spiegazione di come siano stati raggiunti quegli esiti. Per valutare l’output occorre descrivere e misurare cosa è stato fatto, se e quanto ciò corrisponda agli obiettivi del progetto. Per valutare l’outcome occorre capire se vi siano stati cambiamenti nei comportamenti, e quali meccanismi possano averli generati, più o meno corrispondenti alle teorie del cambiamento che possano essere state possedute da chi ha promosso l’intervento, o viceversa da chi ne ha fatto parte (attuatori, beneficiari). Ma per valutare l’impatto occorre guardare oltre, agli effetti indiretti, alle conseguenze inattese, all’ambiente sociale in generale in cui quell’intervento si è collocato, e alle conseguenti diverse forme di causalità.

È evidente che valutare questo tipo di risultati a lunga scadenza sia più difficile, tanto più se si pretende di farlo nel breve spazio temporale dell’intervento (magari prevedendo di farla dopo qualche mese). Tuttavia, è proprio questo tipo di effetti a lunga scadenza che oggi sono al centro dell’attenzione, con l’aggravarsi di conseguenze dirompenti di politiche di sviluppo, con la consapevolezza dei problemi legati all’ambiente e alla salute: tutte problematiche riflesse nella piattaforma dei Sustainable Development Goals (SDGs). Ciò che, tra l’altro, ha posto la questione dell’etica nella valutazione in una luce completamente diversa da quella del passato: dall’etica professionale del “non nuocere” nel rapporto con committenti e stakeholder, all’etica della responsabilità per il “bene comune”, verso il pubblico.

Ora, di fronte a queste problematiche che riguardano il contenuto delle politiche da valutare e l’appropriatezza dei metodi di valutazione rispetto a quei contenuti, quel tipo standard di testi a cui mi riferisco, dopo aver dato la definizione di impatto dell’OECD, inavvertitamente fa uno scarto proponendo un diverso concetto di impatto, riduttivo rispetto all’ampiezza degli effetti considerati (si considera l’outcome e non l’impatto, nel breve-medio e non nel lungo periodo), e definito in base a un unico metodo di spiegazione causale per valutarlo (l’“attribuzione” dell’outcome all’intervento).

Dunque, il problema non è la confusione su cosa sia l’impatto, perché in realtà nessuno di quei testi mette in discussione che l’impatto sia quella cosa definita dall’OCSE. La cosiddetta “confusione” deriva dal fatto che ad un certo punto, con la EBP, qualcuno ha cominciato a chiamare “impatto” (e “valutazione d’impatto”) una cosa completamente diversa dalla definizione canonica. Si veda la definizione di impatto datane da H. White, molto spesso citata: “(è) la differenza nell’indicatore di interesse (Y) tra la situazione con intervento (Y1) e la situazione senza intervento (Y2)… una valutazione d’impatto è uno studio che affronta la questione dell’attribuzione identificando il valore contro-fattuale di Y (Y0) in modo rigoroso” (White, 2010). A ben vedere, ciò non è altro da quello che si è sempre chiamato “effetto netto”, ossia il poter attribuire un effetto unicamente a un intervento^[5]. Come è noto, l’“attribuzione” di un effetto netto è molto difficile da dimostrare, e lo si potrebbe fare solo in un ambiente di laboratorio^[6]. Nella realtà dei fatti (evidenza?) ogni intervento si colloca all’interno di un contesto dove esistono altri interventi e altre politiche (e quindi si può parlare solo di “contribuzione” di un intervento a un mix di altri interventi), dove a logiche di sviluppo lineare se ne affiancano altre di causalità ricorsiva^[7], dove le conseguenze inattese possono avere altrettanta importanza degli effetti attesi.

Un contributo importante per dipanare questa ingarbugliata matassa lo ha dato il rapporto Broadening the Range of Designs and Methods for Impact Evaluations (Stern et al., 2012)^[8], che è stato commissionato dal DFID (Department for International Development, UK) per studiare quali alternative si pongono per superare i limiti delle valutazioni fatte con metodologie di RCT, dato che queste possono funzionare solo in un limitato numero di casi (addirittura quantificato dal bando nel 5% dei casi). Il Rapporto DFID ha affrontato la questione concentrandosi sulle domande di valutazione d’impatto. In effetti, tutto dipende da cosa si vuol sapere con la valutazione. Lasciamo da parte, per un momento, le condizioni in cui un ETS chiede una valutazione obtorto collo, perché deve farlo ma preferirebbe molto spendere diversamente quei (pochi) soldi destinati alla valutazione, e quindi si limita a una domanda fotocopia di qualche regolamento. E concentriamoci su cosa possa interessargli veramente rispetto ai risultati di un intervento, che chiama “impatto”.

Il rapporto DFID distingue tra diversi tipi di domanda:

• In che misura un effetto specifico può essere attribuito all’intervento? Questa è la concezione ristretta dell’impatto. Richiede che l’intervento preveda una sequenza semplice di causa-effetto, e che solo l’intervento sia la causa di quell’effetto.
• L’intervento ha fatto la differenza? Qui si comincia a considerare come l’intervento interagisce con altre politiche, e quindi come un effetto ottenuto possa essere ricondotto a un insieme di cause, e in che modo l’intervento contribuisca al risultato.
• In che modo l’intervento ha fatto la differenza? E qui entra propriamente la problematica della spiegazione, e quindi della teoria del cambiamento (quale sia, di chi, quando formulata, ecc.) (Stame, 2004) e del meccanismo nel contesto^[9].
• L’intervento funzionerà altrove? È il tema della generalizzabilità, o scaling up. Non è detto che se un intervento ha avuto un risultato positivo dove è stato osservato, possa poi funzionare in altri ambienti, in altri tempi (attenzione, quindi, quando si parla di “buone pratiche”).

Così facendo si considera sia il breve-medio (outcome) che il lungo periodo (impatto), l’attribuzione e la contribuzione, e soprattutto la generalizzabilità, che è poi ciò che veramente interessa alla EBP.

Fin qui abbiamo parlato semplicemente di impatto, e abbiamo rivendicato l’importanza di considerare come oggetto della valutazione d’impatto un insieme di effetti, che sono sempre più ciò che preoccupa non solo chi progetta gli interventi, ma il pubblico in generale. E abbiamo presupposto che ci sia un incontro tra un committente che ha delle esigenze di conoscenza su determinati aspetti del suo operare e un valutatore che lo aiuta a formulare le domande, su cui poi si basa la scelta degli approcci e dei metodi.

L’impatto sociale, ovvero come valutare il valore di un intervento sociale

Ma è venuto il momento di aggiungere l’aggettivo “sociale” al sostantivo “impatto”. E allora qui occorre fare davvero chiarezza.

Possiamo parlare di valutazione d’impatto sociale con riferimento a interventi a carattere sociale, come cura degli anziani, accoglienza agli immigrati, asili nido, centri culturali, “infrastrutturazione sociale”^[10], riduzione della povertà, riduzione della disuguaglianza educativa, ecc. In questi casi, valutare l’impatto sociale non significa altro che valutare gli effetti sui beneficiari di un intervento che ha carattere di politica sociale, e magari l’impatto più generale sull’ambiente. Si tratterà quindi di valutare cosa, e come, è cambiato nella vita delle persone (salute, autonomia, competenze) e nella vita sociale (cooperazione, inclusione, democrazia).

Diverso sarebbe il caso in cui si volesse valutare l’impatto sociale di interventi che non hanno un oggetto prevalente di carattere sociale, come una politica per l’occupazione, per la formazione, per l’ambiente. Sarebbe lo stesso modo in cui si parla di valutazione di impatto ambientale, che in effetti significa valutare le conseguenze per l’ambiente (impronta ecologica, aumento o diminuzione dell’inquinamento, ecc.) di un qualsiasi intervento: costruzione di una fabbrica, di una strada, ecc. In questo caso, l’impatto sociale riguarderebbe gli effetti indiretti di un intervento, come l’aumento di legalità (grazie alla regolarizzazione del lavoro), di democrazia (se le decisioni sono fatte oggetto di consultazione popolare), di rafforzamento culturale (se la formazione induce una diffusione della lettura), ecc.

Quando un finanziatore sostiene un progetto a carattere sociale, lo fa perché pensa che ciò rientri nella propria missione, e ha, o dovrebbe avere, un’idea di quale cambiamento positivo sia auspicabile e raggiungibile con l’intervento che finanzia. Al tempo stesso sa che le cose potrebbero andare diversamente dal previsto, nel senso che potrebbero far peggiorare la situazione, o al contrario produrre altro bene, o in altro modo. Quindi dovrebbe essere interessato al tipo di cambiamento effettuato. Il valore dell’intervento sarà visibile dai miglioramenti ottenuti, che dovranno essere capiti interpretando il significato che vengono ad assumere per il benessere dei beneficiari dell’intervento, per il modo in cui gli attuatori avranno realizzato il progetto, per il messaggio positivo che il cambiamento potrà mandare all’ambiente circostante, ecc. È questo il valore di un intervento sociale: contribuire a migliorare una situazione particolare che avrà ripercussioni sul benessere generale (bene comune).

Linee guida e modelli di VIS

Torniamo allora ai tanti modelli di VIS, e al loro scopo di fornire quella guida “metodologica” per assolvere a questo nuovo e “misterioso” compito. E qui ci troviamo subito di fronte a un ulteriore scarto: il problema maggiormente dibattuto diventa quello della “misurazione” dell’impatto, ovvero di quale “metrica” usare. Anche dove si riconosce una differenza tra “misurare” e “valutare”, poi tutta l’expertise metodologica è rivolta alla misurazione, e non si entra mai nel merito dei problemi legati al “valutare”. La misurazione ci offre dei dati su aspetti (variabili e indicatori) ritenuti rappresentativi del bene da ottenere – sempre che si sia riusciti a misurare ciò che è rappresentativo, e non solo ciò che è misurabile – ma essa si limita ad offrire un materiale che deve poi essere valutato per il significato che assume: è molto o poco quello che si è ottenuto, rispetto alla situazione del contesto? Rappresenta una regola o è il frutto di un avanzamento? Come lo si è ottenuto: appoggiandosi all’esterno o mobilitando risorse interne?

In generale, ogni guida propone un “modello” di VIS. Ne esistono di vario tipo, a seconda dell’aspetto che intendono “misurare”. Prendiamo la definizione di Bachelet - Calò (2013, p. 1) “due sono le variabili di definizione del significato di impatto sociale: il concetto di cambiamento della vita delle persone, e la relazione causale tra l’intervento e il cambiamento raggiunto”. Possiamo subito distinguere due tipi di modelli, che privilegiano l’uno o l’altro di questi aspetti (raramente entrambi), secondo il modo in cui hanno inteso tanto il cambiamento quanto la relazione causale.

In primo luogo, vi sono modelli che si concentrano sulla misurazione del cambiamento della vita delle persone. Coerentemente con la definizione che danno di impatto, che è la misurazione di un outcome (e richiamando il quadro logico input-output-outcome), questi modelli tendono semplicemente a misurare alcuni indicatori più o meno smart^[11] di outcome, ritenuti rappresentativi del “bene” che si vuol fare, ottenuti tramite le risposte a qualche questionario (o al più qualche focus group), rielaborati con metodi statistici. In questo caso, non vi è alcuna differenza rispetto ad approcci tradizionali di valutazione, e non si tiene conto di tutti gli sviluppi che ci sono stati in più di 50 anni di riflessione sulle pratiche di valutazione dei programmi sociali^[12]. Mi riferisco al fatto che quegli approcci si basano su assunzioni che sono state via via contestate a confronto con i problemi posti dalla pratica di implementazione dei programmi: che gli obiettivi siano chiari e condivisi, che vi sia una unica sequenza logico-causale che conduce agli effetti, che l’attuazione sia uniforme ovunque il programma sia attuato, che i risultati siano misurabili, e ripetibili altrove (oggi si direbbe “scalabili”). Fin dai primi momenti si è invece capito che gli obiettivi, che erano quelli dei finanziatori dei programmi, potevano non essere chiari, e comunque non necessariamente condivisi dagli attuatori e beneficiari dei programmi, e che quindi bisognasse coinvolgere anche altri soggetti nella valutazione (valutazione partecipata, approccio costruttivista) nel formulare gli obiettivi e nel giudicare dei risultati (anche in base ad altri criteri di valore che non quello della rispondenza all’obiettivo: valutazione goal-free, rubriche dei criteri di valutazione, approccio pragmatista). Inoltre, che i programmi si svolgono in contesti complessi, sia verticalmente (livelli amministrativi e di autorità), sia orizzontalmente (reti), di cui occorre tener conto per valutare punti di forza e di debolezza degli attori (approcci di pensiero positivo). A ciò si aggiunga il grande dibattito sui metodi di ricerca da utilizzare in valutazione, da un primo scontro tra paradigmi quantitativi (propri a quell’approccio tradizionale) e qualitativi (propri all’approccio costruttivista), allo sviluppo di metodi misti, e al diverso modo in cui queste tradizioni di ricerca continuano a confrontarsi. Tutto ciò ha ovviamente ripercussioni sul tema del rapporto tra misurazione e valutazione: misurare il “cambiamento” è operazione distinta dalla valutazione, che comporta un giudizio al fine del “miglioramento”.

In secondo luogo, vi sono modelli che si concentrano sulla relazione causale tra l’intervento e il cambiamento raggiunto. In questi casi, si insiste su un unico modello di causalità, che è quello della successione temporale, su cui si basa il concetto di attribuzione, che abbiamo visto più sopra. In tal modo non si tiene conto né dell’ampio dibattito che ha caratterizzato questo approccio fin dagli albori della valutazione, né degli sviluppi più recenti. Fin da subito, infatti, contemporaneamente alla introduzione di modelli di spiegazione quasi-sperimentale in valutazione, si sottolineavano le “minacce alla validità” di quei metodi a causa dell’influenza del contesto e della storia (Campbell, 2007). E recentemente questa problematica è stata oggetto di ampio dibattito, in cui sono stati presentati altri disegni di spiegazione causale, oltre a quello per “successione”: da quelli basati sulla “copresenza” di molte cause (contribuzione), a quelli basati su logiche di human agency e di causalità generativa (i meccanismi, che sono la base della valutazione realistica: Pawson, 2006)^[13].

Vi è poi un terzo tipo di guida, in cui c’è un particolare riferimento al fatto che la finanza etica ragiona in termini di valore monetario, e quindi si propongono modelli come quello dello SROI (Social Return on Investment), che attribuisce un valore monetario a varie conseguenze di un intervento significative dal punto di vista sociale. Lo SROI si basa sulla individuazione delle conseguenze prodotte da un intervento, traducendole in servizi offerti, ore lavorate, beni acquistati; e poi calcola quanto sarebbe costato acquisire tutto ciò se offerto sul mercato o dalla pubblica amministrazione. Si vuole dimostrare quanto valore monetario produce una determinata somma investita in un’attività tesa a fare del bene (ossia: come si moltiplica 1 € investito?), e si arriva a dire che 1€ investito in quel tale progetto, o quel tale ETS in generale, produce, ad es., un valore di 1,9 €^[14], cosa che viene ad assumere un vago sapore propagandistico^[15]. Il primo problema che incontra è decidere cosa includere nel calcolo. È ovvio che quanti più aspetti si includono, tanto maggiore sarà il valore calcolato. Ma soprattutto: non vi è una idea delle modalità entro cui quei servizi sono offerti, della qualità dei beni acquisiti, ecc. ossia di tutto quello che ha un valore dal punto di vista di un’azione svolta per il miglioramento della situazione.

Come è apparso evidente, ognuno di questi tipi di modelli ripropone temi già affrontati dalla ricerca valutativa, senza peraltro tener conto degli avanzamenti compiuti con la loro critica. E al di là di tutto ciò, è da notare l’impoverimento delle potenzialità di apprendimento offerte dalla valutazione, se tutto si riduce a una tecnica delegata a un consulente, invece che a una pratica sociale che coinvolga tutti gli attori.

Gli ETS come committenti di valutazione d’impatto sociale

Torniamo allora ai nostri ETS, alle richieste di valutazione che ricevono dai finanziatori, e a quelle che fanno loro in quanto committenti.

In generale, nonostante – come abbiamo detto – il Codice del Terzo Settore specifichi che la VIS è obbligatoria solo in alcuni casi (e sembra che sia stata una vittoria dei piccoli essere stati esclusi da tale obbligo!), ormai la maggior parte degli ETS sentono il bisogno di richiedere una VIS. Qui entriamo nel mondo pratico della valutazione. Cosa farà allora un ETS che deve chiedere la valutazione? Esiste un’ampia casistica.

Nella maggior parte dei casi, il committente si limita a una domanda generica di valutazione d’impatto sociale, nella speranza di poter dimostrare di avere ottenuto un risultato positivo, misurabile con un “indicatore di impatto” (sic): quindi chiede un lavoro meramente esecutivo di identificazione di alcuni (pochi) indicatori (quelli che permettono una misurazione) per poter mostrare la propria efficacia, dando per scontato che quei risultati siano dovuti all’intervento.

In altri casi, il committente segue quello che ha letto su una qualche linea guida, o in altri bandi, e così formula domande basate sulla richiesta di un metodo o di una tecnica particolari di valutazione, che può non avere alcuna pertinenza nel caso specifico. Recentemente questa tendenza si è espressa nella richiesta di “usare una metodologia controfattuale”, di “usare la metodologia della teoria del cambiamento”^[16], di usare “metodi misti”, senza che ci sia alcuna indicazione del perché tali metodi e tecniche dovrebbero essere appropriati al caso, se non che sono di moda^[17]. E ci sono naturalmente anche casi in cui ETS che ricevono un finanziamento di finanzia etica chiedono espressamente che la valutazione segua il modello SROI, che è stato proposto loro da un qualche centro di ricerca, e che pensano possa essere apprezzato dal finanziatore.

Ma esiste anche chi coglie l’occasione per riflettere sul proprio operato. Secondo la testimonianza di una valutatrice^[18]: “Se è vero, da un lato, che ad oggi, anche questa categoria di attori [di TS] è sempre più “costretta a fare delle valutazioni”, è vero anche che inizia ad esistere un certo numero di coloro che vogliono capire, imparare, che vogliono ottimizzare al meglio le risorse che devono dedicare alla valutazione, che vogliono spendere per qualcosa di veramente utile. Esiste, inoltre, una fetta che sta sviluppando sempre più la tendenza a chiedersi: posso fare anch’io valutazione?, se sì come si fa?, come mi può essere utile, non solo a dimostrare all’esterno quello che io faccio e i risultati, ma più che altro a capire dove stiamo andando con il nostro operato? è la direzione giusta? in un mondo che cambia forse dovremmo riposizionarci? abbiamo abbastanza competenze per questo o quell’altro intervento? abbiamo prodotto cambiamento/i nei settori su cui ci concentriamo da anni?”.

I primi due tipi di committente instaureranno con chi valuta un rapporto di consulenza. Sceglieranno il proprio valutatore a seconda delle proprie capacità finanziarie, e ne riceveranno di conseguenza un disegno di valutazione più o meno sofisticato; ma gli chiederanno inevitabilmente di mostrare un risultato positivo ai propri finanziatori. Ad onta della conclamata “indipendenza” del valutatore è questa la situazione che Picciotto (2011) chiama di fee-dependence, in cui il valutatore è un mero consulente dipendente da chi gli chiede, e gli paga, il servizio.

Il terzo tipo di committente cercherà invece una forma di collaborazione con un valutatore che concepisca la valutazione come una pratica riflessiva, che gli consenta di ragionare sul significato dei propri risultati, per capire quali sono le sue prospettive di sviluppo e miglioramento. La testimonianza sopra citata continuava, tra l’altro, così: “penso siano sempre meno in Italia oggi le organizzazioni del terzo settore che si possano permettere e vogliano spendere risorse per fare qualcosa che ritengono inutile o solo per far contento il donatore/finanziatore di turno”. In questa felice circostanza, l’ETS committente non imporrà qualcosa di imparaticcio, ma si confronterà con il valutatore sugli scopi del proprio lavoro e su quanto può offrirgli la valutazione. Ed è qui che si giocherà la partita di accrescere il valore sociale dell’intervento.

Ancora una volta accountability e learning

Questa tipologia di rapporti tra committenti e valutatori riflette un diverso modo di concepire la valutazione. Da una parte, nei primi due casi, essa è vista come una tecnica, o un metodo, da delegare a qualcuno che sia “competente”, senza alcun coinvolgimento, e quindi apprendimento, da parte del committente. È ciò che normalmente si intende per la funzione di accountability. Dall’altra parte, nel terzo caso, essa è concepita come una pratica sociale di conoscenza, volta al miglioramento, che presuppone il dialogo tra diverse intenzioni, capacità e valori. E quindi c’è una funzione di learning.

Questo ci porta ad affrontare l’annosa questione del rapporto tra queste due funzioni. Se è vero, come ho detto all’inizio, che gli ETS avrebbero dovuto da molto tempo essere interessati a conoscere il proprio valore, è altresì vero che essi sono veramente entrati in contatto con la valutazione quando hanno dovuto “rendicontare” sul loro operato, ossia dimostrare di essere “accountable”, di fare quello che si sono impegnati a fare. È qui che è venuto in primo piano il bisogno di “misurare”, che poi ha portato con sé l’identificazione tra “misurazione” e “valutazione”.

Ma l’accountability non deve essere vista come disgiunta dalla funzione di conoscenza e di apprendimento dall’esperienza, che è attribuita alla valutazione, e paradossalmente tanto più in un’epoca così attenta alle “evidenze”. Che accountability e learning siano fortemente intrecciate è infatti ormai affermato da più parti. Questa consapevolezza comporta però la necessità di scegliere l’approccio più appropriato sia sul tipo di accountability sia su come fare valutazione. Come insegna Burt Perrin (2018), gli ETS dovrebbero essere aiutati a mostrare sia di essere accountable verso l’alto (il finanziatore, la P.A), sia verso il basso (i beneficiari, gli attuatori). E non basta dimostrare che si è fatto qualcosa (performance), ma bisogna capire in che modo le cose sono cambiate, se i beneficiari hanno assunto altri comportamenti, se gli attuatori sono stati in grado di suscitare le potenzialità dei beneficiari, al fine di aumentare le proprie capacità: per tutto questo esistono approcci di valutazione particolarmente sensibili, come la valutazione realista o gli approcci di pensiero positivo (Stame, 2016).

La scelta di questi approcci rientra a sua volta nei rapporti tra valutatore e committente. Al committente non si chiede di essere esperto di approcci alla valutazione, tanto da fare delle richieste già orientate al metodo che verrà usato, ma di esplicitare i problemi incontrati da cui sorge il bisogno di valutazione. Sarà il valutatore a presentare un disegno di valutazione – su cui accordarsi col committente – che trasformi quei problemi in domande di valutazione, e che proponga un metodo per raccogliere le informazioni e formulare le analisi atte a rispondere a quelle domande. Lo si è visto con il rapporto DFID, che ha formulato delle ampie domande di valutazione d’impatto per far presente quali approcci si potrebbero utilizzare. Lo stesso può avvenire nella scala più piccola delle valutazioni di interventi degli ETS.

E qui sta la sfida che riguarda il committente ETS: il suo desiderio di conoscere per migliorare sarà la guida per scegliere – insieme al valutatore – i metodi di ricerca adatti a riconoscere e ad accrescere il valore sociale di un intervento.

Bibliografia

Bachelet M., Calò F. (2013), Modelli di valutazione di impatto sociale: le non profit nell’assistenza agli anziani, paper presentato in occasione della VII edizione del Colloquio Scientifico sull’impresa sociale, Torino, 7-8 giugno 2013.

Barbetta P.G. (2019), La buona pratica si vede dall’effetto, Corriere della Sera - Buone Notizie, 2 aprile 2019.

Befani B. (2012) “Models of Causality and Causal Inference”, in Stern E., Stame N., Davies R., Befani B., Broadening the Range of Designs and Methods of Impact Evaluation, DFID Working Paper, 38, London.

Belcher B., Palenberg M. (2018), “Outcomes and Impacts of Development Interventions: Toward Conceptual Clarity”, American Journal of Evaluation, 39(4), pp. 478-495. DOI: 10.1177/1098214018765698

Campbell D.T. (1969), “Reforms as Experiments”, American Psychologist, 24(4), pp. 409-429 (tr. it. Campbell D.T. (2007), “Riforme come esperimenti”, in Stame N. (a cura di), Classici della valutazione, Franco Angeli, Milano).

Commissione Europea (2014), Approcci proposti per la misurazione dell’impatto sociale, Sottogruppo GECES sulla misurazione dell’impatto, Luxembourg.

Connell J.P., Kubisch A.C. (2007) “L’approccio della teoria del cambiamento applicato alla valutazione delle iniziative integrate di comunità: stato dell’arte, prospettive e problemi”, in Stame N. (a cura di), Classici della valutazione, Franco Angeli, Milano).

Depedri S. (2016), La valutazione dell’impatto sociale nel Terzo Settore, Euricse.

Forum per la Finanza Sostenibile (2017), Impact Investing: la finanza a supporto dell’impatto socio-ambientale, Forum per la finanza sostenibile & Social Impact Agenda per l’Italia, Roma.

Pawson R. (2006), Evidence-based policy a realist perspective, Sage, London.

Perrin B. (2019), “Accountability’s two solitudes and the question it raises: accountability to whom? By whom? And for what?”, in Furubo J.E., Stame N. (eds.), The Evaluation Enterprise, Routledge, New York.

Picciotto R. (2011), “The Logic of Evaluation Professionalism”, Evaluation, 17(2), pp. 165-180.

Stame N. (2004), “Theory-based evaluation and varieties of complexity”, Evaluation, 10(1), pp. 58-76.

Stame N. (2016), Valutazione Pluralista, Franco Angeli, Milano.

Stame N. (in corso di pubblicazione), “Mixed methods e valutazione democratica”, Rassegna Italiana di Valutazione.

Stern E. (2016), La valutazione d’impatto. Una guida per committenti e manager, Franco Angeli, Milano.

Stern E., Stame N., Davies R., Befani B. (2012), Broadening the Range of Designs and Methods of Impact Evaluation, DFID Working Paper, 38, London.

Vurro C., Romito S. (2018), La valutazione economica degli impatti sociali della Lega del Filo d’Oro, Edizioni Vita, Milano.

White H. (2010), “A contribution to Current Debates in Impact Evaluation”, Evaluation, 16(2), pp. 153-164.