L’approccio alla valutazione dei progetti. L’esperienza della Fondazione Compagnia di San Paolo

Introduzione

Uno dei meta-obiettivi condivisi delle fondazioni filantropiche moderne è quello di sperimentare soluzioni innovative per il progresso della società e il benessere comune. Ciò spesso viene chiamato “approccio dimostrativo” (Martini, 1999). La maggior libertà di azione e la maggior disponibilità relativa di risorse libere rispetto ad altri operatori, incluso talvolta quello pubblico, consente loro di accettare maggiormente il rischio e temere meno il fallimento (Anheier, Leat, 2006). Alle fondazioni di origine bancaria italiane va inoltre riconosciuto il vantaggio di operare su un territorio: a) di cui conoscono bene le specificità e b) che solitamente si connota per un’estensione geografica medio-grande, una dimensione che consente una gestione agile della sperimentazione, pur garantendo alte probabilità di giungere a conclusioni che abbiano validità su scala più ampia. Tali fondazioni si trovano quindi nella condizione ideale per potersi adoperare nella ricerca di soluzioni sempre nuove ai diversi problemi del territorio e per suggerire l’adozione più strutturata – a livello locale o nazionale – delle soluzioni che si sono dimostrate più efficaci. In tale contesto, diviene dunque evidente come la valutazione, attestando la qualità delle iniziative, oltre ad avere valore per sé, dia anche un importante contributo alla capacità “sistemica” di affrontare le problematiche d’interesse.

La Fondazione Compagnia di San Paolo (da qui in avanti per brevità denominata Compagnia) ha quasi cinque secoli di storia ed è profondamente radicata nel territorio piemontese e del nordovest italiano. Come in genere accade alle grandi fondazioni, nella sua operatività la Compagnia adotta una serie di strumenti di carattere diverso, calibrati su situazioni specifiche e talvolta path dependant. Non mancano gli esempi di attività erogativa “più tradizionale” a beneficio e sostegno dell’attività istituzionale di enti qualificati pubblici o senza fine di lucro. Tuttavia, la quota di iniziative di grant-making su progetti specifici, che si qualificano quali esempi di risposte sperimentali e innovative alle problematiche territoriali (come quelle di cui sopra), è sempre più rilevante: si tratta di una transizione metodologica diffusa nel mondo filantropico e destinata a durare. Il circuito che va dalla percezione dei bisogni, all’elaborazione degli strumenti, al monitoraggio della loro applicazione, alla valutazione dei loro effetti che diventa risorsa cognitiva (conoscenza/operatività/impatto/conoscenza) è, per così dire, uno standard teorico-pratico “fondante” che affonda le sue radici nell’esperienza internazionale (Martini, Romano, 2008).

Dal momento che la qualità e l’innovatività delle soluzioni proposte non possono essere solo “annunciate”, ma devono essere comprovate, la valutazione per la Compagnia è andata acquistando negli anni un ruolo sempre più importante. Se l’ambizione è quella di realizzare iniziative di qualità e sperimentare soluzioni innovative ai problemi, diviene infatti imprescindibile che, accanto alle risorse economiche e umane impegnate nella progettazione e realizzazione delle iniziative, vengano messe in campo anche le risorse necessarie a capire se le azioni sono state realizzate come programmato (valutazione di implementazione) e se hanno avuto gli effetti desiderati (stima dell’impatto). La Compagnia è dunque molto sensibile al tema della valutazione come strumento fondamentale di pianificazione strategica e di comunicazione strategica (finalizzata a “avere buona cura” e rafforzare costantemente i rapporti tra ente erogatore e stakeholder).

Nelle sezioni che seguono intendiamo approfondire questo discorso illustrando quale approccio adottiamo per la valutazione, quali sono finora le nostre best practice e i relativi punti di forza e di debolezzae, in modo specifico, anche in relazione alla missione di questa Rivista, qual è la nostra esperienza nell’ambito della valutazione delle iniziative a favore delle imprese sociali.

Valutazione e impatto presso la Compagnia di San Paolo

Per rendere le procedure di valutazione sempre più sistematiche e strutturate ed aumentare il numero di progetti valutati, alla fine del 2017, la Compagnia si è dotata di una Unità specialistica di valutazione. L’Unità ha il mandato di essere d’ausilio alla pianificazione e alla comunicazione strategica a diversi livelli e interpreta il proprio ruolo dando al termine “valutazione” un’accezione ampia, ma sempre ispirata ai principi di rigore metodologico di cui alla letteratura scientifica sulla valutazione delle politiche pubbliche (a titolo di esempio si citano: Constantine e Braverman, 2004; Martini e Sisti, 2009; Gertler et al., 2011).

Il metodo

In fase di progettazione (con l’ambizione di coprire progressivamente tutte le progettualità che abbia senso o interesse valutare, si tratti di progetti proposti da enti terzi o direttamente gestiti dalla Compagnia), il supporto fornito dall’Unità di valutazione è indirizzato a evidenziare gli elementi di innovazione e originalità delle proposte ricevute o delle idee formulate all’interno della Fondazione – contestualizzandole nel panorama delle politiche in corso ad opera degli altri attori pubblici e privati del territorio – e a definire l’entità dei bisogni a cui le azioni intendono (del tutto o in parte) rispondere. In fase di realizzazione delle azioni, l’ambizione è non fermarsi alla verifica del raggiungimento dei risultati, ma arrivare alla valutazione degli outcome e quindi del reale impatto dell’azione della Compagnia sulla vita degli enti e delle persone beneficiari finali. Ciò viene realizzato tramite la raccolta e l’analisi di dati (quantitativi e qualitativi) attendibili e idonei a descrivere nel modo più preciso i fenomeni su cui le azioni intendono operare, i risultati progressivamente conseguiti e l’impatto che ne deriva. Laddove è possibile, cioè scientificamente sensato e fondato (e con un ragionevole rapporto costi-benefici), la Compagnia si adopera per sviluppare valutazioni degli effetti controfattuali di tipo sperimentale o quasi sperimentale. Dove ciò non è possibile, per limiti oggettivi (es. il design dell’intervento, la carenza di fondi e così via) effettua valutazioni di altro tipo, qualitative o quantitative non sperimentali. Allorché neanche questo sia possibile, promuove semplicemente un serio monitoraggio di dati di output. Alla valutazione d’impatto cerca inoltre, ove risultino disponibili dati di input di buona qualità, di associare comparazioni in termini di costo-efficacia da cui possano emergere indicazioni in termini di efficienza (minor costo) oltre che di efficacia. Per dare un’idea, le valutazioni d’impatto in corso nell’annualità 2020 sono 19: sette applicano una metodologia controfattuale, nove delle tecniche quantitative non controfattuali, due la network analysis, una adotta una metodologia qualitativa. I progetti di cui si effettua anche o solo la valutazione di implementazione sono una decina.

Un caso esemplificativo

L’illustrazione di un caso esemplificativo può essere utile alla comprensione. Una recente best practice è costituita dalla valutazione delle tre politiche attive per il lavoro finanziate dalla Compagnia – in parte a fondo perduto e in parte “a risultato” – nello scorso triennio sul territorio metropolitano di Torino. La prima, Formazione per la Mobilità Professionale (FMP), è un’iniziativa di lungo corso, rivolta agli adulti disoccupati da almeno sei mesi, che mette a disposizione di chi è alla ricerca di un’occupazione un percorso di accompagnamento al lavoro e di job placement. La seconda, denominata Articolo+1, è un bando che finanzia, per un biennio, l’attività di partenariati privati che offrano servizi integrati di formazione e collocamento rivolti ai giovani in età compresa tra i 15 e i 29 anni, non iscritti ad alcun percorso educativo, lavorativo o formativo e con bassi livelli di occupabilità. La terza è INTEGRO, un bando simile ad Articolo+1 ma rivolto agli adulti disoccupati in condizione di fragilità economica, relazionale e sociale.

Questa esperienza si contraddistingue per quattro elementi caratterizzanti che potremmo definire unici nell’esperienza della Compagnia. Innanzitutto, essa si è rivelata l’occasione per impostare una rigorosa procedura di valutazione dell’implementazione e dell’impatto di ciascuna politica, condividendone il disegno e affidandone l’esecuzione a esperti di dominio, con alle spalle una vasta esperienza nella valutazione scientificamente rigorosa delle politiche per il lavoro. È rilevante che tali esperti, oltre a padroneggiare le tecniche di valutazione controfattuale, fossero anche esperti di politiche attive per il lavoro (nazionali e del territorio piemontese): ciò ha facilitato la traduzione delle evidenze emerse dalla valutazione in policy implication utili all’evoluzione dei programmi, in funzione di una sempre maggior efficienza ed efficacia.

In secondo luogo, abbiamo coordinato l’attività tra i diversi esperti (essendo ciascun gruppo applicato a un diverso programma), in modo che essi concordassero indicatori di outcome e metodologie di selezione del campione di controllo, ossia cercassero soluzioni che consentissero un alto grado di comparabilità dei risultati.

In terzo luogo, data la disponibilità di un ricco dataset di dati amministrativi relativi alle posizioni lavorative dei piemontesi (SILP), la valutazione di due dei tre progetti ha potuto adottare una procedura controfattuale non sperimentale. Il gruppo di controllo è stato dunque individuato attraverso matching statistico e non ha richiesto faticose – non per l’attività in sé, ma per la costante strenua riluttanza degli enti attuatori – randomizzazioni.

Da ultimo, in parallelo al processo di valutazione, è stato possibile commissionare agli stessi valutatori una mappatura ragionata delle politiche pubbliche e private nazionali e locali attivate sul territorio in contemporanea con le politiche di Compagnia. La mappatura ha consentito, da un lato, di definire con precisione gli elementi di complementarità e innovatività delle politiche promosse da Compagnia e, dall’altro, di comparare gli effetti delle politiche di Compagnia con quelli delle politiche pubbliche ad esse più simili (nella fattispecie i Buoni servizi per il lavoro e Garanzia Giovani)^[1].

Se quello appena descritto costituisce il nostro modello di riferimento (realizzato in concreto almeno in questo caso) quando si tratta di programmare un’attività di valutazione, è ovvio che non sempre è possibile replicare tale modello ed è altrettanto ovvio che lo stesso modello ha ancora vari limiti. Uno dei difetti principali, in particolare, consegue da una specificità dell’operare della Compagnia (spesso comune alle altre fondazioni). Anche nel caso di progettualità ad elevata regia interna, l’implementazione dei progetti avviene tramite enti pubblici o del Terzo settore, i quali operano, pur entro un sistema di vincoli e obiettivi condivisi, con le modalità che risultano loro più proprie. Se questo approccio – che è frutto di una storia, e che a sua volta è in evoluzione – da un lato permette di beneficiare dell’originalità e della qualità specifica degli enti “attuatori”, dall’altro, induce una sensibile eterogeneità nei tempi e nei modi di intervento e nella popolazione di beneficiari intercettata. Caratteristica, quest’ultima, che spesso compromette (a volte molto seriamente) la validità esterna degli effetti stimati, limitando la portata informativa della valutazione in termini di riproducibilità e scalabilità dell’iniziativa. Con il nostro modello valutativo, l’effetto dell’iniziativa non risulta infatti distinguibile dalla selezione che gli enti compiono – sulla base di caratteristiche osservabili e non osservabili – della popolazione di beneficiari, né dalle modalità di realizzazione utilizzate dai diversi enti per perseguire gli obiettivi che si sono preposti. Se l’impatto misurato è significativamente positivo, l’unica cosa che si riesce a desumerne è che nell’insieme ha funzionato. Poco però si riesce ad imparare su cosa potrebbe essere migliorato e cosa potrebbe essere suggerito per l’applicazione a livello territoriale più vasto.

La valutazione del progetto SEED

La valutazione del bando SEED costituisce al momento l’unica valutazione effettuata dall’Unità di valutazione su iniziative dedicate a imprese sociali (nel caso, cooperative sociali di tipo A, B e AB). È stata impostata per rispondere in modo abbastanza stretto al “modello” illustrato nel paragrafo precedente e costituisce un buon esempio dei “compromessi necessari” per fare valutazione delle politiche in una fondazione come la Compagnia. Si tratta di un’esperienza attualmente in corso, giunta alla conclusione della sola prima fase.

Il bando

La prima edizione del bando SEED è stata emanata da Compagnia di San Paolo a fine 2018 con l’obiettivo di rafforzare il tessuto delle cooperative sociali piemontesi, facendo emergere e innescando processi di rinnovamento organizzativo e gestionale. Il bando è stato articolato in due fasi. Alla prima – la cui partecipazione era aperta a tutte le cooperative sociali delle provincie di Torino, Asti e Alessandria – sono state ammesse 40 cooperative sociali alle quali è stato erogato un finanziamento di cinquemila euro per ingaggiare un consulente incaricato di disegnare, assieme al management, un piano di rafforzamento strategico-organizzativo. Alla seconda fase sono state ammesse, dopo ulteriore selezione, solo 20 delle 40 cooperative di cui alla fase uno. Ad esse viene fornito un finanziamento di ventimila euro per sostenere, attraverso il ricorso a consulenti tecnici, la realizzazione, nel corso del successivo biennio, del piano strategico-organizzativo impostato nella prima fase. La complessità del bando – derivante da questa struttura a fasi e dalla naturale eterogeneità delle cooperative coinvolte sia per condizioni di partenza, sia per piani di rinnovamento proposti – si è tradotta inevitabilmente nella complessità del disegno di valutazione, di cui cerchiamo di dare sintetica descrizione, a scopo illustrativo, qui di seguito.

Il disegno di monitoraggio e valutazione

La collaborazione con l’ente valutatore^[2] ha preso avvio con la rivisitazione, alla luce delle informazioni desumibili dai progetti formulati dalle cooperative selezionate, della teoria alla base dell’intervento. È stata l’occasione per meglio specificare e integrare gli obiettivi generici che avevano portato alla definizione del bando, con gli obiettivi “concreti e più specifici” che si riteneva possibile effettivamente ottenere, date le proposte raccolte. Si è inoltre potuto, per così dire, allungare la lista degli outcome potenziali dell’intervento con effetti secondari inizialmente non esplicitamente inclusi, ma di cui si è maturata consapevolezza in corso d’opera. Questa fase ha richiesto sia brainstorming nel gruppo di ricerca e di valutazione, sia studio della letteratura. Nell’esempio specifico si è approfondito il tema, oggi allo sviluppo e molto dibattuto, del cambiamento organizzativo/strutturale^[3] come mezzo per promuovere l’investment readiness, cioè la capacità di attirare capitali di investitori anziché le sole donazioni a fondo perduto (Tiresia, 2018).

La fase successiva è consistita nella raccolta di tutte le informazioni utili a qualificare con precisione le caratteristiche e i bisogni delle cooperative partecipanti alle diverse fasi del bando e, contestualmente, a costituire la base dati di partenza su cui poi impostare la valutazione degli effetti. L’analisi delle caratteristiche ha richiesto l’accesso alle banche dati disponibili sui dati di bilancio (a tal fine si è fatto riferimento alla banca dati AIDA-Bureau Van Dijk) – da cui sono state estrapolate le informazioni circa la dimensione, la redditività, la solidità finanziaria, anche in prospettiva comparata rispetto all’universo delle cooperative sociali italiane e piemontesi – e la raccolta di informazioni specifiche sulle dimensioni di investment readiness – quali organizzazione e caratteristiche del sistema di conduzione della cooperativa, livello di decentramento delle responsabilità, caratteristiche del capitale umano, innovazione, apertura all’ambiente – che hanno invece necessitato di una raccolta attraverso questionario in auto-compilazione da parte delle cooperative sociali. Sempre tramite questionario si è anche svolta la raccolta delle informazioni più specifiche relative ai bisogni riorganizzativi a fini strategico-strutturali. La procedura di raccolta dati si è rivelata alquanto onerosa, anche per la collaborazione non ottimale da parte di tutte cooperative^[4], e nel complesso ha portato alla nostra attenzione l’utilità di un potenziale osservatorio sulla realtà delle imprese sociali piemontesi che fosse in grado di sistematizzare la raccolta di questo tipo di informazioni (idea progettuale che abbiamo dunque inserito tra i punti della nostra agenda per il prossimo triennio).

La stima dell’impatto non si è rivelata facile. In letteratura non c’è ancora sufficiente chiarezza su quali siano i principali indicatori atti a cogliere il cambiamento organizzativo e l’investment readiness e come debbano essere misurati. Non si è quindi potuto utilizzare questionari validati. C’è inoltre uno sfasamento sostanziale tra i tempi richiesti dalla programmazione operativa della Compagnia e i tempi per la misurazione dei reali effetti dell’iniziativa. Mentre i primi sono tendenzialmente annuali e, al massimo, triennali, i secondi sono molto probabilmente più di medio-lungo periodo. Infine, nel caso specifico, ci si è dovuti confrontare con l’esiguità del numero dei casi analizzabili – ossia delle cooperative sociali che hanno fatto domanda al bando (58 su un universo di 626 con sede nel territorio delle province a cui era rivolto il bando) – in rapporto all’elevata eterogeneità nelle loro specificità (tipologia, dimensione, settore, situazione economica e finanziaria ecc.). Tale esiguità ha subito escluso la possibilità di adozione di un approccio di valutazione controfattuale sperimentale (con individuazione di un gruppo di controllo tramite estrazione casuale nel gruppo di coloro che hanno presentato domanda), possibilità comunque comprensibilmente poco amata dagli officer responsabili dell’iniziativa in quanto vanifica parte degli sforzi da loro perpetrati per arrivare alla selezione ottimale – sulla base del merito e delle potenzialità – del gruppo di partecipanti. La stessa esiguità ha impedito di individuare quale gruppo di controllo i primi esclusi e implementare un Regression Discontinuity Design, ossia stimare gli effetti dell’iniziativa comparando i miglioramenti (eventuali) osservati in coloro che si sono piazzati “appena sotto” la soglia che ha determinato l’ammissione al finanziamento con quelli di coloro che si sono piazzati “appena sopra” la stessa. Il compromesso a cui si è giunti è quindi stato quello di svolgere un’analisi pre-post e un confronto tra l’evoluzione nella condizione dei tre gruppi di partecipanti all’iniziativa – gli esclusi, gli ammessi alla prima fase, gli ammessi alla seconda fase – implementando un’analisi delle Differenze nelle Differenze. La procedura, consolidata in letteratura, non è ovviamente esente da problematiche che ci sono ben chiare: si basa infatti sul forte assunto che pur partendo da posizioni diverse, il trend del cambiamento in assenza di trattamento (ossia, in questo caso, in assenza del progetto) sia uguale tra gruppi e che, quindi, lo scontamento tra i miglioramenti osservati nel gruppo degli ammessi rispetto al gruppo dei non ammessi sia interamente imputabile al progetto^[5].

Per arrivare a poter derivare dalla valutazione chiare implicazioni di policy utili a affinare e/o ri-orientare l’attività in questione, alla valutazione d’impatto abbiamo poi affiancato una valutazione qualitativa, che documentasse l’implementazione delle azioni, esplorasse le relazioni e i ruoli assunti dai diversi attori (personale delle cooperative, consulente strategico-organizzativo, consulente tecnico) e sondasse le opinioni delle cooperative sull’iniziativa (inclusi i suggerimenti per la riprogrammazione). Tale valutazione è realizzata mediante l’analisi della documentazione periodicamente inviata dalle cooperative e con interviste semi-strutturate con gli attori che hanno partecipato alle diverse fasi dell’analisi.

La scelta del metodo misto si è rivelata particolarmente utile con l’insorgere del radicale sconvolgimento portato dall’emergenza Covid-19, che si configura come un enorme shock esogeno e, per molti versi, come un vero e proprio break strutturale, sia per quanto riguarda le condizioni economiche generali sia per quelle operative. Se un evento inatteso di tale portata di fatto vanifica ogni sforzo fatto per stimare l’impatto di SEED – giacché è probabile che abbia cambiato profondamente, almeno nel breve periodo, i bisogni e dunque anche il commitment delle cooperative verso la realizzazione del progetto – dalla valutazione qualitativa si auspica sia comunque possibile trarre spunti/suggestioni utili almeno ad affrontare alcuni nodi cruciali per la riprogrammazione. Tra le domande a cui si proverà a dare risposta figurano le seguenti: 1) È meglio lasciare libertà nella nomina del consulente o proporre noi degli esperti qualificati? 2) Il bando è stato veramente l’occasione per effettuare una revisione ragionata della propria organizzazione e per rendere gli operatori più consapevoli e motivati (nonché soddisfatti)? 3) Il finanziamento concesso si è dimostrato sufficiente a coprire i costi vivi del rinnovamento organizzativo?

La stessa indagine qualitativa aiuterà inoltre ad esplorare meglio le conseguenze dell’emergenza e in particolare ad evidenziare se ha determinato l’insorgere di nuovi bisogni o ha potenziato quelli già espressi e ha suggerito altre priorità strategico-riorganizzative. Purtroppo, data la limitatezza del campione, anche questa parte difficilmente porterà a conclusioni generalizzabili all’intero mondo della cooperazione sociale locale.

Conclusioni

La valutazione, per una fondazione come la Compagnia, si rivela utile solo se ne possono essere derivati: a) chiari contenuti informativi sull’attività della fondazione a beneficio degli stakeholder e (soprattutto) b) chiare implicazioni di policy, in grado di guidare ad una programmazione sempre più efficace ed efficiente. La letteratura insegna che esistono diverse metodologie di valutazione e che le stesse differiscono sia in termini di capacità di desumere evidenze utili alla programmazione strategica, sia in termini di robustezza statistica (e dunque credibilità) delle conclusioni a cui giungono. Da questa considerazione deriva l’impegno dell’Unità di valutazione di Compagnia rivolto, da un lato, all’impostazione di valutazioni quanto più possibile ispirate al rigore scientifico – con conseguente predilezione per gli approcci quantitativi e controfattuali – e, dall’altro, alla ricerca di soluzioni valutative, anche mixed, ma capaci di essere veramente informative.

La complessità dei progetti di Compagnia spesso non facilita il valutatore e, come si è cercato di illustrare nell’esempio del bando SEED, costringe a compromessi. In tale realtà “imperfetta”, crediamo tuttavia che il punto fondamentale rimanga – come è prassi in ambito accademico – una seria “discussione (auto)critica” dei risultati – la cui presentazione necessita di essere affiancata da una congrua analisi di sensitività alle ipotesi fatte – e della relativa robustezza statistica. Al momento, poi, anche le nostre esperienze di valutazione di maggior successo, mancano di sufficiente validità esterna per poter rispondere al meta-obiettivo enunciato nell’introduzione, ossia quello di fare delle fondazioni un reale laboratorio di soluzioni potenzialmente estendibili all’intero territorio nazionale, ma questo problema ha più a che fare con il modo in cui vengono realizzate le iniziative, che con il modo in cui vengono valutate.

Diventa inoltre sempre più importante cercare di creare una comunità di pratica che condivida le proprie esperienze a beneficio degli altri valutatori, studiosi e policy maker (nel nostro piccolo, Compagnia ha dallo scorso anno una sezione dedicata del sito in cui pubblica sistematicamente le sintesi delle valutazioni e delle mappature effettuate) e cerchi di collaborare alla creazione di osservatori tematici sui diversi fenomeni e sulle diverse politiche (uno tra tutti si può citare l’esperienza di ipsee, www.ipsee.info).

Si ringraziano Daniela Gregnanin, Gianfranco Marocchi e il referee di Impresa Sociale per i commenti ad una prima versione dell’articolo.

DOI: 10.7425/IS.2020.04.07

Bibliografia

Constantine N.A., Braverman M.T. (2004), “Appraising evidence on program effectiveness”, in Braverman M.T., Constantine N.A., Slater J.K. (eds.), Foundations and evaluation: Contexts and practices for effective philanthropy, Jossey-Bass, San Francisco.

Gertler P.J., Martinez S., Premand P., Rawlings L.B., Vermeersch C.M.J. (2016), Impact Evaluation in Practice, Second Edition, Inter-American Development Bank and World Bank, Washington DC.

Martini A. (1999), Venture capital for social change. Le fondazioni americane e la ricerca di soluzioni innovative ai problemi sociali, Quaderni della Fondazione G. Agnelli, Torino.

Martini A., Romano B. (2008), “Quale valutazione per le fondazioni grantmaking”, in Turati G., Piacenza M., Segre G. (a cura di), Le fondazioni: solo un patrimonio alla ricerca di uno scopo? Un percorso di lettura in chiave economica, Edizioni Fondazione G. Agnelli, Torino.

Martini A., Sisti M. (2011), Valutare il successo delle politiche pubbliche, Il Mulino, Bologna.

Tiresia (2018), Tiresia Social Impact Outlook 2018, Domanda e offerta di capitali per l’impatto sociale in Italia, Politecnico di Milano.