La valutazione di impatto sociale. Il metodo controfattuale applicato a Percorsi ACHAB

Abstract

Questo caso studio è basato sul progetto di sostegno alla formazione universitaria per giovani provenienti da contesti socio-economici svantaggiati, di cui, a fini valutativi, è stata realizzata da ASVAPP e ISVAPP un’analisi contro-fattuale tramite randomizzazione. L’approccio innovativo qui documentato amplia le prospettive di ricerca attualmente aperte in campo applicativo per l’analisi dell’impatto sociale.

DOI: 10.7425/IS.2019.13.06

Introduzione

In Italia il passaggio da un modello di welfare state, in cui è protagonista lo Stato, che, prelevate le risorse/tasse dai cittadini, provvede a redistribuirle tramite l’erogazione di servizi, ad uno di welfare civile, in cui i cittadini sono coinvolti nella pianificazione e produzione dell’attività delle imprese sociali, fa emergere la necessità di valutarne l’impatto (Zamagni et al., 2017).

La valutazione “è principalmente (ma non esclusivamente) un’attività di ricerca sociale applicata, realizzata, nell’ambito di un processo decisionale, in maniera integrata con le fasi di progettazione e intervento, avente come scopo la riduzione della complessità decisionale attraverso l’analisi degli effetti diretti ed indiretti, attesi e non attesi, voluti e non voluti, dell’azione, compresi quelli non riconducibili ad aspetti materiali; in questo contesto la valutazione assume il ruolo peculiare di strumento partecipato di giudizio di azioni socialmente rilevanti, accettandone necessariamente le conseguenze operative relative al rapporto fra decisori, operatori e beneficiari dell’azione” (Bezzi, 2003 - p.60). Tutto questo può essere realizzato in momenti diversi, ex ante, in itinere o ex post (Palumbo, 2001) e in più step, afferenti la valutazione dei problemi sociali e dei bisogni ai quali si intende dare risposta, l’individuazione degli obiettivi, la predisposizione di una serie di progetti alternativi e la relativa scelta, la pianificazione e l’implementazione di un progetto, l’analisi dell’efficienza del progetto (vfreeman2004">Freeman et al., 2004). Il fine ultimo dello sforzo valutativo è l’ottimizzazione dei progetti e il miglioramento della loro efficacia: apprendendo dalle esperienze pregresse, si correggono gli errori e le criticità (Bilotti et al., 2009). Con una valutazione di impatto, si sposta l’attenzione dagli output e dalle performance alle evidenze di un cambiamento generato (Pantrini, 2018). Le esigenze di valutazione possono anche diventare un’occasione per rivedere gli approcci comunicativi, assumendone la responsabilità a livello strategico e coinvolgendo le risorse umane, verso un rafforzamento della identità e dell’immagine (Sensi, 2017).

Dal punto di vista giuridico, il legislatore ha incardinato questi aspetti con la legge n.106 del 2016, “Delega al Governo per la riforma del Terzo settore, dell’impresa sociale e per la disciplina del Servizio civile universale”, ove, nell’articolo 7 comma 3, è indicato cosa si intende per impatto sociale, facendo riferimento agli obiettivi dell’attività, alle metodologie esplicative e agli organi a ciò deputati (Depedri, 2016).

Partendo da queste premesse e per contribuire alla mappatura e all’analisi dei percorsi di ibridazione tra settore pubblico e privato, in questo paper, si fornirà l’analisi di un intervento di promozione dell’istruzione giovanile, realizzato – in logica bottom up e mutistakeholder – da una rete di attori composta da Pubbliche Amministrazioni, Fondazioni di Origine Bancaria e Centri di Ricerca, in un ambito territoriale localizzato. L’obiettivo specifico è evidenziarne le modalità di attivazione e di realizzazione del progetto, nonché i risultati ottenuti in termini di crescita socio-economica locale, al fine di presentare una good practice, che, adattata alle specificità presenti a livello locale, potrebbe costituire un pattern di sviluppo territoriale.

Dal punto di vista metodologico, l’analisi sul campo è riconducibile allo studio di caso, “indagine empirica che investiga un fenomeno contemporaneo entro il relativo contesto reale, soprattutto quando il confine tra fenomeno e contesto non è chiaramente definito. Il metodo dello studio di casi si usa pertanto quando si decide deliberatamente di considerare condizioni attinenti al contesto, nella convinzione che queste possano essere strettamente correlate al fenomeno studiato” (Yin, 1994 - p.13). Oltre all’analisi documentale dei report prodotti (Percorsi ACHAB, 2017) e dei dati diffusi online sul portale dedicato www.achabproject.com, sono state raccolte, tramite interviste, le testimonianze dirette degli ideatori e degli organizzatori operativi del progetto e agli esperti del tema trattato e del territorio analizzato. Ove è stato possibile, si anche è partecipato in qualità di uditore ai convegni di restituzione pubblica di quanto realizzato all’interno del progetto Percorsi ACHAB.

Percorsi ACHAB. Scopo e contenuti del progetto

Percorsi ACHAB (Affording College with the Help of Asset Building) è un progetto di sostegno allo studio, avviato nel 2010, in logica di asset-building, finalizzato a supportare l’iscrizione e la frequenza universitaria di studenti provenienti da famiglie a basso reddito (Bandera, 2017; Maglia, 2017).

I partner che contribuiscono al progetto sono l’Ufficio Scolastico Regionale per il Piemonte; l’Ufficio Pio della Compagnia di San Paolo; ASVAPP e IRVAPP. Si tratta di soggetti dalle diverse mission e competenze, che hanno trovato in Percorsi ACHAB modo e spazio di contemperare le proprie specifiche competenze, in modo complementare, per la riuscita di un intervento di promozione sociale. L’Ufficio Scolastico Regionale per il Piemonte è un organo amministrativo periferico del MIUR con il mandato di realizzare standard educativi e livelli di servizi atti ad assicurare la partecipazione scolastica. L’Ufficio Pio della Compagnia di San Paolo è stato fondato nel 1595 come referente per programmi di risposta ai fenomeni di povertà ed esclusione sociale nell’area metropolitana torinese. ASVAPP e IRVAPP sono invece enti dedicati alla realizzazione di analisi di politiche pubbliche nonché alla promozione della conoscenza e dell’utilizzo di strumenti valutativi tra le organizzazioni pubbliche e non profit.

Come riportato nella Tabella 1, i criteri di ammissione socio-economici al progetto da soddisfare sono tre: residenza in provincia di Torino; frequenza del quarto o quinto anno di una scuola secondaria superiore; indicatore della situazione economica equivalente (ISEE) inferiore a 25mila euro. Agli studenti selezionati per il progetto è richiesto, per sei anni successivi, di versare (su un conto dedicato) una cifra compresa tra 5 e 50 euro ogni mese, fino ad un tetto massimo di 2mila euro, per sostenere specifiche spese collegate ai propri studi futuri. L’Ufficio Pio integra poi – nel rapporto di 2:1 per le spese effettuate durante la scuola superiore e di 4:1 per le spese durante l’università –la quota depositata così che il risparmio massimo di 2mila euro, incrementato dagli 8mila euro del contributo, consente allo studente di avere a disposizione fino a 10mila euro.

Tabella 1. Percorsi ACHAB. Scopo, beneficiari e funzionamento del progetto. Fonte: www.achabproject.com

In risposta al primo bando sono pervenute oltre mille domande, di cui oltre la metà rispondenti ai criteri di ammissibilità, come riportato nella Tabella 2.

Tabella 2. Domande presentate in risposta al bando. Fonte: www.achabproject.com

L’intervento di sostegno all’istruzione proposto da Percorsi ACHAB utilizza la logica dell’asset-building, introdotta nei paesi anglosassoni dagli anni’90. L’ipotesi a fondamento del programma è che l’esistenza di una quota monetaria stoccata come risparmio inietti nelle persone in condizione di povertà sensazioni di sicurezza materiale e di controllo sulla propria vita e contribuisca, così, a rafforzare la reattività ad eventi avversi e la proattività di lungo periodo. Nel caso oggetto di esame sono prese in considerazione le caratteristiche culturali del contesto italiano e sono inclusi i concetti di coinvolgimento di nuclei familiari e di condizionalità nell’uso dei fondi ricevuti (le spese ammissibili sono riportate nella Tabella 3).

Tabella 3. Utilizzo dei fondi. Fonte: www.achabproject.com

I motivi di intervento di Percorsi ACHAB risiedono nella probabilità di iscrizione all’Università non omogeneamente distribuita, ma influenzata fortemente da fattori quali l’istruzione dei genitori, la posizione sociale e lo status economico. A ciò si aggiungono gli accresciuti vincoli di liquidità dovuti alla crisi economica che risultano ostativi la prosecuzione degli studi anche in presenta di background socio-familiari altrimenti favorevoli. Specificatamente, nella provincia di Torino, ove il progetto di sostegno al reddito è stato realizzato, la percentuale di laureati nelle aree periferiche si attesta intorno al 3,9%, quando nel centro-città il dato è pari al 30% (Istat, 2011).

La valutazione dell’impatto sociale: strumenti utilizzati e risultati registrati

Nel 2014 è stata realizzata una valutazione sperimentale per testare l’efficacia dell’intervento di sostegno della frequenza universitaria di studenti provenienti da famiglie a basso reddito Percorsi ACHAB, in seguito al contributo di un grant assegnato dall’Unione Europea nell’ambito del programma PROGRESS-EaSI. Questo programma metteva a bando da 700mila euro fino a 2mila milioni di euro, tenendo conto di quattro specifici aspetti: A new social policy innovation seeking to address relevant social needs; Implemented initially at a small scale given the uncertainty of its effects; Under specific conditions that enables to rigorously measure its impact; With the possibility of being replicated if the impact proves to be beneficial. L’analisi dell’efficacia è stata condotta da ASVAPP e ISVAPP, attraverso uno studio controllato randomizzato (RCT – Randomized Controlled Trials), procedendo tramite sorteggio alla creazione di due gruppi in tutto similari, eccezion fatta per l’esposizione al trattamento. Il disegno utilizzato dai ricercatori nella creazione di due gruppi, uno sperimentale ed uno di controllo, richiama i trial medici utilizzati per testare nuovi farmaci. Questa scelta è stata identificata come ideale rispetto a tra possibili scenari, definiti Always enrolled, Never enrolled e Complers. Nel primo e secondo caso, ossia selezionando solo liceali con profitto scolastico medio o studenti troppo marginali, con Percorsi ACHAB non si sarebbero create differenze, né cambiamento sociale, anzi si sarebbero sprecate risorse. Scegliendo invece il terzo target, ossia un gruppo composto da individui il cui comportamento ha chance di essere cambiato dall’intervento, si centrano gli obiettivi del progetto.

In una prima fase, sono stati dunque selezionati i due gruppi e, per assicurare una significativa numerosità, superiore a quanto effettivamente finanziabile, è stata data preventiva ed ampia promozione di Percorsi ACHAB. Per evitare di attrarre soggetti già nelle condizioni di accedere all’Università, sono stati esclusi dalla randomizzazione circa 450 studenti, le cui caratteristiche indicavano alta probabilità di iscrizione accademica futura (alta istruzione dei genitori, frequenza del liceo, buona carriera scolastica) o disinteresse dichiarato a proseguire gli studi. Da qui, per l’assegnazione ad un gruppo (di trattamento o di controllo) è stata utilizzata una randomizzazione a blocchi, basata sul tipo di istituto superiore frequentato e sulla coorte di appartenenza (quarto o quinto anno di iscrizione ad un istituto superiore). Nella Tabella 4 sono riportati i dati relativi alle fasi descritte.

Tabella 4. Randomized Controlled Trials. La numerosità dei gruppi. Fonte: elaborazione da www.achabproject.com

La successiva raccolta dati, realizzata tramite indagine telefonica ad hoc, ha avuto un tasso di risposta elevato in entrambi i due gruppi e un tasso di non-risposta (Attrition) maggiore tra i controlli, come risulta dai risultati illustrati nella Tabella 5.

Tabella 5. Tassi di non risposta (Attrition). Fonte: elaborazione da www.achabproject.com

Infine, con lo scopo di valutare la fase di targeting, sono state condotte interviste ai soggetti esclusi per supposta alta probabilità di iscrizione all’università, il cui tasso di immatricolazione è in effetti risultato pari al 94% e il superamento di almeno un esame nel primo semestre pari all’84%.

Per quanto riguarda i risultati ottenuti sui soggetti esposti al trattamento, poi, risulta che Percorsi ACHAB è efficace, dal momento che il tasso di immatricolazione risulta complessivamente accresciuto di 8,7 punti percentuali (20,5 punti percentuali quando gli studenti provengono dagli istituti professionali), anche le performance accademiche ottengono un incremento positivo, nei termini indicati nella Tabella 6.

Tabella 6. Effetti sulla probabilità di immatricolazione e sulle performance accademiche - Fonte: elaborazione da www.achabproject.com

Le ipotesi conclusive formulate da ASVAPP e ISVAPP sui motivi di successo di Percorsi ACHAB riguardano complessivamente tre dimensioni: l’allentamento del vincolo di bilancio, l’allargamento degli orizzonti futuri possibili e l’incoraggiamento. Secondo le interviste condotte, infatti, la certezza di risorse economiche porta gli studenti ad iscriversi a Percorsi universitari, anche più impegnativi e duraturi, consentendo la frequenza ai corsi senza necessità di occupazioni part-time, che altrimenti inciderebbero negativamente sui risultati accademici. Tutto ciò concorre a rafforzare nei giovani coinvolti una spinta motivazionale a riuscire in un progetto che consente margini di riscatto sociale. I beneficiari mostrano di aver appreso le finalità del progetto in termini di educazione finanziaria: si registrano livelli complessivamente crescenti di risparmio, attestando così che tra i giovani vi è stata una progressiva presa di consapevolezza nella gestione del denaro. Inoltre si è realizzato uno scambio orizzontale tra giovani (vi sono canali social in cui si scambiano consigli sulla scelta e sulla frequenza delle università) ed è stata così creata una comunità tra ragazzi che condividono problematiche comuni.

Dal punto di vista gestionale, il progetto presenta costi di struttura contenuti: è gestito da due operatrici (di cui una lavora part-time) in modo interamente informatizzato e richiede un importo annuo di 200 euro a studente. Ad oggi, sono stati coinvolti 1.304 studenti ed erogati 2.823.337,96 euro, utilizzati per il pagamento delle tasse scolastiche (28,9% dei casi); l’acquisto di tecnologie (25%); i trasporti (12%); l’affitto (9,4%); l’acquisto di libri (8,5%); la frequenza di corsi di lingua e di informatica (4,7%) e di seminari (2,2%) o altro (9,3%).

Conclusioni

In questo contributo si è trattata, tramite uno studio di caso (Percorsi ACHAB), la tematica del processo di valutazione dell’impatto sociale, ovvero un’attività di ricerca sociale applicata volta a fornire dei giudizi empiricamente fondati, che si propone di comprendere se un determinato è stato svolto nei termini e nei modi previsti e ha prodotto gli effetti desiderati. Si tratta di un approccio che svolge importanti funzioni in termini di accountability, learning e knowledge sharing: rendendo conto di quanto realizzato, riflettendovi criticamente e restituendone conoscenza si centrano rilevanti obiettivi di trasparenza, auto-miglioramento e ri-orientamento delle politiche.

Inquadrati i principali riferimenti presenti in letteratura sull’argomento, sono stati quindi presentati i contenuti di un progetto di sostegno all’istruzione scolastica, criticità pressante in Italia, considerati i problemi nella trasmissione della conoscenza in Italia in termini di variabilità dei livelli di istruzione sul territorio, ritardo rispetto ai paesi più avanzati e tassi di abbandono (Istat, 2018). L’analisi di Percorsi ACHAB, condotta con il metodo controfattuale tramite randomizzazione, permette di migliorare la comprensione delle logiche sottese alla Theory of change e ne offre degli spunti per un utilizzo consapevole. Innanzitutto, risulta chiara l’importanza di una preventiva definizione degli indicatori di impatto e della comprensione dei bisogni del territorio. In secondo luogo, posto che nella pratica la misurazione dell’impatto socio- economico può avvalersi di più tecniche, ponendo il focus su aspetti che ineriscono l’ambito statistico o l’analisi costi-benefici, l’utilizzo di un procedimento afferente ad un settore scientifico diverso rispetto all’usuale nelle politiche sociali apre nuove prospettive di ricerca. Complessivamente, questo studio di caso contribuisce alla dissemination di lezioni apprese e conferma il successo che reti di soggetti multistakeholder possono avere nei casi di fallimento dell’intervento statale in tema di protezione sociale (Maino, Ferrera, 2017).

Bibliografia

Bandera L. (2017), “Valutare per scalare: cosa possiamo imparare da Percorsi ACHAB”, Percorsi di Secondo Welfare, 1 dicembre 2017.

Bezzi C. (2010), Il nuovo disegno della ricerca valutativa, Franco Angeli, Milano.

Bilotti A., Nasi L., Tola P., Volterrani A. (2009), “La valutazione di impatto sociale dei progetti di volontariato toscano”, I Quaderni, n. 43, Cesvot.

Depedri S. (2016), La valutazione dell’impatto sociale nel Terzo Settore. Il posizionamento scientifico di Euricse e il metodo ImpACT, Euricse.

Freeman H.E., Lipsey M.W., Rossi P.H. (2004), Evaluation. A systematic Approach, Sage Publication.

Istat (2011), Censimento della popolazione e delle abitazioni, Roma.

Istat (2018), Rapporto sulla conoscenza, Roma.

Maglia E. (2017), “Valutazione dell’impatto sociale: i risultati del progetto ‘Percosi ACHAB”’, Percorsi di Secondo Welfare, 21 ottobre 2017.

Maino F., Ferrera M. (2017), Terzo Rapporto sul Secondo Welfare in Italia, Centro di Ricerca e Documentazione Luigi Einaudi, Torino.

Pantrini P. (2018), “La questione della misurazione dell’impatto sociale. Proposta di un percorso intenzionale”, Percorsi di Secondo Welfare, 12 gennaio 2018.

Percorsi ACHAB (2017), Moltiplicare il risparmio familiare.: un modo efficace per sostenere la scelta universitaria, www.achabproject.com

Palumbo (2001), Il processo di valutazione. Decidere, programmare, valutare, Franco Angeli, Milano.

Perrini F., Vurro C. (2013), La valutazione degli impatti sociali. Approcci e strumenti applicativi, Egea, Milano.

Seni G. (2017), “Comunicare l’impatto sociale”, Confini Online, Le regole del non profit, 10 novembre 2017.

Zamagni S., Venturi P., Rago S. (2015), “Valutare l’impatto sociale. La questione della misurazione nelle imprese sociali”, Impresa Sociale, n. 6.2015, pp. 77-97.

Yin R. (1994), Case study research: Design and methods, Sage Publishing, Thousand Oaks, CA.