La valutazione di impatto: versione forte e versione debole

Introduzione

A cavallo tra la fine degli anni ‘70 e l’inizio negli anni ‘80, come ricorderanno tutti coloro che seguivano le discussioni di macroeconomia e politica economica, si accese un dibattito assai vivace e polemico sul tema delle aspettative razionali. Se il monetarismo mark 1 aveva messo in dubbio l’efficacia della politica macroeconomica nel lungo periodo (e cioè aveva criticato la possibilità che il governo avesse la capacità, con le sue politiche, di influenzare i livelli di occupazione e di reddito), il monetarismo mark 2, quello delle aspettative razionali, portava a risultati ancor più eclatanti: anche nel breve periodo la politica economica era del tutto incapace di influenzare reddito e occupazione. La questione di come gli operatori economici formassero le loro aspettative era centrale per definire gli effetti macroeconomici di interventi di politica economica. Senza entrare nel merito di quel dibattito, è interessante notare che contro l’ipotesi di aspettative razionali e della conseguente inefficacia della politica economica si scagliarono i cosiddetti neokeynesiani, una minoranza combattiva di economisti che sottolineò come l’ipotesi alla base dei modelli con aspettative razionali era quantomeno strana perché supponeva che tutti gli operatori economici avessero tutte le informazioni (dati, decisioni di politica economica, etc.), conoscessero il modello macroeconomico “vero” e fossero, quindi, sempre in grado di formulare aspettative (in media) corrette sull’andamento del sistema economico e dell’inflazione. Qui basti ricordare il vigore con cui Nicholas Kaldor criticò questa nuova moda parlando senza mezzi termini di una malattia mentale che aveva colpito molti economisti da un giorno all’altro.

La reazione da parte del gruppo di economisti ortodossi più avveduti, che l’ipotesi di aspettative razionali avevano abbracciato senza indugio per poi giungere alla conclusione che non vi fosse spazio per politiche di stabilizzazione, non fu tanto quella di difendere a spada tratta l’idea “forte” di aspettative razionali, ma di proporre un’idea “debole” di aspettative razionali, ponendo in evidenza la ragionevolezza di un’ipotesi sulla formazione delle aspettative del tutto coerente con il metodo degli economisti: l’agente economico sfrutta sempre tutte le informazioni che ha a disposizione per ottenere un valore il più corretto possibile delle variabili attese a cui è interessato, quindi anche dell’inflazione attesa.

Da quel momento in poi nella letteratura macroeconomica è sorta la distinzione tra una versione forte, hard, delle aspettative razionali e una versione debole, weak. La prima veniva associata alla capacità degli agenti economici di prevedere correttamente l’andamento dell’inflazione e anticiparla nei propri comportamenti e nelle proprie scelte, la seconda era invece associata ad una generica necessità di superare quell’approccio alle aspettative, che veniva definito in letteratura “aspettative adattive”, e cioè una modellizzazione delle aspettative di inflazione per la quale l’agente economico formulava le proprie aspettative sull’inflazione basandosi sui valori passati della variabile stessa così da poter sistematicamente sbagliare la previsione. La versione forte, però, si basava su presupposti difficili da accettare (come si è detto, conoscenza del modello macroeconomico “esatto” – perché ce n’è uno solo e il dibattito tra scuole è superato! – da parte di tutti gli operatori, conoscenza da parte del singolo agente economico degli stessi dati e delle stesse informazioni delle autorità di politica economica e, last but not least, capacità di elaborare le informazioni come il miglior ufficio studi al mondo sulla congiuntura macroeconomica). La versione debole delle aspettative razionali (l’agente economico sfrutta tutte le informazioni a disposizione quando fa previsioni) non richiedeva tutte queste assunzioni “eroiche” ed era, quindi, assai più accettabile; e, infatti, fu presto accettata quasi all’unanimità. Essa, però, non conduceva a quei risultati teorici sulla inefficacia della politica economica che i sostenitori della versione hard delle aspettative razionali pretendevano di aver dimostrato. … Eppure, il mondo è andato nella direzione di far sì che la stragrande maggioranza degli economisti e dei “consiglieri del Principe” facesse proprie le conclusioni legate alla versione hard delle aspettative razionali e solo oggi, dopo circa 40 anni, si intravede la possibilità di uscire dal tunnel di cicliche recessioni e crisi sistemiche pericolose in cui quelle idee ci hanno portato… Ma forse non è questa la sede dove sviluppare questi ragionamenti.

Richiamavo questa vicenda della discussione sulla teoria delle aspettative razionali, forse molto “interna” al dibattito macroeconomico di qualche decennio fa, per introdurre un ragionamento che a me sembra corretto sul tema dell’impatto, dell’impatto sociale, divenuto negli ultimi tempi un argomento centrale delle discussioni sulle politiche sociali, sulla filantropia strategica, sulle imprese sociali e sul terzo settore. Sembra che la letteratura (e la prassi) si muova anche in questo caso tra lo Scilla di una definizione forte, hard, di impatto sociale che sembra assai criticabile, e il Cariddi di una definizione debole, weak, di impatto sociale che per certi versi aggiunge poco alla discussione sulla valutazione ex post e sulla necessità – sottolineo necessità – di guardare ai risultati (agli outcome) dell’azione sociale con la consapevolezza che indicatori, misure, numeri precisi non possono mai essere considerati fedeli rappresentazioni di quello che avviene nella realtà sociale, né, tanto meno, modalità di tagliare con l’accetta in modo preciso ciò che è riconducibile a un progetto o ad una azione e ciò che va, invece, ascritto a qualche altra causa – uso volutamente una parola impegnativa – che è intervenuta durante lo svolgimento del progetto o dell’intervento.

Si sta volutamente usando le espressioni “azioni”, “interventi”, “progetti”, perché il tema della valutazione di impatto delle organizzazioni (soprattutto se si abbraccia la versione hard della valutazione di impatto sociale) richiederebbe un discorso a sé, probabilmente ancor più critico, che non si può sviluppare in questa sede.

Anche nel dibattito sulla valutazione di impatto, ci sembra di poter dire, sembra esserci chi è propenso a ritenere che sia possibile costruire misure oggettive e rappresentazioni della realtà in grado di dirci in modo preciso, e inoppugnabile, se un impatto è stato generato, quale impatto è stato prodotto da un progetto, da un’azione o da una iniziativa sociale e, semmai, anche proporre una valutazione economico-monetaria di esso così da dare indicazioni precise sul se (e quanto) i soldi impiegati per la realizzazione di quel progetto hanno determinato delle conseguenze che dal punto di vista economico sono davvero positive. Esiste dunque una definizione forte di impatto sociale che sembra muovere alcuni di coloro che fanno ricerca o che applicano tecniche per valutare l’impatto sociale di progetti e iniziative da finanziare, e che tendono a sostenere la possibilità di produrre univoche valutazioni dell’impatto generato da coloro che in queste iniziative sono stati impegnati, con l’annessa conseguenza di poter finalmente fare classifiche e dare patenti di efficienza al terzo settore.

Per fortuna esiste anche una letteratura, a parere di chi scrive, più avveduta che tende a partire dal presupposto che non sia possibile rappresentare in modo esaustivo con un numero, o anche con un vettore di numeri, i risultati attribuibili all’azione, al progetto oggetto della valutazione di impatto. E, con buona pace di chi vorrebbe sapere in modo “oggettivo” e univoco chi è stato il più bravo o anche solo se i soldi impiegati sono stati ben spesi, questa modalità debole di proporre “valutazioni di impatto” rimane solo un elemento valutativo importante che offre indicazioni utili a orientare scelte future, ma non propone giudizi definitivi e con crisma di scientificità assoluta.

Esiste, dunque, a parere di chi scrive, anche nel dibattito sull’impatto sociale una versione debole di cosa debba intendersi per impatto sociale e dei modi in cui questo vada differenziato dai risultati di un progetto o di un’iniziativa. Questo tipo di valutazione di impatto aggiunge alla riflessione sui risultati di un progetto qualche elemento che prova ad isolare le conseguenze direttamente riconducibile al progetto da quelle che, in un qualche senso, non possono essere ad esso ricondotte perché prodotte, con probabilità elevata, da vicende esterne o da elementi di ordine più “macro” non direttamente ascrivibili ai meriti o ai demeriti di chi l’iniziativa la porta davanti.

Alla luce di queste considerazioni generali e senza alcuna pretesa di esaurire un tema vasto e assai problematico, nel prosieguo di questo breve scritto si cercherà di spiegare perché si preferisce la versione debole della valutazione di impatto. Nella sezione che segue si discuterà, in modo breve e preliminare, alcune questioni “fondative” relative a spazio, tempo e nessi di causalità; si proporranno, poi, alcune sintetiche considerazioni su una tesi: la versione forte della VIS si affida a esercizi controfattuali, la versione debole adotta metodologie riferibili alla teoria del cambiamento. Nelle conclusioni, infine, si formulerà l’auspicio che non si ripeta la storia del dibattito sulle aspettative razionali che ha visto la insignificanza quasi assoluta dell’approccio weak rispetto alle scelte di politica economica tutte (o quasi) ispirate per molti lustri alla logica della visione hard delle aspettative razionali.

Spazio, tempo e nessi di causalità nella valutazione di impatto. Cenni

Le categorie di spazio e tempo, come è noto, rappresentano elementi indispensabili perché la nostra ragione possa conoscere i fenomeni naturali, come quelli sociali ed economici in modo preciso; ed è, quindi, necessario collocare anche la valutazione di impatto sociale sempre entro uno spazio definito e un tempo chiaro.

Spazio

È certamente il luogo, inteso come territorio, ma anche, nel caso delle iniziative e progetti sociali, rappresentato dalle persone, dalle istituzioni, dalle relazioni che caratterizzano lo specifico di un progetto e dal territorio/comunità in cui avvengono i fatti che si vogliono approfondire e sui quali si vuole produrre una conoscenza. Ogni valutazione deve aver chiaro su cosa sta esprimendosi e, nel caso della VIS, trattandosi di impatto, gli effetti di “cosa” su “cosa”^[1]. Quanto alla prima “cosa”, si tratta di aver chiaro a quali azioni, interventi, iniziative specifiche si fa riferimento per valutare gli effetti che esse producono su… la seconda “cosa” menzionata in precedenza. Per quanto concerne, infatti, questa seconda “cosa”, si tratta di aver chiaro su quali persone, istituzioni e relazioni o situazioni si vogliono valutare gli effetti delle azioni indicate in precedenza. Compare palesemente anche l’esigenza di mettere in luce i nessi di causalità, e questo è certamente un aspetto cruciale e problematico di ogni tentativo di indagine scientifica, che voglia cioè produrre “conoscenza”; nel campo sociale ed economico ciò richiede sempre un’attenzione specifica e una consapevolezza della scivolosità del terreno su cui ci si muove. La realtà sociale ed economica, infatti, come è noto, non ha le caratteristiche di un laboratorio e gli eventi che in essa avvengono non sono “esperimenti”; è difficile, perciò, (per qualcuno è addirittura impossibile) isolare singole reazioni e affermare che A (causa) ha generato B (effetto), e ogni accadimento è, in qualche modo, il prodotto di tantissime cause... ma su ciò si dirà qualcosa più avanti.

Tempo

L’effetto, l’impatto rispetto a quando va considerato? Se un’azione si sviluppa nell’intervallo tra A e B (Figura 1), a quando bisogna riferire l’analisi degli effetti di questa azione? Al momento della sua conclusione? Cioè valutare gli effetti che ha prodotto nell’istante B? O prendere in considerazione un momento successivo, per esempio C? O un intervallo temporale e non un singolo istante, ad esempio il tempo BC? E quanto lungo deve essere questo intervallo? Siamo sicuri di poter scegliere bene il momento (o l’intervallo temporale) in cui valutare l’impatto? E se gli effetti più rilevanti si produrranno dopo che il momento C è stato raggiunto? Tra l’altro, non possiamo ignorare che la scelta del momento migliore per valutare l’impatto è fortemente influenzata dal fatto che quanto più C è vicino a B, tanto più facile sarà la raccolta delle informazioni e i dati necessari e tanto maggiore sarà la probabilità di riuscire ad “isolare”, per dir così, gli effetti prodotti dall’azione condotta nell’intervallo AB, ma tanto più probabile sarà che la VIS sia miope perché esclude gli effetti che l’azione genera in un tempo successivo.

Figura 1. Il fattore tempo per la valutazione d’impatto

Nesso di causalità

Ancora più complesso, come si è già detto in parte, è il tema del nesso di causalità di cui qui non potremmo che parlare per cenni molto generali e incompleti, come, d’altra parte, si è fatto per spazio e tempo. Enfatizziamo soprattutto le difficoltà che si incontrano ogni volta che si valutano impatti; e ciò al fine di chiarire che ogni visione forte della valutazione di impatto rischia di infrangersi contro gli scogli dei nessi di causalità non sufficientemente approfonditi prima ancora che su altri problemi di tecniche utilizzate o di dati insufficienti o non “puliti”.

Ogni disciplina scientifica, esclusa forse la matematica, così come si trova di fronte alla necessità di definire il tempo e lo spazio delle proprie analisi, si trova, in particolare nel caso delle scienze umane e sociali, di fronte alla necessità di chiarire, o meglio di avere chiaro, in che senso sta argomentando le proprie proposizioni, rispetto alla relazione causa-effetto. È evidente che la relazione causa-effetto è indispensabile perché si possa parlare propriamente di passi avanti nella conoscenza dei fenomeni che si studiano, o nei confronti dei quali si vogliono esprimere dei giudizi o suggerire scelte e interventi. Anche nelle discipline storico-economico-sociali la relazione causa-effetto, a ben vedere, è ciò di cui ci si occupa nel momento in cui si cerca di spiegare i fenomeni e di ricondurli a delle “leggi” che possano essere, poi, considerate un avanzamento del nostro sapere e orientare scelte e strategie future. Di tutte queste cose sarebbe necessario parlare a lungo per non lasciare i ragionamenti sull’impatto – e cioè sugli effetti che determinate azioni, sviluppate all’interno dei progetti, hanno – ad un livello di superficialità inaccettabile, coprendo semmai con numeri e formule astruse la pochezza conoscitiva delle conclusioni che vengono raggiunte.

Dobbiamo dunque mettere in guardia sempre chi effettua le valutazioni di impatto dal rischio di una superficialità nell’approfondimento dei nessi di causalità, e cioè nell’analisi precisa dei nessi che legano attività e relazioni che in esse si sviluppano con gli effetti che si spera di generare. Gli esempi qui si potrebbero moltiplicare, ma limitiamoci a sottolineare come, ad esempio, tanti progetti con bambini, adolescenti e giovani puntano a generare effetti anche attraverso il coinvolgimento delle famiglie o delle comunità locali, e ciò che accade nelle famiglie, nei gruppi e/o nelle comunità locali nel mentre si realizzano le azioni progettuali può certo interferire in modo rilevante sui risultati del progetto stesso. E una VIS che guardasse solo i bambini finirebbe per perdere di vista altri importanti effetti del progetto, risultando quindi attaccabile sia sul piano logico che empirico.

Metodo controfattuale e teoria del cambiamento. Un cenno

A chi scrive sembra chiaro che, se si abbraccia la tesi forte sulla valutazione di impatto, la ricerca dovrà concentrarsi su metodi e tecniche che riescano ad isolare davvero i risultati attribuibili al progetto da tutto quello che si è prodotto sulle persone, sulle situazioni, sull’ambiente sociale, grazie a fattori diversi.

Da questo punto di vista, il metodo controfattuale diventa lo strumento da preferire perché – come avviene in altri campi, per esempio nello studio dell’efficacia dei farmaci – esso ha molte più possibilità di rappresentare in modo abbastanza certo ciò che è stato prodotto specificamente da quel progetto, da quella iniziativa; ma anche nel caso dei farmaci, bisogna dire, non dovremmo mai essere troppo sicuri della inoppugnabilità dei risultati ottenuti con un qualunque esercizio controfattuale che, tra l’altro, per essere ben fatto, come è noto, richiede risorse economiche e umane non indifferenti e strategie molto ben congegnate dal punto di vista scientifico, legale ed etico.

Il metodo controfattuale, sembra di poter dire, ha la pretesa di dire una parola chiara e, in qualche modo inoppugnabile, sull’impatto. Esso, infatti, costruisce esercizi volti a separare nettamente ciò che avviene grazie ad un certo intervento (trattamento) da ciò che non può essere ad esso attribuito perché si verifica anche in quel gruppo di controllo che non ha ricevuto il trattamento.

L’articolo di Gian Paolo Barbetta in questo numero di Impresa Sociale mette in evidenza in modo chiaro ed esemplare tutti i pregi di questo strumento di indagine sull’impatto. Anche chi scrive è convinto che, ove fosse possibile costruire un esercizio controfattuale in modo che il gruppo di controllo sia stato ben identificato e abbia le stesse caratteristiche del gruppo dei trattati e il tempo di valutazione degli effetti sia quello giusto, i risultati non possono che essere precisi e inoppugnabili.

Tuttavia, queste condizioni quasi sempre non si danno in modo preciso, negli interventi e progetti sociali e, fermandoci alla sola questione della costruzione dei due gruppi, penso che anche la statistica ci possa aiutare fino ad un certo punto in una selezione davvero corretta, quand’anche mettessimo da parte problemi etici o legali. Si pensi anche qui ai progetti per bambini, adolescenti e giovani: come si fa – mi domando – a selezionare due gruppi che per caratteristiche di bambini, giovani, adolescenti, per caratteristiche delle famiglie e degli altri elementi che entrano in gioco secondo il disegno progettuale, siano uguali (nel senso dell’estrazione casuale)? Inoltre, nel costruire il pool complessivo dal quale si scelgono il gruppo dei trattati e quello dei non trattati, sarà mai possibile avere una situazione nella quale l’estrazione casuale dà luogo al presupposto primo di un esercizio controfattuale corretto?

Se si propende per la versione debole della valutazione di impatto, non si farà troppo affidamento sulla possibilità di costruire esercizi controfattuali inattaccabili e dall’esito certo dei risultati ottenuti; si cercherà, invece, di ricorrere quasi sempre ad altre metodologie per provare a distinguere gli effetti prodotti dal progetto, dagli effetti che non possono, con relativa certezza, essere attribuiti ad esso. Di qui, ad esempio, la necessità di ricorrere all’approccio della cosiddetta teoria del cambiamento e la ricerca di vie per valorizzare il ruolo che può svolgere in questa analisi dell’impatto il logical framework. Esso, utilizzato nell’ambito della VIS, consente di riconnettere l’ex ante e l’ex post, o meglio di affermare che ciò che è accaduto dopo un certo tempo (da definire in modo il più ragionevole possibile, ma non per questo inattaccabile) era stato previsto in modo corretto in sede di redazione del progetto. Certo non vi sarà alcun crisma di certezza assoluta perché l’esercizio si baserà, in questo caso, semplicemente sul fatto che ciò che veniva previsto in sede di progettazione dell’intervento, si è effettivamente realizzato seguendo quei percorsi (quindi quelle relazioni causa-effetto) ipotizzati in partenza.

La teoria del cambiamento, dunque, utilizzando in modo adeguatamente approfondito ed esteso lo strumento del logical framework, può essere foriera di una valutazione di impatto rigorosa sì, ma in una logica meno ambiziosa in ordine alla possibilità di dire parole certe e definitive sull’impatto.

Conclusioni

In questo scritto – assai breve ed incompleto su temi così ampi e complessi da rendere troppo ambiziosa la pretesa di trattarli in modo sintetico ed esprimere giudizi definitivi – ci si è mossi per animare in modo costruttivo il dibattito sulla valutazione di impatto, dalla convinzione che nessuna certezza assoluta ci potrà mai essere sul fatto che siano state proprio le situazioni generate da un progetto o da una iniziativa sociale a determinare il risultato che si “legge” osservando la realtà dopo un certo lasso di tempo dalla conclusione del progetto stesso.

Se si vuole aumentare, per dir così, l’attenzione delle organizzazioni di terzo settore (e di tutti gli attori pubblici e privati) sui risultati generati da progetti e azioni sociali, a parere di chi scrive, meglio sarebbe accettare i limiti insuperabili di quella valutazione di impatto a cui si vorrebbe, da parte di qualcuno, far discendere una legittimazione (o una non legittimazione) di quelle istituzioni sociali che traggono, invece, il loro senso e la loro legittimazione dal solo fatto di esistere e popolare lo spazio tra individuo e Stato.

Se, comunque, una valutazione di impatto si ritiene uno strumento utile a dare ancor più riconoscimento al terzo settore e ai progetti e interventi che esso realizza, è meglio costruire e affinare i metodi che si muovano nella logica della teoria del cambiamento e che aiutino innanzitutto le organizzazioni a conoscere e ri-conoscere gli effetti prodotti dal loro agire. Gli esercizi controfattuali andranno proposti solo laddove possibili e accettando i limiti che anch’essi, inevitabilmente, conterranno.

È una versione debole, weak, della valutazione di impatto che può aiutare l’impresa sociale e il terzo settore (e non solo essi) a crescere in modo coerente con la propria identità e valorizzando il contributo che queste realtà possono dare ad un maggior benessere, in particolare delle persone fragili.

La storia del dibattito sui modelli di aspettative razionali sembra militare in direzione contraria a questo auspicio, ma, come cantava qualche anno fa Francesco De Gregori, “la storia siamo noi”, e non si spegne in chi scrive la speranza di riuscire a orientare le vicende nella direzione più giusta, anche attraverso la capacità di spostare la riflessione culturale, e il dibattito scientifico, dalle tecniche della VIS al modo in cui una valutazione di impatto consapevole dei suoi limiti è possibile e può svolgere un ruolo positivo per la crescita del terzo settore e del Paese.

DOI: 10.7425/IS.2020.04.05