Sostienici! Rivista-Impresa-Sociale-Logo-Mini
Fondata da CGM / Edita e realizzata da Iris Network
ISSN 2282-1694
impresa-sociale-2-2022-la-cooperazione-internazionale-allo-sviluppo-tra-efficacia-adattivita-e-controllo

Editoriale

L’inserimento lavorativo, malgrado le politiche

Carlo Borzaga, Gianfranco Marocchi

Saggi

Quello strano istituto dell’art. 112

Luigi Gili

L’economia sociale in Italia: dimensioni ed evoluzione

Carlo Borzaga, Manlio Calzaroni, Eddi Fontanari, Massimo Lori

Il terzo settore dei servizi sociali nella crisi sanitaria

Annalisa Turchini

Coproduzione nei servizi per l'infanzia

Agostino Cortesi, Maria Sangiuliano, Nicole Traini, Massimo Zancanaro

Il contributo del terzo settore contro la dispersione scolastica

Grazia Falzarano, Melania Verde

Il ruolo delle imprese sociali nell'agricoltura sociale

Francesco Amati, Italo Santangelo

Una buona valutazione nella cooperazione allo sviluppo

Maura Viezzoli

Saggi brevi

Comunità energetiche rinnovabili

Andrea Bernardoni, Carlo Borzaga, Jacopo Sforzi

Casi studio

Rigenerazione urbana e approccio alle capacitazioni

Gaetano Giunta, Liliana Leone

Numero 2 / 2022

Saggi

La cooperazione internazionale allo sviluppo tra efficacia, adattività e controllo

Maura Viezzoli

Introduzione

Tra i molti cambiamenti nell’approccio in cooperazione internazionale allo sviluppo portati dall’Agenda 2030 per lo Sviluppo Sostenibile[1], certamente uno dei più rilevanti e positivi ha riguardato l’attenzione al tema dell’efficacia dello sviluppo. Per la prima volta la comunità internazionale si è posta il problema in maniera sistematica dell’effetto generato dagli aiuti allo sviluppo, ha stabilito i principi per rendere l’aiuto più efficace, ha fissato la road-map per raggiungere questo obiettivo[2] e ha condiviso i parametri da utilizzare per valutarla[3]. Questo ha significato porre un’attenzione prioritaria ai risultati degli interventi di cooperazione e la necessità operativa di sviluppare strumenti di gestione dei progetti, dei programmi e delle politiche focalizzate sull’impatto a medio-lungo termine, piuttosto che soltanto sulla verifica, indispensabile ma più “contabile” delle attività realizzate e delle risorse impiegate.

Lo strumento elaborato dalle istituzioni internazionali[4], inclusa la cooperazione allo sviluppo dell’Italia, è il “Results based management[5] (RBM). Non si tratta dell’unico modello operativo esistente, ma certamente del più utilizzato attualmente. Il dibattito sui metodi più adatti per gestire e valutare i progetti di sviluppo è in continuo divenire e rispetto all’RBM, come vedremo, le opinioni sul suo migliore utilizzo sono diverse.

Anche la cooperazione italiana pone un’attenzione primaria al tema dell’efficacia, come illustrato nel Piano efficacia 2020-2022[6] e, allineandosi alla evoluzione del dibattito internazionale e su spinta decisiva della Peer Review[7] OCSE DAC del 2019, introduce nuovi approcci operativi, primo tra questi proprio l’approccio basato sui risultati (RBM)[8]. È quindi solo dal 2020 che la cooperazione italiana, in particolare la Agenzia Italiana di Cooperazione allo Sviluppo-AICS[9], ha introdotto l’uso dell’RBM, pertanto la sua applicazione è ancora agli inizi.

Senza avere la pretesa di offrire soluzioni, il presente articolo cercherà di portare argomenti a favore della tesi che l’applicazione del RBM nella cooperazione italiana vada vista come una novità positiva, ma debba essere accompagnata da una riflessione più consapevole sui mutamenti che da essa derivano e sui rischi che potrebbe comportare, sulla base di quanto si può apprendere da Paesi donatori e istituzioni internazionali che lo stanno utilizzando da più tempo. Il RBM va inoltre affiancato da un esercizio di monitoraggio sul suo funzionamento condiviso con gli stakeholder.

Nella prima parte di questo articolo si forniranno alcuni elementi del dibattito internazionale riguardo al concetto di efficacia, evidenziando come siamo arrivati a livello internazionale a dare enfasi a tale concetto, attraversi quali le tappe e su quali principi. Quindi si analizzeranno le ricadute operative dell’introduzione dell’RBM sul lavoro della cooperazione italiana e sulle ONG. Quindi si riporterà il dibattito internazionale rispetto all’RBM, soffermandosi in particolare sui modi si applicazione; si sosterrà l’importanza dell’approccio adattivo alla valutazione come elemento connaturato a una corretta applicazione dell’RBM. Si concluderà argomentando la necessità di un percorso di monitoraggio strutturato tra donatori e partner sull’applicazione dell’RBM nella cooperazione italiana.

La cooperazione internazionale: evoluzione del dibattito sull’efficacia

Il dibattito internazionale che ha portato, nel 2015, alla messa a punto della Agenda 2030 per lo sviluppo sostenibile – e che rappresenta oggi per tutti i Paesi del mondo, inclusa l’Italia, il quadro di riferimento delle politiche di sviluppo – vede al centro il tema dell’efficacia dello sviluppo. Vale a dire, quali cambiamenti reali attivino nei Paesi, nelle società, nelle comunità locali interessate le politiche, i programmi ed i progetti che il sistema della cooperazione internazionale allo sviluppo sostiene.

Perché il tema della efficacia è diventato così importante? Da dove nasce questa esigenza? Quali cambiamenti in termini di strumenti utilizzati ha comportato? E cosa vuole dire “efficacia” e rispetto a quale “sviluppo”?

Le radici di tale esigenza prioritaria – l’efficacia dello sviluppo – affondano nella storia della cooperazione internazionale allo sviluppo. Ricordiamo che essa nasce al fine di promuovere pace e collaborazione fra i popoli, all’indomani della Seconda guerra mondiale e con il riassetto dei rapporti internazionali che portarono alla nascita, nel 1945, dell’Organizzazione delle Nazioni Unite. Tale finalità si è concretizzata nei decenni con la costruzione di un complesso sistema di aiuti, fortemente influenzati nella concezione e nella attuazione dalle teorie economiche in voga nei vari momenti storici. Diverse idee sullo sviluppo portano, infatti, a diverse idee sul come promuoverlo.

Senza approfondire il tema delle teorie economiche sullo sviluppo che si sono susseguite dal dopo guerra ad oggi (rispetto a questo tema si rimanda a Vaggi, 2018), è qui importante offrire alcuni cenni circa il modo in cui esse hanno determinato il concetto stesso di sviluppo e quindi di efficacia dello sviluppo. Dalla prima concezione degli anni ‘40-‘50 che intendeva per sviluppo la crescita del reddito pro capite, e quindi la cooperazione allo sviluppo come una leva per la crescita economica, la nozione di sviluppo si è allargata a comprendere altre dimensioni come la salute, l’educazione, l’ambiente (Conferenza di Rio+20 del 2012), il buon governo, i diritti umani. Negli anni ’80, con il contributo fondamentale di Amartya Sen, lo sviluppo è riconosciuto essere un fenomeno multidimensionale che oltrepassa i confini dell’economia. Parallelamente anche il concetto di povertà si è evoluto e divenuto più articolato. Non è più definito solo come mancanza di reddito, ma anche come deprivazione ed esclusione, mancanza di possibilità di esprimere le proprie capacità e di decidere sul proprio futuro.

Gli Obiettivi di Sviluppo Sostenibile, contenuti nella Agenda per lo sviluppo sostenibile 2030, sono originati da questo dibattito sulla multidimensionalità dello sviluppo e sulla ricerca dei mezzi appropriati per raggiungerlo. Molti forum internazionali che si sono susseguiti fino al 2015 (e che proseguono tuttora in vista del processo post Agenda 2030) sono centrati sul tema dell’efficacia dello sviluppo e della necessità di coordinare le politiche di sviluppo dei vari soggetti in quella direzione.

Nel corso degli anni 2000, la discussione sul tema dell’efficacia dell’aiuto allo sviluppo ha assunto una direzione definita e al Second High Level Forum on Aid Effectiveness (2005)[10] a Parigi vengono elaborati i cinque principi guida contenuti nella Dichiarazione sull’Efficacia dell’aiuto allo sviluppo: la ownership da parte dei governi locali e dei vari stakeholder locali; l’allineamento (allignment) dei programmi di sviluppo alla strategia di sviluppo del Paese; la armonizzazione (harmonization) delle varie iniziative; la responsabilità reciproca (accountability) e soprattutto la creazione di un approccio di gestione basato sui risultati (Results Based Management). Ad Accra[11], nel 2008, i principi di Parigi vengono ribaditi dando però una maggiore enfasi alla ownership e al ruolo di tutti i partner coinvolti. Si passa dunque da un’enfasi sulla quantità dell’aiuto allo sviluppo e al suo management, ad una attenzione verso i risultati che l’aiuto allo sviluppo produce.

Questo passaggio è ben spiegato da Francesco Rampa nel 2011: “Recently, traditional ODA has been questioned as primary tool for lifting the developing world out of poverty. Many stakeholders and practitioners rather emphasise the importance of locally-owned development strategies and efforts, with development partners adopting a holistic approach to their engagement, focusing on outputs rather than inputs and taking into account not only ODA but all international financial flows, other relevant policies and the role of private sector and civil society. This challenges the prevailing Paris and Accra agendas, with development effectiveness (DE) (output and results of development assistance), are gaining increasing attention internationally, at the expenses in a way to aid effectiveness (AE) (mainly input and management of aid)” (Bilal, Rampa, 2011).

Una conseguenza naturale è la nuova attenzione al tema della valutazione come strumento – o insieme di strumenti – per misurare la efficacia dei programmi e dei progetti. Ne deriva un processo di aggiornamento da parte di OCSE DAC (il Development Assistance Committee dell'OCSE) degli strumenti e quadri metodologici elaborati dalla comunità dei donatori, la maggior parte dei quali è riunita nell’OCSE, finalizzati a migliorare le performance complessive delle cooperazioni bilaterali e multilaterali per quanto riguarda il disegno e l’attuazione delle politiche, dei programmi e dei singoli progetti. Tale processo culmina nella produzione dei sei+due criteri di valutazione di OCSE DAC.

Nel 1991 OCSE DAC aveva prodotto un set di cinque criteri (rilevanza, efficacia, efficienza, sostenibilità, impatto), al fine di costruire un quadro comune di valutazione dell’efficacia dello sviluppo. Dopo la firma della Agenda 2030, nel 2019, OCSE DAC Network on Development Evaluation (EvalNet), ha presentato il documento finale di un percorso, aperto e partecipato, in cui si presentano sei criteri (relevance, coherence, effectiveness, efficiency, impact and sustainability) più due principi trasversali per il loro utilizzo. I sei criteri (che soltanto in parte nel loro significato ripropongono i vecchi cinque) offrono una base di partenza per poter determinare la validità e l’efficacia di un intervento, che sia esso la applicazione di una politica, di una strategia, un programma, un progetto o una attività. Essi costituiscono uno schema condiviso da seguire per l’impostazione del lavoro valutativo e per la elaborazione delle domande di valutazione di tutti gli interventi.

Tuttavia, i due principi aggiuntivi sono fondamentali perché inseriscono l’elemento della “adattabilità rispetto ai contesti e agli stakeholder coinvolti”. Il primo principio dice: “…They should be contextualized – understood in the context of the individual evaluation, the intervention being evaluate, and the stakeholders involved”. Il secondo dice: “The criteria should not be applied mechanistically. Instead, they should be covered according to the needs of the relevant stakeholders and the context of the evaluation”[12].

Il set di sei+due criteri si pone all’interno del nuovo approccio di gestione dei progetti, sempre proposto da OCSE DAC, rivisto anch’esso per renderlo coerente con il focus sullo sviluppo sostenibile.

Infatti, sempre nel luglio 2019 OCSE DAC propone i Guiding Principles on Managing for Sustainable Development Results (MfSDR)[13] che riformano il Managing for Sustainable Results del 2006, per essere più rispondenti al nuovo contesto della cooperazione allo sviluppo, rinnovandone la pratica e aiutando le varie istituzioni a gestire i programmi di sviluppo e umanitari in modo da raggiungere i risultati sperati, in una maniera meno rigida ma più adattata al contesto locale. Il MfSDR non propone nulla di radicalmente nuovo rispetto all’approccio RBM sviluppato nel 2004 ai tempi della Dichiarazione di Parigi sull’efficacia dell’aiuto, ma ribadisce con forza alcuni elementi come la necessità di adattare i progetti al contesto, e lega l’uso delle informazioni, raccolte in sede di monitoraggio, ai risultati.

Ai processi di sviluppo viene riconosciuta una maggiore complessità; agli interventi di sviluppo viene chiesta una migliore aderenza al contesto locale, agli stakeholder coinvolti, ai tempi e alle modalità di intervento nella realtà; una consapevolezza della fragilità dei contesti e del fatto che spesso gli interventi agiscono in un regime di incertezza. Per questo, capire come coniugare l’esigenza di raggiungere i risultati promessi con l’apprendimento nel corso del progetto diviene più urgente.

La gestione adattiva dei progetti

Più recentemente la comunità internazionale sta ragionando su come affrontare questa complessità, come adottare un metodo di gestione che rafforzi la fase di implementazione del progetto, rendendola più permeabile ai cambiamenti del contesto, attraverso un approccio di gestione più adattivo, che includa come strumento necessario lo sviluppo di un sistema di Monitoraggio e di Valutazione per l’apprendimento (MEL)[14], che possa offrire risposte rapide alle domande di valutazione, e che possa essere aggiornato rapidamente. Questo esercizio va fatto senza cadere nella trappola di “inventarsi le cose via via che cambiano le situazioni”, ma mantenendo oggettività di informazione e rigore metodologico.

Adaptive management in international development and humanitarian work is an approach to addressing the sorts of complex problems that feature heavily in the Sustainable Development Goals. It is characterised by a flexible, exploratory approach in the face of uncertainty and complexity, involving testing, monitoring and getting feedback and – crucially – making course-corrections if necessary. It is often contrasted with approaches that emphasise adherence to detailed plans to solve development problems in a more linear, mechanistic way. In reality, there is a spectrum of management approaches between linear and adaptive. (Bond, 2016).

È questa una delle linee di riflessione più utili che si è sviluppata negli ultimi anni nel mondo della cooperazione internazionale. Capire come rendere compatibile, da una parte, la necessità di monitorare e programmare chiaramente un intervento, consentendo la condivisione e il controllo dei risultati raggiunti e, dall’altra, la necessità di adattarsi ai cambiamenti del contesto, e delle condizioni di contorno, che possono influenzare le priorità e il raggiungimento dei risultati stessi.

Infatti, sta aumentando la consapevolezza che gli interventi di sviluppo, per essere efficaci e portare dei cambiamenti, devono accadere vicino ai beneficiari, vicino alle comunità, in una dimensione di prossimità. Ma la prossimità richiede flessibilità.

Questa dinamica tra la organizzazione rigorosa dei progetti e la necessaria adattabilità al contesto, sebbene in sé stessa non sia una idea nuova, da alcuni anni sta ricevendo attenzione da parte di molte istituzioni internazionali che stanno cercando di conformarvisi operativamente, adattando politiche e programmi. In particolare, nel 2018 diverse istituzioni si sono coordinate per dare vita all’iniziativa GLAM (Global Learning on Adaptive Management Initiative) con l’obiettivo di rafforzare l’uso della gestione adattiva nel settore dello sviluppo, attraverso il focus sulla MEL (Monitoring, Evaluation and Learning) (Ramalingam et al., 2019).

La cooperazione italiana: tra esigenze di trasparenza e nuovi strumenti operativi

La cooperazione italiana è pienamente all’interno di questo processo di trasformazione verso una maggiore attenzione ai risultati dei progetti e delle politiche, alla efficacia delle proprie strategie, politiche e interventi di cooperazione allo sviluppo. La menzione al tema dei risultati si può trovare già nella legge 125/2014 all’art. 2 dove si indica che nel realizzare le iniziative di cooperazione allo sviluppo “l’Italia assicura il rispetto della gestione basata sui risultati”. E nel Piano Efficacia degli interventi 2020-2022: “La cooperazione italiana intende progressivamente adottare misure che introducano la gestione per risultati e che mettano in pratica gli impegni relativi al focus on results dell’Agenda sull’efficacia”[15].

La Peer Review OCSE DAC del 2019 riconosceva che l’Italia era solo all’inizio di un processo di costruzione di un sistema basato sui risultati e ne raccomandava l’accelerazione, invitando inoltre l’Italia ad ispirarsi, nella sua pratica, al Management for Sustainable Development Results. L'undicesima raccomandazione, inoltre, sollecitava il nostro Paese a dare priorità alla creazione di un sistema che collegasse progetti e programmi all’impatto desiderato, ai risultati a lungo termine e agli obiettivi di sviluppo sostenibile.

Recentemente l’AICS (Agenzia Italiana Cooperazione Sviluppo) ha cominciato ad avvicinarsi al Results Based Management chiedendo alle OSC di applicarlo per la presentazione dei progetti nell’ultimo Bando 2021. Si tratta di un risultato senza dubbio positivo, che allinea l’Italia alla dimensione europea; tuttavia, non c’è stato un adeguato dibattito con gli stakeholder sulle modalità di applicazione e non ci sono al momento occasioni programmate di monitoraggio della sua applicazione, che consenta di verificarne la funzionalità e la utilità rispetto all’obiettivo, da tutti condiviso, di aumentare l’efficacia dei progetti di cooperazione.

Il percorso di applicazione dell’approccio RBM in Italia è dunque ancora agli inizi. Ed è in questa fase che ci sembra particolarmente importante un dibattito aperto sulle condizioni per la sua applicazione.

Un elemento che a nostro avviso è cruciale è riflettere su come coniugare il rigore con la possibilità di adattare il progetto ai cambiamenti del contesto. Sarebbe a questo proposito utile fare tesoro delle esperienze fatte a livello internazionale.

Esperienze internazionali

Se è vero, come sostengono alcuni studi di OCSE DAC (OECD, 2019), che il principio della adattabilità del progetto al contesto, sulla base degli elementi di apprendimento dalle analisi e dalle valutazioni in corso d’opera, è parte integrante dell’approccio Result based, anche nel contesto italiano, andrebbe maggiormente approfondito e discusso il trade-off tra rigidità e adattabilità del progetto al contesto, tra approccio rendicontativo e approccio mirato all’apprendimento.

La Survey di OCSE DAC del 2021 (OECD, 2021) fornisce interessanti elementi di riflessione al riguardo e ci pone di fronte ai rischi di un uso meccanico dello strumento. La Survey individua alcuni elementi di criticità da parte dei Paesi donatori nella applicazione dell’RBM (che viene preso in considerazione assieme a metodologie come il quadro logico o la teoria del cambiamento) per definire la catena dei risultati a livello di progetto. La principale è che questi strumenti vengono utilizzati all’interno di processi burocratici che li ingabbiano, quindi non vengono sfruttati nelle loro potenzialità e sono utilizzati in maniera lineare e fissa, in modo da non poter accompagnare i cambiamenti che intervengono nel corso del progetto. La Survey aggiunge che sarebbe necessario valorizzare strumenti che, da una parte, sostengano un monitoraggio e una valutazione del progetto basato sull’evidenza e, d’altra parte, diano informazioni utili ad apprendere e modificare il progetto in corso d’opera, secondo principi di apprendimento e trasparenza. Nello specifico, viene osservato un dato interessante: l’analisi del contesto – con l’analisi di assumption e dei rischi e la stakeholder analysis – viene fatta soltanto in fase di disegno del progetto. Segnale che c’è una certa difficoltà a inserire elementi dinamici nel corso della attuazione del progetto, privilegiando ancora gli adempimenti burocratici che rispondono a una giusta logica di trasparenza sull’uso delle risorse, ma non danno spazio a una logica di apprendimento e ricentratura del progetto stesso.

La Survey ci dice, inoltre, che il Result Based Management, per prevedere un approccio adattivo, ha bisogno di una ambiente favorevole, dove gli stakeholder possano confrontarsi apertamente in un clima collaborativo; e che gestione adattiva dei progetti non vuole dire genericamente elasticità, ma mettere in piedi degli strumenti rigorosi ma specifici che consentano di farlo.

Un esempio concreto di applicazione del RBM in maniera adattiva

Secondo alcuni donatori, il LF al momento dello sviluppo del progetto deve definire non solo gli indicatori che valutino la riuscita del progetto, ma anche i valori di base di tali indicatori al momento della presentazione del progetto. Questo è piuttosto limitante in quanto spesso i valori di base a disposizione non sono specifici per un dato contesto o comunità. Come conseguenza o si scelgono indicatori generici (il meno possibile specifici al contesto) o in fase di gestione di progetto si rischia di partire da dati non accurati. I target, elaborati sulla base degli indicatori inizialmente definiti o non rispecchiano la realtà o sono troppo generici. Altri donatori hanno un approccio più flessibile, dando alla organizzazione che realizza il progetto non solo la possibilità di misurare i valori iniziali di un indicatore a inizio progetto (baseline), ma anche di aggiustare gli indicatori in corso di implementazione del progetto, sulla base dei dati disponibili o maggiormente adatti, nel contesto specifico, a misurare la efficacia della azione.

Ad esempio, un indicatore che inizialmente era: “% dei gruppi target che sono poveri secondo la Country survey condotta dal governo”, in accordo col donatore è stato modificato in: “% dei gruppi target (disaggregato per genere) che dichiarano di avere migliorato il consumo di cibo”.

Quest’ultimo indicatore può essere misurato specificamente nei gruppi target, (mentre il primo è generico per l’intero Paese), e misura l’impatto concreto delle attività di sicurezza alimentare.

In sintesi, potremmo dire che nella cooperazione italiana ci troviamo di fronte a un momento di passaggio nel quale si sovrappongono due culture diverse: la prima che si rifà a un modello più tradizionale legato all’applicazione del Quadro logico, un approccio di rendicontazione delle attività realizzate rispetto al budget speso; la seconda, che interviene con la introduzione del RBM, legata al concetto di risultato della azione del progetto, portatrice di una cultura della valutazione di apprendimento e adattività del progetto stesso, che però non ha ancora portato con sé un superamento della prima e una traduzione in strumenti nuovi all’interno del sistema organizzativo della gestione del progetto.

Ripensare il monitoraggio e la valutazione anche come processo interagente di apprendimento nel ciclo di vita dei progetti

Da dove nasce la esigenza di enfatizzare l’aspetto adattivo dei progetti? Ormai c’è un’ampia letteratura prodotta dalle principali istituzioni internazionali che approfondisce il tema, ma, a parte questo, vi è una consapevolezza diffusa negli operatori di sviluppo circa il fatto che i processi di sviluppo sono complessi e che il cambiamento o i cambiamenti si vogliono accompagnare – non indurre – nei contesti dove si lavora, richiedono un lettura attenta delle dinamiche locali, la tessitura di alleanze e reti, l’individuazione assieme ai partner e agli stakeholder dell’orizzonte di cambiamento (teoria del cambiamento) all’interno del quale identificare i cambiamenti possibili nell’arco di un progetto (outcome). A questo scopo la formulazione di un progetto, “un insieme di risultati da raggiungere e azioni da realizzare in un tempo dato con risorse definite”, costituisce una organizzazione logica delle varie fasi, ma non può aspettarsi di produrre meccanicamente il cambiamento. Si tratta di una astrazione: i progetti, infatti, si sviluppano in periodo di tempo che per produrre un cambiamento deve essere medio-lungo, vengono attuati in contesti socioeconomici che per loro natura sono dinamici e quindi non possono seguire una catena causale lineare. Senza considerare la situazione di fragilità e instabilità cronica di molti dei Paesi in cui lavoriamo, che ormai è purtroppo la condizione normale in cui i progetti vengono realizzati. Inoltre, per essere efficaci i progetti devono realizzarsi vicino ai beneficiari, nel loro ambiente, in una dimensione di prossimità e questo porta con sé inevitabilmente complessità e incertezza.

La diffusione del concetto di progetto adattivo, (con tutte le cautele del caso: adattivo non vuole dire “elastico” e non è quindi meno rigoroso), ci sembra aiuti nella discussione su processi di sviluppo che siano più aderenti alla realtà.

Quale monitoraggio e valutazione vogliamo?

Al fine di valorizzare appieno l’aspetto adattivo del RBM, sembra essenziale rafforzare i sistemi di Monitoraggio e valutazione con finalità di apprendimento (MEL), che superano o integrano la definizione classica della valutazione come ex ante, in itinere, finale ed ex post, per considerarla invece, o anche, come un momento della implementazione del progetto stesso.

Dal nostro punto di vista la MEL serve a sottolineare l’interazione dinamica che ci deve essere tra processi di progettazione, realizzazione e valutazione. Dare rilevanza alla MEL significa qualificare lo “sguardo critico” delle parti coinvolte e animare processi per l’apprendimento e per valorizzare le esperienze sul campo e trasformarlo in patrimonio cognitivo.

Questa modalità di lavoro può consentire di tenere meglio sotto osservazione il contesto in cui si opera e i cambiamenti (sia interni che esterni) che intervengono e consente, quando necessario, di avviare un processo di “forecasting” tra le parti (coinvolgendo committenti, beneficiari e finanziatori) per rivedere e rimodulare gli obiettivi e le azioni da intraprendere. Tutto alla luce della trasparenza, tracciabilità dei passaggi e nella tempestività di intervento. Complementare e distinta poi resta la valutazione esterna quale azione terza.

Diverse OSC prevedono azioni di monitoraggio e valutazione regolari e articolate, le rendono pubbliche in vari modi e cercano il confronto su di esse. Le collaborazioni con Università, centri di ricerca o consulenti qualificati, che producono ricerche e valutazioni di ottima qualità non sono una novità.

Tuttavia, tali esercizi faticano ad avere un effetto concreto sull’andamento dei progetti. Possono rimanere isolati, spesso sono fine a sé stessi e faticano a coinvolgere gli stakeholder in un confronto reale sui risultati raggiunti. Spesso la valutazione di un progetto rappresenta più un “adempimento” che un momento di analisi e comprensione di ciò che è stato fatto. E, va detto apertamente, non è raro il caso di documenti di valutazione tecnicamente perfetti, che contengono dati importanti, ma che non sono adeguatamente utilizzati dai donatori.

Le OSC e i metodi informali

Il punto di partenza del nostro ragionamento è che rafforzare la MEL nei progetti vuole dire utilizzare una vasta gamma di metodologie formali e informali.

Le scienze sociali hanno prodotto innumerevoli strumenti e metodi di raccolta dati e informazioni, utilizzati per monitorare e valutare i progetti e l’utilizzo di più metodi è la strada preferibile (Stame, 2016). Il problema è domandarsi quali siano i metodi più adatti al nostro obiettivo (Roche, Kelly, 2012)[16].

Le OSC hanno storicamente utilizzato, oltre alle metodologie formali, anche quelle informali, facendo sostanzialmente una gestione adattiva dei progetti, attivando strumenti di coinvolgimento degli stakeholder, basandosi su una forte vicinanza con i processi in atto, una forte interazione con i partner locali e la consultazione basata sulla presenza sul terreno. Si tratta, in particolare, di tutti quegli strumenti partecipativi che possono includere le riunioni periodiche con gli stakeholder, le consultazioni con i beneficiari, i focus group, le interviste, i comitati, ecc. Queste pratiche sono spesso avvenute sottotraccia, anche perché da una parte consentono di raccogliere l’indispensabile punto di vista di beneficiari, partner e stakeholder, ma dall’altra la loro carica soggettiva le rende poco utilizzabili perché non basate su “evidenze”.

Approcci informali e metodi qualitativi sono in uso comunemente e storicamente nei progetti delle OSC e si basano proprio sulla prossimità con i processi in atto. E penso che anche qui stia il valore aggiunto della presenza delle OSC e il loro sapere sullo sviluppo. Penso ai progetti che puntano a cambiamenti di atteggiamento o comportamenti, che affrontano il tema delle norme sociali rispetto ai minori o alle donne. Per loro natura hanno bisogno del coinvolgimento attivo degli stakeholder e quindi di strumenti finalizzati alla consultazione informale con i partner, con gli stakeholder primari e secondari, a ricevere un feedback dai decisori. Tutto questo, fornendo feedback fondamentali sull’andamento delle attività e sui risultati raggiunti, è fondamentale per verificare la efficacia del progetto.

D’altra parte, si è consapevoli che il rischio che va evitato è quello dell’“inventare le via via che si procede” e che per questo è necessario un rafforzamento delle capacità delle OSC di essere trasparenti nei vari processi, esplicitando la fonte delle informazioni e i vari punti di vista espressi.

Rafforzare i processi di Monitoraggio e Valutazione con finalità di apprendimento (MEL) deve essere inteso come un processo che assume strutturalmente le metodologie informali utilizzate, che danno peso e valore al contesto sociale all’interno del quale si realizza il progetto, sviluppando accanto un insieme di pratiche che consentano una revisione collettiva e trasparente delle risultanze. Si tratta quindi di processi più formalizzati, che consentano la raccolta di informazioni basate sull’evidenza, magari al fine di validare le informazioni raccolte informalmente. Si tratta di un processo aperto nel quale c’è molto spazio di sperimentazione e apprendimento e rispetto al quale è utile evidenziare alcuni orientamenti.

Va posta attenzione a non vanificare, con la applicazione di metodologie di gestione dei progetti troppo rigide, tutto questo patrimonio, ma vanno individuati strumenti per “validare” le risultanze di questi esercizi. (Ramalingam et al., 2019). Secondo alcuni autori, la MEL ha proprio l’obiettivo di fare da ponte tra l’utilizzo di metodi informali e quelli formali. Consente anche di rispondere a un problema essenziale della gestione adattiva e cioè la necessità che ci sia una certa coerenza temporale tra la raccolta di informazioni sull’andamento del progetto e la possibilità concreta di modificarlo nel momento opportuno.

Andare verso un sistema che rafforzi i processi evidence based deve tenere conto del fattore tempo: per raccogliere dati utilizzabili in tempo reale, servono strumenti specifici. A volte, infatti, le evidenze sul cambiamento di direzione del progetto sono state ricostruite a posteriori, anche perché la realtà sul campo cambia più rapidamente della nostra capacità di raccogliere informazioni e dati, e di elaborarli per poi trasformarli in input per il progetto.

Rafforzare le capacità in funzione della ownership della valutazione

La MEL non è un processo esterno, ma deve coinvolgere i partner locali e gli stakeholder.

La Risoluzione della Assemblea Generale dell’ONU del 2014, sostenuta anche dall’Italia, indirizza verso il potenziamento delle capacità dei Paesi in via di sviluppo di condurre valutazioni.

A questo proposito e in questa direzione andrebbe valorizzato l’Obiettivo 4 degli SDGs che riguarda il tema dell’educazione e del consolidamento delle istituzioni educative, anche promuovendo programmi di formazione universitaria multistakeholder, con la collaborazione delle società civili internazionali e nazionali, che lavorano concretamente nella realizzazione dei programmi, come formalizzato dall’Obiettivo 17.

Crediamo sia importante rafforzare la capacità delle Università locali di fare formazione sulla valutazione, sulle diverse metodologie di analisi e approcci della valutazione, offrendo la possibilità di accedere alle diverse metodologie valutative, la cui appropriatezza dipende dal contesto e dall’oggetto di valutazione. C’è la necessità di rafforzare le competenze nelle teorie di riferimento, la raccolta dati, e nell’uso delle metodologie tipiche della ricerca sociale.

Vediamo almeno due azioni per rafforzare le competenze dei partner locali:

  1. una di sistema, attraverso il mainstream della cultura della valutazione e delle scienze sociali nei corsi di formazione universitari e post-universitari e nell’aggiornamento professionale per funzionari della PA e delle OSC;
  2. la seconda nello sviluppo di partenariati multistakeholder sul tema della ricerca valutativa e della ricerca sociale, che vedano coinvolte università italiane, università locali, OSC.

La complessità degli strumenti messi in campo, se non viene gestita in maniera appropriata, rischia di allargare la distanza tra esecutore del progetto, responsabile della MEL e i suoi partner sul campo.

Il rafforzamento delle capacità dei soggetti di cooperazione, di quelli locali anche attraverso alleanze con l’accademia, può aiutare un processo di reale ownership dello sviluppo, che passa attraverso la partecipazione dei partner locali ai processi di monitoraggio e valutazione.

Un progetto UNIPV-AICS CISP in Kenya

Un’esperienza di coinvolgimento di partner locali è il programma di ricerca triennale previsto nell’ambito del progetto UNIPV AICS in Kenya, con coordinatore operativo il CISP. A partire da un programma di formazione iniziato in Kenya nel 2013 e basato su un partenariato multistakeholder molto sperimentato, è nata l’ipotesi di sviluppare un nuovo partenariato sulla ricerca e valutazione tra i poli universitari pavesi e kenyoti, con la collaborazione della società civile e nel quadro di un partenariato con la cooperazione italiana governativa. Il progetto, che segue l’approccio dello sviluppo umano, prevede tre ricerche su temi e aree geografiche diverse, partner operativi locali, un comitato scientifico della ricerca che vede la presenza di UNIPV, AICS Kenya, due università kenyote (la Kenyatta University, pubblica e il Tangaza College, privata), due OSC internazionali (il CISP e World Friends), diversi partner locali. Le ricerche offriranno la possibilità a borsisti italiani e kenyoti di acquisire competenze di ricerca e di realizzare le loro tesi.

L’avvio di un percorso condiviso tra donatori e partner dello sviluppo per discutere sulla applicazione del RBM

“Valutare per comprendere, apprendere e modificare” dovrebbe divenire un impegno per tutti, per le organizzazioni che realizzano i progetti, per i donatori che gestiscono risorse che devono essere spese a beneficio dei risultati, ai partner locali che partecipano dei suoi risultati.

Il partenariato può rappresentare un approccio efficace per poter promuovere e ricostruire una buona “cultura della valutazione” che possa aiutare a comprendere ed apprendere, a riposizionare in modo proattivo le azioni progettuali nei contesti in cambiamento e aiutare a formare quel tessuto di fiducia, confronto e condivisione che ci deve essere tra tutte le parti, tra gli operatori, i beneficiari e i finanziatori. Un rapporto di partenariato, come ci dice l’Obiettivo 17 degli SDGs, basato sulla fiducia, che condivida gli obiettivi di sviluppo, e si confronti sugli indicatori e le metodologie adatti a quel contesto e a quel progetto.

Questo potrà contribuire a portare anche al superamento della logica del finanziamento del singolo progetto e ad andare verso la condivisione di un percorso pluriennale in cui sia possibile sostenere le strategie condivise con la organizzazione partner; così come si possono porre a riferimento tra gli obiettivi anche quelli di valorizzare modelli collaborativi di rapporto tra Pubblica Amministrazione e OSC di cooperazione internazionale, anche in riferimento a quanto espressamente previsto dalla norma europea sul partenariato e il dialogo sociale e d.lgs. 117/2017 in merito a coprogrammazione e coprogettazione.

Importante sarebbe anche verificare l’impatto dei progetti delle OSC e legare la loro realizzazione con la pianificazione pluriennale della cooperazione italiana, su base geografica, superando la logica dei bandi come sono concepiti oggi e entrando nella logica della co-programmazione e co-progettazione, come anche suggerisce la Peer Review del 2019. La coprogrammazione e coprogettazione possono consentire una maggiore adattività del progetto al cambiamento del contesto, come testimoniano alcune esperienze internazionali che la utilizzano in questa prospettiva.

Examples of creating an enabling environment

- A number of organisations are now emphasising co-creation of programme approaches including results frameworks. USAID has developed an innovative co-design procurement process for experimental programmes, that brings in potential suppliers to help develop the tender itself and to support co-design throughout the programme cycle. Australia’s DFAT is similarly embracing co-creation and co-design, shifting away from panel interviews of shortlisted suppliers towards co-design workshops.

- In the UK, FCDO guidance on managing implementor relationships also highlights the importance of co-creating and agreeing clear expectations. It emphasises upfront agreement on how decisions to adapt will be taken: what are the key sources of data and what counts as good enough evidence; how will they be documented; how often will implementation be reviewed; what action will be taken based on these assessments; and whose responsibility is this.

In conclusione, Iniziare un dialogo strutturato con le OSC, che sono i primi soggetti di cooperazione con cui la cooperazione italiana sta sperimentando questo approccio, per valutare l’andamento della procedura RBM e come attuarla in una ottica di gestione adattiva, ci sembrerebbe, dunque, molto utile anche al fine di estendere la metodologia agli altri attori della cooperazione.

DOI: 10.7425/IS.2022.02.09

Bibliografia

Bilal S., Rampa F. (2011), Emerging economies in Africa and the development effectiveness debate, Discussion Paper 107, ECDPM, Maastricht.

Bond (2016), Adaptive management: what it means for civil society organisations, Author: O’Donnell M.

MAECI-AICS (2020), Piano dell’Agenzia Italiana per la Cooperazione allo Sviluppo e della Direzione Generale per la Cooperazione allo Sviluppo del MAECI per l’efficacia degli interventi 2020-2022, (ex articolo 2, comma 3 dello Statuto AICS). https://www.esteri.it/mae/resource/doc/2019/12/2019_11_19_final_piano_aics-dgcs_efficacia_interventi.pdf

OECD (2019a), Peer Review dell’OCSE sulla cooperazione allo sviluppo. Italia 2019. https://www.aics.gov.it/wp-content/uploads/2020/05/PeerReviews_Italy-red.pdf

OECD (2019b), Learning from Results-Based Management evaluations and reviews, OECD Development Co-operation Working Papers, Authors: Vähämäki J., Verger C. https://www.oecd-ilibrary.org/development/learning-from-results-based-management-evaluations-and-reviews_3fda0081-en

OECD (2020), Better criteria for better evaluation. https://www.oecd.org/dac/evaluation/evaluation-criteria-flyer-2020.pdf

OECD (2021), A Baseline Survey of the Guiding Principles on Managing for Sustainable Development Results, OECD Development Co-operation Working Papers, Authors: Guerrero-Ruiz A., Schnatz J., Verger C.

Ramalingam B., Wild L., Buffardi A. (2019), Making adaptive rigour work: principles and practices for strengthening MEL for adaptive management, Briefing/policy papers.

Roche C., Kelly L. (2021), The Evaluation of Politics and the Politics of Evaluation. https://www.dlprog.org/publications/research-papers/the-evaluation-of-politics-and-the-politics-of-evaluation

Stame N. (2016), Valutazione pluralista, Franco Angeli, Milano.

Vaessen J., Lemire S., Befani B. (2020), Evaluation of International Development Interventions. An Overview of Approaches and Methods, World Bank, Washington DC.

Vaggi G. (2018), Development: The Re-Balancing of Economic Powers, Palgrave Macmillan.

Note

  1. ^ L’Agenda per lo sviluppo sostenibile 2030 è un piano di azione sottoscritto nel settembre 2015 dai governi di 193 paesi membri dell’ONU. Al centro, 17 obiettivi e 193 target per il benessere delle persone e del pianeta.
  2. ^ The Parigi declaration on aid effectiveness 2005 stabilisce i 5 principi per migliorare l’efficacia dell’aiuto: ownership, alignment, harmonization, results, mutual accountability. Nel 2008 la Accra Agenda for Action rafforza e approfondisce alcuni di questi principi in una dimensione ancora più concreta: ownership, inclusive partnership, delivering results, capacity building.
  3. ^ La OECD-DAC ha stabilito sei criteri di valutazione e due principi per il loro uso: rilevanza, efficacia, efficienza, sostenibilità, impatto, coerenza (OECD, 2020).
  4. ^ Ci si riferisce al comitato per l’aiuto allo sviluppo dell’Organizzazione per la cooperazione e lo sviluppo economico – OCSE-DAC – che riunisce 30 membri e che definisce, armonizza e aggiorna le norme e gli standard sulla valutazione della comunità internazionale sulla cooperazione allo sviluppo.
  5. ^ Results-Based Management approach, affermatosi dalla seconda metà degli anni Novanta soprattutto sulla spinta delle agenzie di sviluppo delle Nazioni Unite, si fonda sulla logica del progettare per obiettivi e non per attività. Nell’Handbook del Programma UNDP datato 2009, a pag. 13 si legge: “Planning, monitoring and evaluation processes should be geared towards ensuring that results are achieved not towards ensuring that all activities and outputs get produced as planned”.
  6. ^ Piano dell’Agenzia Italiana per la Cooperazione allo Sviluppo e della Direzione Generale per la Cooperazione allo Sviluppo del MAECI (Ministero degli Affari Esteri e della Cooperazione Internazionale) per l’efficacia degli interventi 2020-2022 (ex articolo 2, comma 3 dello Statuto AICS).
  7. ^ La Peer Review è una valutazione "tra pari" messa in piedi dal DAC che esamina ogni cinque anni le politiche e i programmi messi in atto dalle cooperazioni allo sviluppo dei governi membri, al fine di predisporre raccomandazioni per migliorare la qualità e l'efficacia delle politiche.
  8. ^ Cfr. “Procedure Generali per la concessione di contributi e la gestione e rendicontazione di Iniziative promosse da Soggetti pubblici e privati no-profit di Cooperazione di cui al Capo VI della legge n.125/2014 e fondate su approccio RBM”, 2020.
  9. ^ L’AICS nasce nel 2014, con la nuova Legge 125 “Disciplina generale sulla cooperazione internazionale per lo sviluppo” che ha ridisegnato il sistema italiano per la cooperazione allo sviluppo, introducendo appunto l’AICS, l’istituzione operativa del sistema italiano di cooperazione, sotto la supervisione del MAECI (Ministero degli Affari Esteri e della Cooperazione Internazionale).
  10. ^ Paris declaration on Aid Effectiveness, 2005.
  11. ^ Accra, Agenda for Action, 2008.
  12. ^ https://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm
  13. ^ Managing for Sustainable Development Results, OECD DAC Guiding Principles, July 2019: 1) supporto agli obiettivi di sviluppo sostenibile e al cambiamento atteso; 2) adattamento al contesto; 3) rafforzamento della ownership del paese, la mutua accountability e la trasparenza; 4) massimizzazione l’uso delle informazioni rispetto ai risultati per l’apprendimento e la presa di decisioni; 5) promuovere la cultura dei risultati e dell’apprendimento; 6) sviluppare un sistema di verifica dei risultati che sia gestibile e affidabile.
  14. ^ Qui uso l’acronimo MEL – monitoring, and evaluation for learning, perché per enfatizzare l’aspetto dell’apprendimento. Ma certamente è possibile usare e molti lo fanno, incluso il CISP, l’acronimo MEAL che sottolinea l’accountability.
  15. ^ Piano dell’Agenzia Italiana per la Cooperazione allo Sviluppo e della Direzione Generale per la Cooperazione allo Sviluppo del MAECI per l’efficacia degli interventi 2020-2022 approvato dal Comitato Congiunto nov. 2019.
  16. ^ Iniziative diverse di riflessione sono poi sorte, come la right-fit evidence di IPA (https://www.poverty-action.org/right-fit-evidence).
Sostieni Impresa Sociale

Impresa Sociale è una risorsa totalmente gratuita a disposizione di studiosi e imprenditori sociali. Tutti gli articoli sono pubblicati con licenza Creative Commons e sono quindi liberamente riproducibili e riutilizzabili. Impresa Sociale vive grazie all’impegno degli autori e di chi a vario titolo collabora con la rivista e sostiene i costi di redazione grazie ai contributi che riesce a raccogliere.

Se credi in questo progetto, se leggere i contenuti di questo sito ti è stato utile per il tuo lavoro o per la tua formazione, puoi contribuire all’esistenza di Impresa Sociale con una donazione.