What works philanthropy: la valutazione d’impatto per produrre cambiamenti trasformativi

La Laura and John Arnold Foundation è stata costituita nel 2008 sulla base della convinzione dei fondatori che la filantropia dovrebbe essere trasformativa e cercare soluzioni innovative per risolvere i problemi più pressanti della società. I giovani filantropi hanno stilato la loro “Philosophy of Philanthropy” per “incentivare iniziative ambiziose e creative al fine di far scaturisce un rinascimento di nuove idee e soluzioni a problematiche cruciali”.

Con questo obiettivo, in sei anni la Fondazione ha erogato oltre $944 milioni, allocando circa $247 milioni all’area “evidence-based policy and innovation”. In effetti, come possiamo produrre un cambiamento trasformativo e risolvere complessi problemi sociali senza robuste valutazioni che possano identificare soluzioni efficaci – e non?

Abbiamo discusso con Jon Baron, Vice President dell’Evidence-Based Policy della Laura and John Arnold Foundation e Leap Ambassador, su come la Fondazione stia conducendo rigorose valutazioni d’impatto sperimentali per creare conoscenza affinché le risorse private e i finanziamenti pubblici possano essere indirizzati su “ciò che funziona” (what works).

Potrebbe descriverci la “filosofia di filantropia” della Fondazione e spiegarci come viene tradotta nella pratica?

Il punto di partenza va ricercato nel fatto che molti dei programmi sociali finanziati da filantropi e/o enti pubblici, purtroppo, non produce il miglioramento sperato nelle vite delle persone rispetto ai servizi tradizionali. Questo è vero per molte iniziative in ambito educativo, di avviamento al lavoro, di prevezione del crimine, di sanità, e così via. Lo sappiamo grazie ai risultati prodotti dai più robusti metodi di valutazione, i cosiddetti studi randomizzati controllati (Randomized Controlled Trials – RCT).

Ciò che emerge più di frequente, vale a dire che un intervento non dimostra effetti significativi positivi, è valido anche in altri campi come la medicina, dove gli studi RCT vengono condotti di continuo, e anche nel business: Google e Microsoft negli Stati Uniti hanno condotto circa 13.000 studi RCT su strategie di business differenti negli ultimi anni, e l’80-90% di queste non ha prodotto effetti significativi. La lezione generale è che identificare interventi che funzionino – in medicina, nel mondo degli affari, e nei programmi sociali – è realmente sfidante.

Ci sono eccezioni rilevanti a questo schema, ovviamente: alcuni programmi valutati rigorosamente producono impatti positivi rilevanti. Un esempio in USA è Nurse-Family-Partnership, un programma in cui infermiere specializzate visitano regolarmente future mamme, in giovane età, alla loro prima gravidanza, a basso reddito. Le visite iniziano in stadi precoci della gestazione e continuano fino al secondo anno di vita del bambino; le infermiere educano le donne sull’essere genitori, sull’alimentazione, sul non fumare o consumare alcolici durante la gravidanza, ecc. Il trattamento è stato valutato con tre rigorosi studi randomizzati controllati negli Stati Uniti (e due in Europa, uno nei Paesi Bassi, uno nel Regno Unito) e ha dimostrato di produrre outcomes positivi – quali una consistente riduzione del tasso di abuso e abbandono, miglioramenti nei risultati educativi, e altri fattori fondamentali per bambini e madri vulnerabili.

Molto di ciò che facciamo nel dipartimento Evidence-Based Policy che presiedo è di sostenere studi RCT per determinare evidenze rigorose positive che possano rappresentare la base per definire interventi di larga scala: al momento stiamo finanziando oltre 40 studi RCT su temi diversi (dalla formazione lavorativa all’assistenza all’infanzia) e altri dipartimenti della Fondazione stanno collaborando con governi e amministrazioni locali per far sì che le politiche pubbliche siano definite sulla base dei risultati emersi. In sintesi, operiamo affinché la costruzione di conoscenza possa entrare nel policymaking e potenziare la performance pubblica.

Identificare interventi che funzionino – in medicina, nel mondo degli affari, e nei programmi sociali – è realmente sfidante. Il nostro lavoro consiste nel costruire conoscenza rigorosa sulle soluzioni efficaci affinché venga utilizzata nelle politiche pubbliche, per concentrare i finanziamenti su programmi che hanno dimostrato effetti positivi

Come si rispecchia quest’approccio alla valutazione nelle vostre scelte di finanziamento?

Siamo consapevoli che trovare programmi con effetti significativi sia sfidante, più di quanto si pensi. Ecco perché siamo molto selettivi su ciò che scegliamo di valutare e ci focalizziamo su programmi altamente promettenti (in caso contrario finiremmo per finanziare una vasta gamma di studi rigorosi che producono solo risultati deludenti con poco o nessun effetto). Quindi cerchiamo di concentrare le risorse su interventi in cui ci siano evidenze preliminari – non necessariamente studi RCT ma, ad esempio, quasi-esperimenti o studi preliminari che suggeriscono la possibilità di risultati positivi.

In altre parole, cerchiamo di far leva su risultati promettenti emersi nella pratica o in letteratura per aumentare le chances di identificare interventi efficaci. Ad esempio finanziamo molte replicazioni di studi: quando emergono risultati interessanti, vogliamo assicurarci se lo stesso intervento funzionerebbe in altri contesti attraverso una valutazione più ampia e definitiva.

Forniamo il finanziamento alle organizzazioni beneficiarie affinché conducano lo studio e agiamo come partner e prima dell’erogazione vogliamo assicurarci che lo studio sia ben progettato; che il team di ricerca sia all’altezza; che si proponga di valutare outcome interessanti in una prospettiva di politiche pubbliche e rilevanti per la comunità. Infine lavoriamo con i grantees per assicurarci che lo studio sia condotto in modo rigoroso. E vogliamo che i risultati siano diffusi, siano essi positivi o deludenti: questo viene definito nel grant agreement e operiamo fianco a fianco con i nostri beneficiari perché vogliamo essere certi che lo studio sia implementato, redatto e comunicato in modo integro, senza edulcorare, amplificare o distorcere i riscontri emersi. Poniamo molta enfasi su questo concetto: stiamo solo cercando di arrivare alla verità. 

Siamo consapevoli che trovare programmi con effetti significativi sia sfidante, più di quanto si pensi. Elargire risorse alla vecchia maniera, senza solide evidenze alla base, normalmente non serve per rispondere ai bisogni sociali

Quando si parla di studi RCT emergono controversie su due temi principali: costo dello studio ed “eticità”, dato che condurre un’analisi di questo tipo significa escludere una parte delle popolazione dal trattamento. Qual è la sua prospettiva?

Si tratta di problematiche reali in certi casi ma spesso possiamo trovare soluzioni per superarle. Faccio un esempio che affronta entrambi i temi. Uno degli studi che stiamo finanziando riguarda la valutazione di un programma chiamato “Bottom Line”. Si tratta di un’iniziativa condotta in diverse città degli Stati Uniti al fine di fornire counselling individuale a studenti del liceo a basso reddito che hanno buone performance scolastiche ma sono al contempo figli di genitori che non hanno frequentato l’università. In questo senso, il counselling li aiuta, ad esempio, a trovare un college di qualità che possono permettersi e che risponda ai loro bisogni accademici, e fornisce supporto durante gli anni di formazione affinché possano conseguire la laurea.

La domanda per il programma è superiore alla possibilità di offerta: non ci sono fondi sufficienti per servire tutti gli studenti interessanti. Quindi, per condurre la valutazione, il trattamento si è trasformato da first-come-first-served (“primo arrivato, primo servito”) a una lotteria randomizzata per determinare chi viene ammesso. In altre parole, l’assegnazione casuale identifica chi entra nel programma (gruppo di trattamento) e chi no (gruppo di controllo). È un processo etico perché le risorse disponibili non avrebbero comunque permesso di ammettere tutti.

Inoltre, si tratta di uno studio a basso costo. Tutti gli outcome principali (ammissione al college; permanenza al college; conseguimento della laurea) vengono misurati su un periodo di sette anni utilizzando dati amministrativi, ossia raccolti da altri: esiste un database negli USA chiamato National Student Clearinghouse che copre il 98% degli studenti di college. Lo studio RCT sta producendo risultati positivi finora: al follow-up dopo due anni, l’intervento ha prodotto un aumento del 10% nell’iscrizione ai primi due anni di college rispetto al gruppo di controllo. Si tratta di uno studio molto vasto – un campione di 2.400 studenti, tre diversi siti, misurazione degli outcome su un periodo di sette anni – che viene implementato per meno di $200.000 dato che gli outcome possono essere rilevati con dati amministrativi, senza la necessità di individuare tutte le 2.400 persone, somministrare un questionario, scoprire se frequentano ancora il college, ecc.

Molti studi RCT possono essere condotti a un costo ragionevolmente basso: in genere vanno da circa $100.000 a $1 milione, con pochi casi fino a $3 milioni. Ovviamente non si possono fare in ogni situazione ma spesso è possibile.

Se ci concentriamo su organizzazioni di dimensioni ridotte, come possono incorporare la valutazione d’impatto nelle proprie operazioni? Esistono altri metodi validi nella vostra prospettiva?

Dobbiamo riconoscere che non ha senso portare avanti uno studio RCT in molte iniziative – per una varietà di ragioni: a volte l’intervento è troppo preliminare, non coinvolge abbastanza persone per condurre una valutazione rigorosa, o sarebbe troppo dispendioso in quello specifico stadio di sviluppo del programma.

Ma ci sono altre valutazioni preliminari che i filantropi possono promuovere. La prima consiste nel verificare se il programma stia operando come programmato, ancor prima di condurre una valutazione di impatto. Per esempio, nel caso di un intervento di avviamento al lavoro, si tratta di investigare aspetti quali “Le persone partecipano? Completano il programma? La formazione viene erogata in linea con il protocollo? Vengono insegnati gli elementi chiave?” ecc.

Successivamente possiamo passare alla valutazione, con diverse metodologie. Si può procedere con un quasi-esperimento (non-participant matched comparison group): in questo caso non viene utilizzato un controllo randomizzato, ma si verifica se i trattati stiano facendo meglio, uguale o peggio rispetto a un gruppo di confronto. Oppure si possono condurre studi RCT ridotti, con campioni ristretti (ad esempio 60 persone) per capire se si intravvede un effetto di breve periodo misurabile (nell’esempio precedente, “le persone stanno ottenendo un primo lavoro?”).

In questo modo si possono misurare gli effetti di breve periodo facendo leva su evidenze preliminari. Nel nostro grantmaking, guardiamo quasi sempre se esistono valutazioni di questo tipo prima di decidere di finanziare uno studio di vasta scala.

In questo percorso progressivo di valutazione, la filantropia può focalizzarsi, anche con risorse limitate, sul primo stadio. Bisogna comunque ricordarsi che evidenze anche promettenti di questi studi preliminari spesso non vengono poi confermate da valutazioni randomizzate più strutturate: è un ottimo punto di partenza e un’ottima ragione per investire in studi più definitivi, ma non sufficientemente affidabile per affermare che un programma funzioni realmente.

Se non sono disponibili risorse sufficienti per vasti studi RCT, ci si può focalizzare su valutazioni di impatto preliminari che possono evidenziare dati promettenti

In Italia – e non solo – è forte il dibattito sull’utilizzo del metodo SROI: nelle vostre valutazioni ha un ruolo, e se sì quale?

Ha certamente un ruolo, per evidenziare il ritorno socio-economico. Naturalmente, bisogna avere alle spalle una solida valutazione di impatto – uno studio RCT o qualcosa di molto vicino a questo – per implementare una valutazione SROI. Quest’ultima è valida solo se esiste un’evidenza affidabile dell’impatto generato (in termini di conseguimento della maturità, riduzione del crimine, aumento dell’occupazione, ecc.): se non esiste questa base credibile, non avrete nessuna evidenza credibile di un ritorno sociale. Normalmente finanziamo analisi di costo-beneficio o SROI come ultimo stadio, dopo che abbiamo dimostrato rigorosamente che il programma genera impatto.

Quali sono i risultati principali che avete raggiunto per quanto riguarda le politiche pubbliche?

Uno dei concetti che proponiamo è che la spesa pubblica su politiche sociali venga definita sulla base di dati, in modo che le evidenze siano il principale fattore che determina chi o cosa deve essere finanziato. Quindi abbiamo proposto un approccio tiered-evidence (legato ai dati) che è stato tradotto in legge e in politiche in diverse aree programmatiche negli ultimi anni, quali politiche dell’infanzia, educazione K-12 (scuola primaria – ndr), prevenzione delle gravidanze adolescenziali, e affidamenti.

Il concetto generale è che i finanziamenti maggiori vengono allocati su programmi che hanno dimostrato forte efficacia sulla base di studi RCT: ottengono un grant maggiore anche per condurre uno studio RCT di replicazione per vedere se gli effetti positivi possono essere riprodotti. I finanziamenti minori vengono erogati a programmi più innovativi e accompagnati da una valutazione rigorosa per verificarne gli esiti: se realmente funzionano, vengono spostati nel top tier e diventano eleggibili per i grant maggiori; se non funzionano, il finanziamento si interrompe.

Per ulteriori informazioni