Classici moderni della valutazione - Seminario partecipato di lettura critica

Ciclo: Valutazione Second Life: Analisi e simulazioni di valutazioni
coordinato da Laura Tagle

"Io credo che il valutatore flessibile e sensibile possa spostarsi da un paradigma all'altro all'interno di un singolo setting di valutazione. Nel fare questo, un valutatore così flessibile e aperto può osservare gli stessi dati dalla prospettiva di ciascun paradigma, ed aiutare i seguaci di ognuno dei paradigmi ad interpretare i dati in più di un modo"
(M.Q. Patton, "Il dibattito sui paradigmi", in Classici della valutazione, a cura di N. Stame, FrancoAngeli, 2007, p. 228)

L’obiettivo del modulo è di fissare gli apprendimenti realizzati negli scorsi due cicli del Seminario "Classici della Valutazione" provando, con il beneficio del sostegno del gruppo, a contestualizzarli in relazione con compiti concreti di valutazione. Il ciclo di seminari, che diversamente dagli altri è disperso nel tempo, richiede ai partecipanti un investimento iniziale, con cui capitalizzare gli apprendimenti realizzati nelle precedenti edizioni del seminario sui classici. Durante ciascun seminario, infatti, si richiede ai partecipanti di assumere, individualmente o insieme ad altri, l'"identità" di un teorico della valutazione: tale scelta è libera, può cambiare da sessione a sessione, ma deve essere comunicata all'atto della registrazione.
Ciascun incontro verterà su una valutazione pubblicata avente per oggetto un intervento o un insieme di interventi di politica regionale. Il materiale verrà volta per volta inviato ai partecipanti registrati in tempo per prepararsi alla sessione. La sessione consisterà in una brevissima presentazione, in una simulazione e, in alcuni casi, nella predisposizione, individuale o collettiva, di materiali (p.e., disegni di valutazione, relazioni di Steering Group, rapporti di metavalutazione, etc.).

23 febbraio 2010, 15-17
Introducono e moderano: Laura Tagle e Marina Forestieri
Scelta del Classico
Presentazione

13 ottobre 2010
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione

16 novembre 2010
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione
Valutazione dei progetti innovativi, di Marina Forestieri (pps)

1 dicembre 2010, 15-17
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione
B. Perrin, How to – and How Not to – Evaluate Innovation

Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle “evidenze”: analisi dei principali approcci e prospettive
coordinato da Liliana Leone

Le revisioni sistematiche della letteratura sono metodi che si sono sviluppati per identificare, stimare e sintetizzare le evidenze offerte dalla letteratura in merito agli esiti dei programmi. Esse sono ampiamente utilizzate e/o "invocate" per supportare processi decisionali basati sulle evidenze e sono state utilizzate in molti ambiti di policy. Le conoscenze prodotte dalle revisioni sistematiche vengono diffuse e tradotte in linee guida allo scopo di promuovere decisioni politiche e pratiche professionali maggiormente informate. Una delle questioni più discusse riguarda la natura delle evidenze, il tipo di generalizzazioni inferibili dalla valutazione di programmi e le metodologie adeguate utilizzabili nel processo di cumulazione delle conoscenze. Non tutti, però, concordano con il fatto che le revisioni sistematiche siano strumenti desiderabili; poiché diverse argomentazioni sono frutto spesso di fraintendimento e scarsa conoscenza circa la storia e i metodi delle stesse, un obiettivo del laboratorio è permettere ai partecipanti di esplorare con maggiori cognizioni le diverse criticità e le prospettive per il superamento delle stesse.

30 marzo 2010, 15-17
La meta-analisi
introducono: Liliana Leone e Roberto Celentano
I laboratorio. Le meta-analisi: cosa sono, utilizzi, trucchi e suggerimenti per riconoscere le bufale, di Liliana Leone (pdf)
La revisione sistematica e la meta-analisi. Linee guida della Campbell Foundation, di Roberto Celentano (pps)
riferimenti:
Campbell Foudation, "Systematic Reviews Guidelines for the Preparation of Review Protocols" (rtf)
Higgins JPT, Green S (2005), Cochrane Handbook for Systematic Reviews of Interventions Version 4.2.5 (rtf)
Jefferson Tom (2006), Attenti alle bufale. Come usare la evidence-based medicine per difendersi dai cattivi maestri, Il pensiero Scientifico Editore, Presentazione
Petticrew M. (2003), "Why certain systematic reviews reach uncertain conclusions" (rtf), British Medical Journal, 5 Apr 2003, 756-758

20 aprile 2010, 15-17
Le narrative reviews
introducono: Liliana Leone e Veronica Lo Presti
II laboratorio. Narrative Review e sintesi narrative, di Liliana Leone (pdf)
Aspetti metodologici delle Narrative Review: l'implementazione di interventi per la prevenzione degli incendi, di Veronica Lo Presti (pdf)
Le narrazioni nel servizio sociale: A critical review, di Laura Taronna (pdf)
riferimenti
Popay, J., Roberts, H., Sowden, A., Petticrew, M., Arai, L., Rodgers, M. and Britten, N. with Roen, K. & Duffy, S. (2006). Guidance on the conduct of narrative synthesis in systematic reviews. Final report, Institute of Health Research, Lancaster: ESRC Methods
Rodgers M. et Al. (2009), “Testing Methodological Guidance on the Conduct of Narrative Synthesis in Systematic Reviews”, Evaluation, Vol. 15, No. 1, 49-73 DOI: 10.1177/1356389008097871
Arai, L., Britten, N., Popay, J., Roberts, H., Petticrew, M. , Rodgers, M., Sowden, A. (2007), “Testing methodological developments in the conduct of narrative synthesis: a demonstration review of research on the implementation of smoke alarm interventions”, Evidence & Policy: A Journal of Research, Debate and Practice, Volume 3, Number 3, pp. 361-383(23)
Popay J., Williams G., “Qualitative research and evidence-based healthcare”, Journal of the Royal Society of Medicine, Supplement No. 3 5 Volume 91, 1998

17 giugno 2010, 15-17
I nuovi approcci: la proposta della sintesi realista
introducono: Liliana Leone, Daniela Ferrazza, Laura Fantini e Nicoletta Stame
Pawson R., Reviewing inner mechanisms: youth mentoring, di Laura Fantini e Daniela Ferrazza (pps)
Le sintesi realiste, di Nicoletta Stame (pdf)
Le sintesi realiste, di Liliana Leone (pdf)
Pawson, Evidence Based Policy, cap. 4 (pdf)
Pawson, Evidence Based Policy, figure cap. 4 (pdf)
Pawson, Evidence Based Policy, cap. 6 (pdf)
Pawson, Evidence Based Policy, figure cap. 6 (pdf)
riferimenti:
Leone L. (2007), “Review sistematiche, sintesi theory-driven e utilizzazione delle evidenze. Il caso dei programmi di prevenzione”, Rassegna Italiana di Valutazione, n. 35
Pawson R. (2006), Evidence Based Policy, Sage, London
Pawson R., Boaz A. (2006), "Evidence-based policy, theory-based synthesis, user-led reviews", ESRC UK Centre for Evidence Based Policy and Practice, London
Petticrew M. (2003), “Why certain systematic reviews reach uncertain conclusions”, British Medical Journal, 5 Apr 2003, 756-758