Classici moderni della valutazione - Seminario partecipato di lettura critica

Ciclo: Valutazione Second Life: Analisi e simulazioni di valutazioni
coordinato da Laura Tagle

"Io credo che il valutatore flessibile e sensibile possa spostarsi da un paradigma all'altro all'interno di un singolo setting di valutazione. Nel fare questo, un valutatore così flessibile e aperto può osservare gli stessi dati dalla prospettiva di ciascun paradigma, ed aiutare i seguaci di ognuno dei paradigmi ad interpretare i dati in più di un modo"
(M.Q. Patton, "Il dibattito sui paradigmi", in Classici della valutazione, a cura di N. Stame, FrancoAngeli, 2007, p. 228)

L’obiettivo del modulo è di fissare gli apprendimenti realizzati negli scorsi due cicli del Seminario "Classici della Valutazione" provando, con il beneficio del sostegno del gruppo, a contestualizzarli in relazione con compiti concreti di valutazione. Il ciclo di seminari, che diversamente dagli altri è disperso nel tempo, richiede ai partecipanti un investimento iniziale, con cui capitalizzare gli apprendimenti realizzati nelle precedenti edizioni del seminario sui classici. Durante ciascun seminario, infatti, si richiede ai partecipanti di assumere, individualmente o insieme ad altri, l'"identità" di un teorico della valutazione: tale scelta è libera, può cambiare da sessione a sessione, ma deve essere comunicata all'atto della registrazione.
Ciascun incontro verterà su una valutazione pubblicata avente per oggetto un intervento o un insieme di interventi di politica regionale. Il materiale verrà volta per volta inviato ai partecipanti registrati in tempo per prepararsi alla sessione. La sessione consisterà in una brevissima presentazione, in una simulazione e, in alcuni casi, nella predisposizione, individuale o collettiva, di materiali (p.e., disegni di valutazione, relazioni di Steering Group, rapporti di metavalutazione, etc.).

15 febbraio 2011, 15-17
Coordinamento: Laura Tagle, Marina Forestieri e Valentina Andreozzi
Presentazione

Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle "evidenze": analisi dei principali approcci e prospettive
Coordinamento: Liliana Leone

25 febbraio 2011
In collaborazione con il dottorato di "Metodologia delle scienze sociali" e la Scuola di dottorato Mediatrends
Ray Pawson: La valutazione e le sintesi realiste
Presentazione (pps)
Known knowns, known unknowns, unknown unknowns: the predicament of evidence-based policy (pdf)
Reducing Plague by Drowning Witches (pdf)

Ciclo: La valutazione come analisi del valore
Coordinamento: Barbara Befani

Il ciclo si propone di collocare la valutazione nell'ambito delle attività umane (scientifiche e produttive) sia da un punto di vista filosofico-epistemologico (prima parte) sia storico (seconda parte).
Nella prima parte si analizza il concetto di criterio come elemento essenziale per la valutazione; verranno trattati i suoi legami con la definizione dell'evaluando (con un approccio anche semantico) e con la descrizione/spiegazione dei fenomeni (teoria).
Nella seconda parte verranno messi a confronto diversi campi di applicazione della logica valutativa (valutazione rudimentale vs. valutazione sofisticata), sottolineando i principi comuni che sottintendono tutte le attività valutative di diversi settori ed epoche storiche.
Riferimenti comuni a entrambi i seminari:
Davidson, J. (2005), Evaluation Methodology Basics, Sage
Scriven, M. (2007), "The logic of evaluation" In H.V. Hansen, et. al. (Eds), Dissensus and the Search for Common Ground, CD-ROM (pp. 1-16). Windsor, ON: OSSA
Scriven M. (2009), "The Domain of Evaluation" (manoscritto)

Prima parte, 29 marzo 2011, 15-17
Introducono: Barbara Befani e Serenella Stasi
Oggettività / soggettività, possibilità di valutazione scientifica; criteri di merito e definizione dell'evaluando (differenze tra definizione dizionario, def. enciclopedica, def. labirinto e def. a rete); proposizioni analitiche e sintetiche (sintesi); standard; aspetti dinamici e di confronto; cambiamento dei valori e implicazioni
Eco, U. (1997), Semiotica e filosofia del linguaggio, Torino, Einaudi
Scriven, M. (1959), "The Logic of Criteria", Journal of Philosophy, 56(22): 857–68
Befani, B. (2010), "Criteria and Theory in the evaluation of organizations", Evaluation, 16 (3): 249–262

Seconda parte, 3 maggio 2011, 15-17
Introducono: Barbara Befani e Serenella Stasi
Analisi e confronto di diverse attività valutative; rudimentalità/sofisticatezza della valutazione; esempi di applicazione da diverse scienze e attività umane; cubo di Scriven
Scriven, M. (2008), "The Concept of a Transdiscipline And of Evaluation as a Transdiscipline", Journal of MultiDisciplinary Evaluation, 5(10)
Coryn C., Hattie J. (2006), "The Transdisciplinary Model of Evaluation", Journal of Multidisciplinary Evaluation, 3(4)

23 giugno 2011
Il dibattito sulla valutazione di impatto e il pensiero di Donald Campbell
Introduce Nicoletta Stame
La comunità internazionale della valutazione sta discutendo sui metodi per condurre la valutazione di impatto, al fine di rispondere alla domanda "cosa funziona?": ai disegni basati sull'analisi contro-fattuale, di tipo sperimentale o quasi-sperimentale, si contrappongono approcci alternativi, di valutazione basata sulla teoria o di valutazione "goal free". Nonostante l'attualità del dibattito, le basi teoriche su cui esso si fonda sono riconducibili alla elaborazione originaria di Donald Campbell su validità interna ed esterna, e agli sviluppi successivi che hanno ruotato intorno a diversi modi di "eliminare le ipotesi rivali".
Il seminario si propone di inquadrare queste problematiche, a partire dal modo in cui si è affrontato ciò che "non funziona" nel programma, nella implementazione, nel metodo. Illustrando vari aspetti alla base di tali fallimenti si vuole mettere in luce il contributo multiforme del pensiero di Campbell, dalla attenzione alla complessità, alla rielaborazione sulla validità esterna, alla individuazione del case study come metodo principe per eliminare le ipotesi rivali, alla elaborazione compiuta di una "epistemologia evolutiva" che si interroga sul rapporto tra ripetitività e variazione.
N. Stame, Il dibattito sulla valutazione di impatto e il pensiero di Donald Campbell (ppt)
N. Stame, 2010, "What doesn't Work? Three Failures, Many Answers", in Evaluation, vol. 16, n. 4 (pdf)
D. Campbell, 1986, "Relabeling internal and external validity for applied social scientists", in WMK Trochim, a cura di, Advances in Quasi-Experimental Design and Analysis, New Development in Program Evaluation, n. 31 (pdf)
P. Rogers, Schemi su aspetti/programmi semplici complicati e complessi (pdf)