La valutazione della didattica universitaria: quali misure per quali obiettivi?

Progetto: Research project

Dettagli progetto

Description

Nell’ambito delle Scienze Sociali, le misurazioni necessarie alla comprensione del funzionamento di entità complesse come i sistemi organizzativi, sono fornite sia dai valori assunti da singole serie di dati sia, più spesso, da serie di grandezze che sono in relazione con il fenomeno che si vuole misurare.Per valutare la performance dei servizi e delle attività offerte da un’organizzazione, è divenuta prassi diffusa e consolidata in letteratura, ricorrere a un sistema di indicatori al fine di concettualizzare il fenomeno, attraverso le sue dimensioni, rendendo quindi possibile sia il monitoraggio spazio-temporale, sia l’individuazione di eventuali carenze, che segnalino la necessità di un intervento. L’ampia diffusione di tali strumenti ha, tuttavia, causato, nelle diverse realtà in cui sono stati impiegati (monitoraggio di politiche economiche o sociali, valutazione della performance dei servizi pubblici come l’università o la sanità, ecc), il proliferare di indicatori non congruenti tra loro, o perché non misurano esattamente la stesso concetto o perché, pur partendo da una base di dati comparabili, utilizzano metodi di trasformazione e aggregazione differenti e non sempre statisticamente adeguati.Questo progetto nasce con l’intento di rivisitare gli aspetti metodologici collegati alla costruzione degli indicatori alla luce dei costrutti teorici propri della teoria della misurazione. Una particolare attenzione sarà posta ai problemi di merito e di metodo nella scelta dei criteri di standardizzazione degli indicatori semplici, delle funzioni di aggregazione delle singole componenti, e di schemi di ponderazione per l’aggregazione delle stesse in una misura sintetica. Dal punto di vista più strettamente statistico, saranno anche affrontati i temi della validazione, sia degli indicatori semplici sia delle loro sintesi in indicatori compositi. In entrambe le fasi si intende indagare sulla capacità esplicativa degli indicatori nei modelli di analisi fattoriale basati sull’analisi della covarianza, di Rasch, di sensitivity and uncertainty analysis, nei modelli marginali, in quelli ad effetti fissi o casuali, ed ,infine, in quelli di transizione.Il contesto applicativo al quale si farà riferimento verterà sulla valutazione di alcuni aspetti, a nostro avviso complementari, della performance del Sistema Universitario. In particolare, si studieranno le problematiche connesse alla costruzione di misure per la valutazione della didattica universitaria (UR di Palermo), per monitorare la valutazione degli effetti di feed-back che la valutazione della didattica esercita sulle organizzazioni che la mettono in atto (UR di Pavia), nonché sulla valutazione dell’efficacia della formazione universitaria in riferimento agli esiti occupazionali dei laureati (UR di Pisa). A tale scopo si farà ricorso alle indagini degli Atenei per la rilevazione del giudizio degli stessi studenti sul servizio ‘erogazione della didattica’ Parallelamente, si ricorrerà alla meta- valutazione per tentare di analizzare l’impatto che i processi valutativi hanno avuto sulla (ri)organizzazione dei singoli Atenei e/o corsi di laurea, sia con indagini quantitative svolte direttamente sui risultati della valutazione a livello di singolo docente, sia con una indagine condotta sui Presidi delle Facoltà per conoscere se, ed in che misura, sono state attuate decisioni conseguenti ai riscontri ottenuti dalla valutazione della didattica.Infine, si ricorrerà ad indicatori di efficienza per valutare la performance delle carriere degli studenti, con particolare attenzione ai contesti educativi

Layman's description

Date le premesse avanzate al punto precedente, il programma dell’Unità di Ricerca di Palermo prevede di pervenire alla costruzione di indicatori semplici e compositi della valutazione della didattica universitaria nel giudizio degli studenti. Nello svolgimento dell’attività di ricerca si terrà conto sia di dati individuali sia di dati aggregati, in funzione degli obiettivi per i quali saranno costruiti gli indicatori. L’attenzione sarà anche rivolta alla verifica ex post della ‘bontà’ dello strumento di misura, in questo caso il questionario predisposto da ogni Ateneo, nel cogliere le dimensioni del costrutto che si tenta di misurare. La costruzione e la validazione dello strumento di misura costituiscono, infatti, il cardine di ogni processo di misurazione. In particolare, l’attività dell’unità di ricerca sarà concentrata sui seguenti punti:A. approfondimento teorico dei processi di misurazione;B. sviluppo di metodologie per la costruzione di indicatori compositi;C. sviluppo di metodologie statistiche per il controllo della Misura Prodotta;D. creazione di un glossario di definizioni sugli indicatoriA) Approfondimento teorico dei processi di misurazioneUno dei compiti che si pone l’unità di ricerca è esaminare le implicazioni derivanti dai fondamenti della teoria della misurazione in un’ottica di rappresentazione, e in modo particolare dalla proprietà di invarianza, nelle diverse fasi della costruzione di un indicatore semplice o composito con riferimento alle trasformazioni che le misure originarie subiscono prima che esse confluiscano in un’unica misura sintetica. In questo ambito acquistano importanza fondamentale le funzioni che vengono utilizzate per trasformare le misure; la definizione di tali funzioni è stata affrontata ampiamente in letteratura tenendo conto delle scale types degli indicatori semplici o variabili originarie e della scale type dell’output, ovvero della qualità della misura prodotta, riconducendo essenzialmente tali operazioni al concetto di invarianza rispetto ad una o più proprietà matematiche. Tale obiettivo verrà perseguito proponendo indicatori di valutazione della qualità della didattica che tengano conto delle scale di misura degli item, tipicamente ordinali, e che non violino, quindi, le proprietà assiomatiche della scala da cui derivano i dati. Essi saranno anche confrontati con altri indicatori utilizzati in letteratura nello stesso ambito, con ipotesi di scale di misura sui dati di partenza superiore a quella ordinale, al fine di verificare se la misura prodotta assume gli stessi significati in relazione alla struttura empirica.B) Sviluppo di metodologie per la costruzione di indicatori compositi per la valutazione della didatticaIl processo di costruzione di indicatori compositi in base alle riflessioni emerse in A) si svilupperà attraverso le seguenti fasi:b1) la scelta delle trasformazioni per rendere i dati comparabili;b2) la scelta di un sistema di ponderazione e di una funzione merging;b1) le trasformazioniTale compito si espliciterà mediante l’analisi di alcuni aspetti delle trasformazioni dei dati, limitando l’ambito a quelle trasformazioni T il cui scopo sarà rendere comparabili set di dati di natura differente, in termini di variabilità, di unità di misura, di ordine di grandezza, etc. E’ auspicabile che tali trasformazioni conducano a rappresentazioni con struttura semplice (variabilità contenuta, simmetria, campo di variazione definito) e che, allo stesso tempo, non alterino le informazioni rilevanti contenute nelle variabili originarie. Rientra nell’obiettivo l’analisi delle diverse clas

Key findings

Scienze socioeconomiche e umane
StatoAttivo
Data di inizio/fine effettiva1/1/05 → …