Analisi della concordanza fra valutatori

Progetto: Research project

Dettagli progetto

Description

L'analisi della concordanza (agreement analysis) si occupa di situazioni in cui c "valutatori" esaminano n "unità", classificandole in una di m modalità di una variabile categoriale V. Questa area della metodologia statistica ha una lunga, consolidata tradizione all'interno dell'analisi di dati categoriali. In passato, l'enfasi è stata su misure descrittive dell'agreement, con il predominio dell'indice "kappa" di Cohen e varianti; più recentemente, l'interesse si è spostato sui modelli, con il predominio di modelli moltiplicativi (o log-lineari) basati sui concetti di indipendenza, simmetria e quasi-simmetria (eventualmente, a livello latente). La maggioranza dei modelli di concordanza proposti in letteratura presenta però alcuni aspetti poco convincenti, essenzialmente dovuti alla loro natura "empirica", cioè al fatto che questi modelli tentano di riprodurre le configurazioni caratteristiche delle frequenze in una tabella di concordanza (dominanza diagonale, simmetria, quasi-simmetria, omogeneità/disomogeneità marginale) aggiungendo parametri ad un modello "nullo" di riferimento (tipicamente, il modello di indipendenza completa). Gli aspetti poco convincenti di questi modelli possono essere riassunti come segue: - spesso i parametri non hanno una chiara interpretazione sostantiva: questi modelli spiegano "quanta" discordanza/concordanza, simmetria, omogeneità marginale, ecc. c'è, ma non "perchè" c'è; - in genere il modello nullo di riferimento è quello di indipendenza, che non è molto rilevante nell'analisi di concordanza, mentre il modello di perfetta concordanza spesso non è un modello ammissibile; - i modelli empirici non riescono a distinguere fra situazioni in cui c'è una ben definita "classificazione vera", e situazioni in cui la classificazione è, almeno parzialmente, "nella mente del valutatore". Obiettivo di questo progetto è la costruzione di un modello che riesca ad ovviare a queste carenze, e che abbia in particolare le seguenti caratteristiche: - che sia "sostantivo" (mechanistic), cioè basato sui meccanismi sostanziali che operano nel processo di valutazione; - che sia capace di distinguere fra situazioni con e senza una "classificazione vera", ammettendo sia la perfetta concordanza, che la totale uniformità, che l'indipendenza come casi particolari. La classe di modelli entro cui ci si muoverà è quella dei modelli a classi latenti; condizionatamente a ciascuna classe latente (l'ignota modalità di classificazione dell'unità valutata), si specificherà un modello con marginali probabilizzati in funzione (non-lineare) di parametri sostantivi che si riferiscono alla abilità di ciascun valutatore, alla chiarezza del segnale emesso da ciascuna unità e all'adeguatezza della scala di misura. Si procederà poi a costruire opportune procedure inferenziali, di stima e verifica di adattamento, per il modello proposto, e a verificarne le prestazioni su insiemi di dati reali.

Layman's description

Obiettivi L'analisi della concordanza (agreement analysis) si occupa di situazioni in cui c "valutatori" esaminano n "unità", classificandole in una di m modalità di una variabile categoriale V. A partire dagli anni '80, l'interesse nella letteratura statistica in questa area si è incentrato sulla specificazione di modelli per l'analisi di tabelle di concordanza, con il predominio di modelli moltiplicativi (o log-lineari) basati sui concetti di indipendenza, simmetria e quasi-simmetria (eventualmente, a livello latente). La maggioranza dei modelli di concordanza proposti in letteratura presenta però alcuni aspetti poco convincenti, che verranno illustrati al successivo punto "Sintesi del Programma di Ricerca". Obiettivo di questo progetto è la costruzione di un modello che riesca ad ovviare a queste carenze, e che abbia in particolare le seguenti caratteristiche: - che sia "sostantivo" (mechanistic), cioè basato sui meccanismi sostanziali che operano nel processo di valutazione, e quindi caratterizzato da parametri dotati di un significato interpretabile in chiave di comprensione di tali meccanismi: abilità dei valutatori, chiarezza del segnale emesso da ogni unità in merito alla sua appartenenza alle modalità della variabile V, adeguatezza della scala di misura di V, in termine di numero e distinguibilità delle modalità; - che sia capace di distinguere fra situazioni con e senza una "classificazione vera", ammettendo sia la perfetta concordanza, che la totale uniformità, che l'indipendenza come casi particolari. Oltre la fase di specificazione, ulteriore obiettivo del progetto è lo sviluppo di opportune procedure inferenziali, di stima e verifica della bontà di adattamento, e l'applicazione del modello qui proposto a insieme di dati reali, con conseguente confronto con i risultati ottenuti con altri modelli già presenti in letteratura. Metodi La classe di modelli entro cui ci si muoverà è quella dei modelli a classi latenti; condizionatamente a ciascuna classe latente (l'ignota modalità di classificazione dell'unità valutata), si specificherà un modello con marginali probabilizzati in funzione (non-lineare) di parametri sostantivi che si riferiscono alla abilità di ciascun valutatore, alla chiarezza del segnale emesso da ogni unità in merito alla sua appartenenza alle modalità della variabile V, alla adeguatezza della scala di misura (numero e distinguibilità delle modalità) della variabile V. Si procederà poi a costruire opportune procedure inferenziali, di stima e verifica di adattamento, per il modello proposto. Nel contesto dei modelli a classi latenti, e ancor più in presenza di modelli (condizionati) non-lineari, si pone in modo cogente il problema della identificabilità dei parametri, che andrà preliminarmente discussa per via analitica e/o numerica. Le procedure inferenziali saranno sviluppate nel contesto dell'approccio di verosimiglianza; date le caratteristiche del problema, si farà ricorso a metodi iterativi tipo EM (e varianti) applicati sia alla funzione di verosimiglianza propria che a sue versioni estese (verosimiglianza profilo, verosimiglianza condizionata, ecc.). Infine, si prevede l'applicazione del modello qui proposto a insiemi di dati reali, con conseguente confronto con i risultati ottenuti con altri modelli già presenti in letteratura, sia in termini di bontà di adattamento che di interpretabilità dei parametri.
StatoAttivo
Data di inizio/fine effettiva1/1/07 → …

Fingerprint

Esplora i temi di ricerca toccati da questo progetto. Queste etichette sono generate sulla base dei riconoscimenti/sovvenzioni sottostanti. Insieme formano una fingerprint unica.