Il metodo per identificare la decisione più accurata quando non si trova un accordo tra esperti

Un modello matematico predice l’accuratezza delle decisioni nei team di esperti

Saper comprendere come gli individui reagiscano e prendano decisioni è di primaria importanza in una vasta gamma di situazioni ad alto rischio. Gli studiosi hanno individuato un algoritmo matematico che dimostra come la somiglianza tra le decisioni interindividuali di un gruppo è un predittore dell’accuratezza delle decisioni di uno specifico individuo.

I risultati sono stati sviluppati all’interno di diverse situazioni sperimentali di varia natura e hanno offerto un’ampia panoramica delle euristiche utilizzate per prendere decisioni nel mondo reale.

Le decisioni più accurate avvengono secondo processi specifici

Tra gli obiettivi più importanti in campo scientifico vi è sicuramente la capacità di poter prevedere il livello di accuratezza ed il margine di errore insito in una decisione.

La situazione si fa ancora più complicata quando la previsione viene sviluppata all’interno di un team di esperti. Poter prevedere infatti risultati economici e politici, analizzare un rischio ambientale o confermare una diagnosi medica non è un compito facile (O’Sullivan, 2007; Burgman et al., 2011; Rae et al., 2017; Tetlock, 2017; Spann et al., 2009).

Persino la presenza di archivi e registri di analisi precedenti non è un buon punto di partenza perché spesso sono inaccessibili a causa di vincoli etici o legali (Miller, 2005; Prelec, 2004).

Per poter identificare individui e professionisti capaci di alte prestazioni decisioni è infatti necessario utilizzare un altro tipo di approccio: valutare la gamma delle loro performances sulla base dell’accuratezza delle loro decisioni, spesso riportate e valutate dai loro stessi pari (Collins et al., 2008; Hart, 1986; Shanteau et al., 2002)

Sebbene ci siano dei bias dati dalla narrazione stessa del livello di expertise e tali criteri di accuratezza siano dipendenti dal contesto (Shanteau et al., 2002), la ricerca degli ultimi anni ha sviluppato un approccio che integra teoria e pratica focalizzato sugli input direttamente osservabili e non sulle esperienze passate degli individui.

>> Scopri ora il corso ECM FAD "Burnout e dipendenza da lavoro nelle professioni sanitarie" per acquisire 30 crediti ECM per il 2020

Cosa accade quando la decisione è all’interno di un gruppo di ricerca

Cosa accade quindi se, a prendere decisioni importanti, è un gruppo di studiosi? Sulla base di quali criteri viene emesso il verdetto finale su un presupposto scientifico?

Per rispondere a queste domande un team interdisciplinare di ricercatori dell’Istituto Max Planck per lo sviluppo umano e l’Istituto di ecologia di Leibniz ha sviluppato un metodo semplice ma accurato per identificare gli esperti più accurati all’interno di un gruppo di ricerca, senza appellarsi alle loro esperienze recenti o passate.

L’intento del team era quello di sviluppare un protocollo decisionale per testarlo anche su altri gruppi.

Sinora il modo con il quale è possibile individuare l’esperto in grado di dare la risposta più vicina a quella corretta a quesiti come “Una massa su una mammografia indica il cancro al seno?” o “Ci saranno più inondazioni in Germania tra cinque anni?” è stato spesso il risultato di riflessioni successive solo a diagnosi già avvenuta.

Con la ricerca del team di Max Wolf, studioso dell’Istituto di Ecologia di Leibniz e coautore dello studio, si è sviluppato un metodo condiviso basato su processi di intelligenza collettiva. Il principio teorico che fa da perno all’intero apparato è quello per il quale gli individui di un gruppo affermato di esperti prendono decisioni più simili a quelle del loro gruppo di appartenenza e, di conseguenza, formulano le decisioni migliori.

Il metodo di processo decisionale è stato applicato con analisi matematica anche ad altri campi.

Ad esempio, i ricercatori hanno esaminato le diagnosi fatte da 100 radiologi negli Stati Uniti. All'inizio degli anni 2000 i radiologi hanno interpretato le mammografie di 155 donne per determinare se avessero o meno il cancro al seno.

Il team di ricerca ha analizzato i dati per identificare i radiologi le cui decisioni erano, in media, le più simili a quelle degli altri. Poiché hanno avuto accesso alle informazioni di follow-up sullo stato di salute delle 155 donne sottoposte a screening, i ricercatori sono stati anche in grado di determinare quali radiologi hanno effettuato le diagnosi più accurate e quindi migliori.

I risultati hanno confermato che erano gli stessi radiologi di quelli identificati usando il nuovo metodo statistico.

Per Ralf Kurvers, autore principale e ricercatore del Center for Adaptive Rationality presso il Max Planck Institute for Human Development, la differenza intragruppo è minima. Gli esperti nel loro campo sono infatti bravi in maniera simile, mentre quelli meno competenti presentano più differenze intergruppo.

Il metodo utilizza un’euristica essenziale e facilmente applicabile. Di fronte al compito di identificare i performer migliori all’interno di un gruppo di candidati dei quali non sappiamo le modalità decisionali, è meglio selezionare gli individui che prendono decisioni più simili.

E’ ragionevole pensare che in compiti con risposta binaria sì/no questa condizioni venga facilmente soddisfatta. La stessa dinamica è stata osservata anche in set di dati da 20-30 decisioni confermando che è un metodo affidabile di classificazione.

In conclusione, lo sviluppo di modelli matematici riguardanti i meccanismi coinvolti nel processo decisionali ad alti livelli possono essere una lente di ingrandimento sulla capacità di accuratezza nei processi diagnostici.

Saper individuare in anticipo e con efficacia quanto possano essere valide le decisioni da parte dei team di professionisti in situazioni ad alto rischio può aumentare considerevolmente l’efficacia dei percorsi terapeutici e sviluppare nuovi metodi di prevenzione in casi ad alto rischio ambientale, politico e aziendale.

>> Leggi anche:

Il sonno innesca un refresh nel nostro cervello. Ecco perché non possiamo fare a meno di dormire 

Geneticamente obesi? La scienza dice sì

Fonti: 

Kurvers, R., Herzog, S. M., Hertwig, R., Krause, J., Moussaid, M., Argenziano, G., Wolf. M. How to detect high-performing individuals and groups: Decision similarity predicts accuracy. Science Advances, 2019 DOI: 10.1126/sciadv.aaw9011

O’Sullivan M., Unicorns or Tiger Woods: Are lie detection experts myths or rarities? A response to on lie detection “wizards” by Bond and Uysal. Law Hum. Behav. 31, 117–123 (2007) 

Shanteau J., Weiss D.J., Thomas R.P., Pounds J.C., Performance-based assessment of expertise: How to decide if someone is an expert or not. Eur. J. Oper. Res. 136, 253–263 (2002)