Blog

Mar 08, 2023

Rendere l'apprendimento automatico importante per i medici: l'azionabilità del modello nelle decisioni mediche

npj Digital Medicine volume

npj Medicina Digitale volume 6, numero articolo: 7 (2023) Citare questo articolo

4602 accessi

1 Citazioni

23 Altmetrico

Dettagli sulle metriche

L’apprendimento automatico (ML) ha il potenziale per trasformare la cura e i risultati dei pazienti. Tuttavia, esistono differenze importanti tra la misurazione delle prestazioni dei modelli ML in silico e l’utilità presso il punto di cura. Un obiettivo da utilizzare per valutare i modelli durante lo sviluppo iniziale è l’agibilità, che attualmente è sottovalutata. Proponiamo una metrica per l'azionabilità destinata ad essere utilizzata prima della valutazione della calibrazione e, in ultima analisi, dell'analisi della curva decisionale e del calcolo del beneficio netto. La nostra metrica dovrebbe essere vista come parte di uno sforzo generale per aumentare il numero di strumenti pragmatici che identificano i possibili impatti clinici di un modello.

C’è un enorme interesse nell’applicazione dell’apprendimento automatico (ML) ai numerosi problemi irrisolti nel settore sanitario. I modelli pubblicati possono aumentare la consapevolezza del medico, eseguire attività diagnostiche, prevedere eventi clinicamente rilevanti e guidare il processo decisionale clinico1. Tuttavia, nonostante le enormi promesse e investimenti, la trasposizione di questi modelli al punto di cura è stata relativamente limitata2. Questo fallimento di implementazione è problematico in quanto limita la capacità di valutare l’efficacia del modello rispetto ai risultati del mondo reale.

Le ragioni della mancata adozione del machine learning sono multifattoriali3. Oltre ai vincoli in termini di risorse (ad esempio, mancanza di disponibilità di dati, infrastruttura tecnica, alcune opzioni terapeutiche e campioni clinici), un ostacolo importante all'adozione del machine learning potrebbe essere che molte metriche attualmente utilizzate per valutare e segnalare le prestazioni del modello (ad esempio, punteggio F1, area sotto la curva operativa del ricevitore, calibrazione, discriminazione, ecc.) non riflettono il modo in cui un modello aumenterebbe il processo decisionale medico4. Questa preoccupazione per l’ottimizzazione dei parametri prestazionali tradizionali invece di quelli più applicabili clinicamente è un’occasione persa per capire se un modello è probabilmente utilizzabile per i medici che si trovano ad affrontare un dilemma clinico.

Consideriamo l’agibilità come una caratteristica dei modelli che riflette la loro capacità di aumentare il processo decisionale medico rispetto al solo giudizio medico. La migliore metrica singola che misura l'utilità clinica di un modello è il beneficio netto5, che stima la relazione tra i benefici e i danni di un modello attraverso una gamma di soglie di probabilità di decisione e malattia. È possibile costruire curve decisionali che stimano se il ML o altri modelli predittivi sarebbero di maggiore utilità (ovvero, beneficio netto) se agiti rispetto a diversi modelli o altre strategie per testare/trattare (ad esempio, testare/trattare tutti i pazienti). Se un dato modello presenta un beneficio netto più elevato rispetto alle alternative, indipendentemente dall’entità della differenza, allora l’uso del modello per prendere la decisione clinica rilevante migliorerebbe i risultati clinici rispetto alle alternative. Sfortunatamente, al momento, il vantaggio netto è un parametro sottoutilizzato e riteniamo che dovrebbe essere riportato per quasi tutti i modelli ML in modo che i lettori possano comprenderne meglio la potenziale utilità al capezzale del paziente.

Tuttavia, l'analisi della curva decisionale è destinata ad essere utilizzata su modelli perfezionati durante le fasi finali della valutazione del modello. In quanto tale, non viene utilizzato di routine durante lo sviluppo iniziale del modello. Questo documento propone una metrica che può aiutare a identificare l'attuabilità di un modello nelle prime fasi dello sviluppo, prima della valutazione della calibrazione e, infine, dell'analisi della curva decisionale e del calcolo del beneficio netto. Il nostro intento non è quello di sostituire i parametri tradizionali delle prestazioni del modello, poiché sono necessari (ma non sufficienti) per l’utilità clinica né sostituire il beneficio netto. Consideriamo piuttosto la nostra metrica come un filtro orientato clinicamente attraverso il quale alcuni modelli dovrebbero passare nelle prime fasi dello sviluppo del modello. Più in generale, cerchiamo di espandere gli strumenti disponibili che valutano olisticamente i potenziali impatti clinici di un modello.