L'impatto dei Large Language Models (LLMs) sulle capacità diagnostiche
13 dicembre 2024
Un piccolo studio clinico per verificare se l’utilizzo di un Large Language Models (LLM), il tipo di sistema di Intelligenza Artificiale alla base di OpenAI ChatGPT e servizi analoghi, può migliorare le capacità diagnostiche dei medici rispetto all'uso di strumenti di supporto tradizionali, come i database online, è stato pubblicato su JAMA Network.
I risultati dello studio sono fondamentalmente due: (1) L’uso di un LLM non migliora i risultati dei medici rispetto all’uso di risorse tradizionali, (2) il sistema LLM - da solo - ha risultati significativamente migliori rispetto ai medici.
Per interpretare questi risultati è necessario analizzare la struttura, e i limiti, dello studio: (a) sono stati coinvolti soltanto 50 professionisti, (b) i professionisti che hanno utilizzato il LLM non hanno ricevuto formazione specifica, (c) le performance diagnostiche sono state misurate in uno scenario decontestualizzato, ovvero i medici hanno dovuto risolvere - in forma scritta - casi clinici predefiniti, senza interagire con pazienti reali.
Sulla base di queste considerazioni, la principale conclusione che si può trarre è che per sfruttare il potenziale di questo tipo di sistemi di supporto alle decisioni basati su IA è necessaria una formazione specifica dei professionisti. Le risposte fornite dai Large Language Models sono - infatti - profondamente dipendenti dal modo in cui l'utente formula la singola domanda, tecnicamente "il prompt", e dalla sequenza di domande che costituiscono la conversazione.
L'articolo con i risultati dello studio clinico è reperibili a questo link:
Apri link.