a cura della redazione
Un assistente di intelligenza artificiale utilizzato durante una visita medica ha inserito nella documentazione di una paziente australiana un’informazione completamente falsa: avrebbe assunto funghi psichedelici. Rebecca Green non li aveva mai utilizzati. L’errore è stato scoperto solo dopo un intervento chirurgico e riaccende il dibattito sull’uso dell’AI negli studi medici.
Era entrata nello studio di un urologo per una normale visita specialistica.
Quando a Rebecca Green è stato chiesto se fosse d’accordo che la conversazione venisse trascritta attraverso un sistema di intelligenza artificiale, ha accettato senza particolari preoccupazioni.
Una decisione apparentemente innocua che, qualche tempo dopo, le avrebbe provocato stress e incredulità.
Nel suo fascicolo medico era infatti comparsa un’informazione che Rebecca non aveva mai fornito: secondo la documentazione, avrebbe fatto uso di funghi psichedelici in microdosi.
Una circostanza completamente falsa.
«Non ho mai preso funghi in vita mia»
Rebecca ha scoperto l’errore soltanto dopo un intervento chirurgico per calcoli renali, quando ha letto la lettera post-operatoria inviata dallo specialista al proprio medico di base.
Nel documento si affermava che la paziente praticasse il microdosing di funghi psichedelici e si suggeriva persino un possibile collegamento con precedenti sanguinamenti intorno ai reni.
Rebecca è rimasta sconvolta.
Non aveva mai assunto quella sostanza e non aveva mai detto nulla di simile durante la visita.
Il problema non era soltanto personale.
Un’informazione del genere, una volta inserita nella documentazione sanitaria, può essere letta da altri medici e potenzialmente influenzare decisioni cliniche future.
Il timore per il workers’ compensation
Per Rebecca la situazione era ancora più delicata perché in quel periodo stava ricevendo un workers’ compensation.
La presenza di un riferimento all’uso di droghe illegali nella propria storia clinica le ha fatto temere possibili conseguenze sulla sua posizione assicurativa o lavorativa.
E proprio questo dimostra quanto un errore apparentemente piccolo possa diventare estremamente serio.
Una cartella clinica non è un semplice testo.
È un documento che può accompagnare una persona per anni.
Può essere utilizzato da medici, specialisti, ospedali e, in determinate circostanze, anche da assicurazioni o altri soggetti autorizzati.
Le scuse del medico
Dopo la denuncia della paziente, l’urologo ha inviato una lettera di scuse.
Il medico ha spiegato di non essere riuscito a determinare esattamente come il riferimento ai funghi fosse entrato nella documentazione, ipotizzando un errore durante il processo di dettatura o trascrizione.
La corrispondenza è stata successivamente corretta.
Lo specialista ha inoltre dichiarato che avrebbe riesaminato il modo in cui l’intelligenza artificiale veniva utilizzata all’interno dello studio.
Ma per Rebecca resta una domanda fondamentale:
perché nessuno ha controllato il documento prima di inviarlo?
AHPRA: il medico deve controllare
Ed è proprio questo uno dei punti più importanti della vicenda.
L’utilizzo di un assistente AI non elimina la responsabilità del professionista sanitario.
Il medico deve verificare che ciò che viene inserito nella cartella clinica corrisponda realmente a quanto emerso durante la visita.
L’intelligenza artificiale può aiutare a ridurre il lavoro amministrativo, ma non può diventare un sostituto del controllo umano.
Il problema è particolarmente importante perché i sistemi generativi possono produrre le cosiddette “allucinazioni”.
Non si tratta di visioni nel senso umano del termine.
Nel linguaggio dell’intelligenza artificiale, un’allucinazione è una risposta falsa o inventata presentata però in maniera apparentemente credibile.
Ed è esattamente ciò che sembra essere accaduto nel caso di Rebecca.
L’AI può inventare diagnosi e sintomi
Il suo non sarebbe un episodio isolato.
Una recente ricerca australiana sull’utilizzo degli AI medical scribes, i programmi che ascoltano le conversazioni tra medico e paziente e generano automaticamente note cliniche, ha individuato diversi errori preoccupanti.
In un caso il sistema avrebbe indicato il seno sbagliato in una diagnosi di tumore.
In un altro avrebbe scritto che una persona soffriva di epilessia, nonostante il paziente non avesse quella patologia.
Sono errori che possono sembrare assurdi.
In medicina, però, confondere destra e sinistra, un farmaco, una dose o una diagnosi può avere conseguenze molto serie.
Il rischio dell’eccessiva fiducia nell’AI
C’è poi un problema umano.
Quando una nuova tecnologia viene introdotta, chi la utilizza tende inizialmente a controllarla attentamente.
Poi, con il passare del tempo, aumenta la fiducia.
Se il sistema produce per settimane documenti apparentemente corretti, può nascere la tentazione di leggere più velocemente o addirittura non controllare ogni singolo dettaglio.
Ed è proprio qui che l’errore può sfuggire.
L’AI non deve sbagliare ogni volta per rappresentare un rischio.
Può essere precisa nel 99 per cento delle occasioni.
Ma se quell’uno per cento riguarda il nome di un farmaco, una dose, una parte del corpo oppure una falsa storia di consumo di droghe, le conseguenze possono essere enormi.
Sempre più medici utilizzano questi strumenti
Gli assistenti AI stanno diventando sempre più comuni negli studi medici australiani.
Il motivo è facilmente comprensibile.
Durante una visita, il medico può concentrarsi maggiormente sul paziente invece di trascorrere gran parte del tempo davanti al computer digitando appunti.
Il software ascolta la conversazione e produce automaticamente note, lettere di referral e riepiloghi.
Per molti professionisti rappresenta un enorme risparmio di tempo.
E può persino migliorare il rapporto con il paziente.
Il problema nasce quando l’automazione diventa fiducia cieca.
Il consenso del paziente
Un’altra questione riguarda il consenso.
Prima di utilizzare un sistema AI durante una consultazione medica, il paziente dovrebbe sapere chiaramente cosa sta accadendo.
Non dovrebbe essere sufficiente un cartello nella sala d’attesa o una semplice casella da selezionare durante la prenotazione online.
Il paziente dovrebbe poter chiedere:
L’AI sta registrando questa conversazione?
Dove finiscono i miei dati?
Chi può leggerli?
Il medico controllerà il documento prima di inserirlo nella mia cartella?
E soprattutto:
posso dire di no senza perdere l’appuntamento?
Privacy e informazioni estremamente sensibili
Le conversazioni che avvengono nello studio di un medico possono contenere alcune delle informazioni più private della vita di una persona.
Malattie.
Salute mentale.
Sessualità.
Uso di farmaci.
Violenza domestica.
Dipendenze.
Problemi familiari.
Se il paziente sa che un sistema informatico sta ascoltando, potrebbe anche essere meno disposto a raccontare determinati aspetti della propria vita.
E questo potrebbe compromettere la qualità della diagnosi e dell’assistenza.
Chi controlla gli AI scribes?
In Australia esistono diversi sistemi di AI medical scribe.
Ma la regolamentazione dipende da ciò che effettivamente fanno.
Se il software si limita a trascrivere e riassumere una conversazione, può rientrare in una categoria diversa rispetto a uno strumento che analizza i dati e suggerisce diagnosi o trattamenti.
Quando il sistema comincia a formulare interpretazioni cliniche, entra in un territorio molto più delicato.
Ed è qui che il confine tra semplice assistente amministrativo e dispositivo medico diventa fondamentale.
L’AI può aiutare, ma serve ancora l’uomo
Rebecca Green non è contraria all’intelligenza artificiale.
Anzi, ha spiegato di apprezzare la tecnologia.
Ma dopo quanto accaduto, oggi sarebbe molto più prudente nel consentire a un sistema AI di partecipare a una visita medica, soprattutto con un professionista che non conosce.
La sua esperienza racchiude probabilmente la vera lezione di questa storia.
Il problema non è necessariamente utilizzare l’intelligenza artificiale.
Il problema è dimenticare che dietro ogni documento medico deve esserci ancora una persona responsabile di controllarlo.
Perché un algoritmo può scrivere una cartella clinica in pochi secondi.
Ma se inventa qualcosa, sarà comunque un essere umano a doverne affrontare le conseguenze.
