Az AI átírási hibák veszélyei az egészségügyi dokumentációban
Kutatók figyelmeztetnek az OpenAI Whisper által generált orvosi átiratok megbízhatatlanságára, ami komoly kockázatot jelent az egészségügyi ellátásban.
Néhány hónappal ezelőtt az orvosom bemutatott egy AI átírási eszközt, amelyet a betegtalálkozók rögzítésére és összefoglalására használt. Az én esetemben az összefoglaló megfelelő volt, de a kutatók által idézett jelentés szerint ez nem mindig van így az OpenAI Whisper által készített átiratoknál, amelyet számos kórház használ – néha teljesen kitalált dolgokat ír.
A Whispert egy Nabla nevű cég használja egy olyan eszközhöz, amely becslések szerint 7 millió orvosi beszélgetést írt át. Több mint 30 000 klinikus és 40 egészségügyi rendszer használja. A jelentés szerint a Nabla tisztviselői ’tisztában vannak azzal, hogy a Whisper hallucinálhat, és foglalkoznak a problémával’. Egy hétfőn közzétett blogbejegyzésben a vezetők azt írták, hogy modelljük fejlesztéseket tartalmaz a ‘Whisper jól dokumentált korlátainak’ figyelembevételére.
Kutatási eredmények a hallucináció problémájáról
A Cornell Egyetem, a Washingtoni Egyetem és mások kutatócsoportja ismertette megállapításait egy szakértői értékelésen átesett tanulmányban, amelyet júniusban mutattak be az Association for Computing Machinery FAccT konferencián.
A kutatók szerint
‘Bár a Whisper átírásainak nagy része nagyon pontos volt, azt találtuk, hogy az audio átírások körülbelül egy százaléka olyan teljesen hallucinált kifejezéseket vagy mondatokat tartalmazott, amelyek semmilyen formában nem léteztek az alapul szolgáló hanganyagban… A hallucinációk 38 százaléka explicit károkat tartalmaz, például erőszak elkövetését, pontatlan asszociációk kitalálását vagy hamis tekintély sugallását.’
A kutatók megjegyezték, hogy ‘a hallucinációk aránytalanul gyakrabban fordulnak elő olyan egyéneknél, akik hosszabb nem-vokális időtartamokkal beszélnek’, ami szerintük gyakoribb az afázia nevű nyelvi rendellenességben szenvedőknél. A használt felvételek nagy részét a TalkBank AphasiaBank-jából gyűjtötték.
OpenAI és Nabla válasza
Az OpenAI szóvivője, Taya Christianson e-mailben küldött nyilatkozatot:
‘Komolyan vesszük ezt a problémát, és folyamatosan dolgozunk a fejlesztéseken, beleértve a hallucinációk csökkentését. A Whisper API platformunkon történő használatára vonatkozó használati szabályzatunk tiltja a használatot bizonyos magas tétű döntéshozatali helyzetekben, és a nyílt forráskódú használatra vonatkozó modellkártyánk tartalmazza a magas kockázatú területeken való használat elleni ajánlásokat. Köszönjük a kutatóknak, hogy megosztották megállapításaikat.’
Hétfőn Martin Raison, a Nabla technológiai igazgatója és Sam Humeau gépi tanulási mérnök blogbejegyzést tett közzé ‘Hogyan használja a Nabla a Whispert’ címmel. Raison és Humeau szerint a Nabla átírásai ‘nem kerülnek közvetlenül a beteg nyilvántartásába’, egy második ellenőrzési réteg van egy nagy nyelvi modell (LLM) lekérdezéssel az átirat és a beteg kontextusa ellen, és ‘Csak azokat a tényeket tekintjük érvényesnek, amelyekre egyértelmű bizonyítékot találunk’.
Azt is állítják, hogy ‘9 millió orvosi találkozót’ dolgoztak fel, és hogy ‘bár néha jelentettek átírási hibákat, a hallucinációt soha nem jelentették jelentős problémaként’.
Összefoglalás
Az AI átírási eszközök, mint például az OpenAI Whisper, jelentős előrelépést jelentenek az orvosi dokumentáció terén, de a kutatások rávilágítanak a potenciális veszélyekre is. A hallucinációk és pontatlanságok komoly következményekkel járhatnak az egészségügyi ellátásban. Míg a technológiai cégek dolgoznak a problémák megoldásán, fontos, hogy az egészségügyi szakemberek tisztában legyenek ezekkel a korlátokkal, és megfelelő ellenőrzéseket végezzenek az AI által generált átiratok használata során.
