ChatGPT keresés: megbízhatatlan és pontatlan eredmények
Az OpenAI ChatGPT keresője komoly problémákkal küzd a pontos és megbízható információk szolgáltatása terén, derül ki egy új kutatásból.
A Columbia Egyetem Tow Center for Digital Journalism kutatói által végzett tesztelés alapján az OpenAI ChatGPT keresőeszköze problémákkal küzd, amikor a valóságnak megfelelő válaszokat kell adnia.
Az OpenAI októberben indította el az eszközt az előfizetők számára, azt ígérve, hogy ‘gyors, naprakész válaszokat ad releváns webes forrásokra mutató linkekkel’. Ehelyett a ChatGPT keresés küszködött a cikkekből származó idézetek helyes azonosításával, még akkor is, ha azok olyan kiadóktól származtak, amelyekkel az OpenAI adatmegosztási megállapodást kötött.
Megdöbbentő pontatlanság
A kutatók arra kérték a ChatGPT-t, hogy azonosítsa ‘kétszáz idézet forrását húsz kiadványból’. Az idézetek közül negyven olyan kiadóktól származott, amelyek nem engedélyezték az OpenAI keresőrobotjának a hozzáférést az oldalukhoz. Ennek ellenére a chatbot magabiztosan válaszolt hamis információkkal, és ritkán ismerte el, ha bizonytalan volt a megadott részletekkel kapcsolatban:
Összesen százötvenhárom alkalommal adott a ChatGPT részben vagy teljesen helytelen válaszokat, bár csak hét esetben ismerte el, hogy nem tud pontosan válaszolni egy kérdésre. Csak ebben a hét válaszban használt minősítő szavakat és kifejezéseket, mint például ‘úgy tűnik’, ‘lehetséges’, vagy ‘talán’, illetve olyan kijelentéseket, mint ‘nem tudtam megtalálni a pontos cikket’.
Félrevezető attribúciók
A Tow Center tesztjének szerzői dokumentálták, hogy a ChatGPT keresés tévesen tulajdonított egy olvasói levélből származó idézetet az Orlando Sentinel-ből egy Time magazinban megjelent cikknek. Egy másik példában, amikor arra kérték, hogy azonosítsa egy New York Times cikkből származó, veszélyeztetett bálnákról szóló idézet forrását, egy olyan másik weboldalra mutató linket adott vissza, amely teljes egészében plagizálta a cikket.
‘A félreattribúció nehezen kezelhető a Tow Center által visszatartott adatok és módszertan nélkül’ – nyilatkozta az OpenAI a Columbia Journalism Review-nak, ‘és a tanulmány termékünk atipikus tesztjét jelenti.’ A vállalat ígéretet tett arra, hogy ‘továbbra is javítja a keresési eredményeket’.
Összefoglaló
Az OpenAI ChatGPT keresője komoly kihívásokkal néz szembe a pontos és megbízható információk szolgáltatása terén. A kutatás rávilágított, hogy a rendszer gyakran ad magabiztos, de téves válaszokat, és ritkán ismeri el bizonytalanságát. Ez felveti a kérdést, hogy mennyire lehet megbízni az AI-alapú keresőeszközökben, és hangsúlyozza a folyamatos fejlesztés és ellenőrzés szükségességét ezen a területen.
