Google i ChatGPT udzielają różnych odpowiedzi na pytania dotyczące alzheimera [BADANIE]

Jego autorzy stwierdzili, że choć informacje od modelu językowego Google były najbardziej aktualne, to jednak mocno zniekształcone przez poszukujących klientów dostawców usług i producentów. Jednocześnie ChatGPT, który jest zdecydowanie bardziej obiektywny, nie ma dostępu do najświeższej wiedzy medycznej.

– Jeśli wyodrębnilibyśmy najlepsze cechy obu tych modeli językowych, otrzymalibyśmy dużo lepszy system. Zresztą tak się zapewne stanie w ciągu najbliższych kilku lat – mówi prof. Vagelis Hristidis, główny autor omawianej publikacji.

Analizie poddano typowe zapytania od osób żyjących z demencją i ich rodzin

Interdyscyplinarne badanie pod jego kierownictwem przeprowadzili informatycy z Uniwersytetu Kalifornijskiego w Riverside oraz klinicyści z University of Alabama i Florida International University. Przesłali 60 zapytań zarówno do sztucznej inteligencji stworzonej przez Google oraz do udostępnionego przez OpenAI ChatGPT. Były to typowe zapytania od osób żyjących z demencją i ich rodzin; codziennie tysiące takich pojawia się w wyszukiwarkach internetowych.

Naukowcy skupili się na demencji, ponieważ na zaburzenia z tej grupy cierpi już ponad sześć milionów Amerykanów. „Badania pokazują, że opiekunowie osób z demencją są jednymi z najbardziej zaangażowanych w zdobywanie informacji zdrowotnych z internetu, ponieważ to właśnie oni często muszą podejmować ważne decyzje dotyczące opieki nad chorym bliskim” – wyjaśniają.

Połowa użytych w badaniu zapytań dotyczyła informacji o samym procesie chorobowym, a połowa o usługach, które mogłyby pomóc pacjentom i ich rodzinom.

Google bardziej aktualny, ale mniej dokładny niż ChatGPT

Wyniki były bardzo zróżnicowane. - Google dawał bardziej aktualne informacje i obejmował wszystkie poruszane zagadnienia – opowiada prof. Hristidis. - ChatGPT jest natomiast aktualizowany co kilka miesięcy, więc pozostaje w tyle. Jeśli na przykład w zeszłym tygodniu pojawił się jakiś nowy lek na rynku, ChatGPT o nim nie opowie”.

Jednak choć nieco "przestarzały", ChatGPT dostarczał bardziej wiarygodnych i dokładniejszych informacji niż Google. Zdaniem naukowców dzieje się tak, ponieważ twórcy tego pierwszego wybierają do szkolenia swojego modelu poprzez uczenie maszynowe najbardziej niezawodne strony internetowe.

W przypadku Google istnieje zaś duży problem z niezawodnością, ponieważ udzielane przez niego odpowiedzi „zasadniczo obejmują wszystko: od wiarygodnych źródeł po reklamy”.

W rzeczywistości wygląda to tak, że reklamodawcy płacą Google za wyświetlanie linków do ich witryn na górze stron z wynikami wyszukiwania. Dlatego użytkownicy często najpierw widzą odnośniki do firm poszukujących zysku, próbujących sprzedać swoje usługi lub produkty związane z opieką nad chorymi. „Znalezienie wiarygodnych informacji w Google wymaga zatem pewnego poziomu umiejętności i doświadczenia użytkownika” - mówi Hristidis.

W przypadku poszukiwania informacji nt. choroby Alzheimera bardzo ważna jest jednak aktualna wiedza, ponieważ postęp w tej dziedzinie dokonuje się każdego dnia.

– Chociaż nie ma lekarstwa na tę chorobę, to wiele badań klinicznych jest w toku, a ostatnio FDA zatwierdziła obiecującą terapię dla osób we wczesnym stadium - mówi badacz. - Takie aktualne informacje są więc ważne dla rodzin, które chcą dowiedzieć się o ostatnich odkryciach i dostępnych metodach leczenia.

PRZECZYTAJ TAKŻE: FDA zatwierdziła przeciwciało monoklonalne spowalniające rozwój choroby Alzheimera

Autorzy badania piszą, że „dodanie zarówno źródła, jak i daty informacji związanych ze zdrowiem oraz dostępności w innych językach może zwiększyć wartość obu platform, zarówno dla pracowników niemedycznych, jak i medycznych”.

Oba modele uzyskały niskie wyniki w zakresie czytelności

Zwracają także uwagę, że zarówno model Google, jak i ChatGPT uzyskały niskie wyniki w zakresie czytelności, co oznacza, że osoby z niższym poziomem wykształcenia oraz niskimi umiejętnościami w zakresie wiedzy o zdrowiu mają ograniczone możliwości ich odpowiedniego zrozumienia.

– Według mnie ten ostatni czynnik jest jednak najłatwiejszy do poprawienia, ponieważ istnieją już narzędzia, także oparte o sztuczną inteligencję, które potrafią czytać i parafrazować tekst – wyjaśnia prof. Hristidis. - Jeśli zaś chodzi o poprawę niezawodności i dokładności, jest to o wiele trudniejsze. Nie zapominajmy, że stworzenie ChatGPT zajęło naukowcom wiele dziesięcioleci badań nad sztuczną inteligencją. To będzie powolny proces.

PRZECZYTAJ TAKŻE: Rak piersi: ChatGPT odpowiedział poprawnie na 88 proc. pytań dotyczących badań przesiewowych

Link do badania źródłowego: http://dx.doi.org/10.2196/48966