Najnowocześniejsze narzędzie korzystające ze sztucznej inteligencji – ChatGPT – zostało użyte do rozwiązania zadań obejmujący zakres zagadnień potrzebnych do uzyskania licencji lekarskiej. Okazało się, że algorytm „poradził” sobie nie gorzej niż człowiek po wielu latach nauki.
ChatGPT to nowy system sztucznej inteligencji, znany jako duży model językowy (tzw. Logic Learning Machine – LLM). Został zaprojektowany do generowania tekstów podobnych do pisanych przez człowieka poprzez przewidywanie nadchodzących sekwencji słów. W przeciwieństwie do większości chatbotów ChatGPT nie przeszukuje Internetu. Teksty generuje, wykorzystując relacje między słowami przewidywane przez wewnętrzne procesy.
Jak wykazały badania, ChatGPT może uzyskać wynik równy lub zbliżony do około 60 procent progu wymaganego do uzyskania licencji medycznej w Stanach Zjednoczonych (USMLE), z odpowiedziami, które mają spójny, wewnętrzny sens.
Wesprzyj nas już teraz!
Dr Tiffany Kung i jej współpracownicy z medycznego startupu AnsibleHealth przetestowali możliwości ChatGPT na przykładzie USMLE, wysoce wystandaryzowanej i regulowanej serii trzech egzaminów wymaganych do uzyskania licencji medycznej. USMLE, przeznaczony dla studentów medycyny i lekarzy stażystów, ocenia wiedzę obejmującą większość dyscyplin medycznych, od biochemii, przez rozumowanie diagnostyczne, po bioetykę.
Po usunięciu pytań opartych na obrazach autorzy przetestowali oprogramowanie na 350 z 376 pytań publicznych dostępnych w wydaniu USMLE z czerwca 2022 roku.
W trzech egzaminach USMLE ChatGPT uzyskał wynik między 52,4 a 75 proc. Próg przejścia dla każdego roku wynosił około 60 proc. ChatGPT wykazał również 94,6 proc. zgodności we wszystkich swoich odpowiedziach i uzyskał co najmniej jeden znaczący wgląd (coś, co było nowe, nieoczywiste i klinicznie ważne) dla 88,9 proc. swoich odpowiedzi. Co istotne, ChatGPT przewyższył wynikami PubMedGPT, czyli model przeszkolony wyłącznie w oparciu o literaturę z dziedziny biomedycyny, który uzyskał 50,8 proc. prawidłowych odpowiedzi na starszym zbiorze danych pytań w stylu USMLE.
Jak się okazuje, ChatGPT traktowany jest nie tylko w charakterze oprogramowania mającego zwiększyć potencjał badań medycznych, ale już wykorzystywany jest w praktyce medycznej. Na przykład klinicyści w AnsibleHealth już używają go do „tłumaczenia” skomplikowanego żargonu raportów medycznych w celu łatwiejszego zrozumienia ich przez pacjentów.
„Osiągnięcie pozytywnego wyniku tego niezwykle trudnego egzaminu eksperckiego i dokonanie tego bez wsparcia ze strony ludzi stanowi znaczący kamień milowy w klinicznym dojrzewaniu sztucznej inteligencji” – mówią autorzy opisywanego badania.
Dr Tiffany Kung zaznaczyła, że rola ChatGPT wykraczała poza bycie przedmiotem badania. – ChatGPT znacząco przyczynił się do napisania naszego tekstu… Współpracowaliśmy z ChatGPT podobnie jak z kolegą, prosząc go o syntezę, uproszczenie i oferowanie kontrapunktów do szkiców w toku… Wszyscy współautorzy cenili wkład ChatGPT – tłumaczyła.
Źródło: PAP
