San Francisco. Der Textroboter ChatGPT würde sich in einem Examen für angehende Mediziner in den USA beachtlich gut schlagen. Die KI-Software konnte bei den drei theoretischen Teilen des United States Medical Licensing Exam (USMLE) unter bestimmten Bedingungen mehrfach die vorgeschriebene Mindestpunktzahl erreichen. Dies berichten US-Experten im Fachjournal „PLOS Digital Health“. Allerdings hatte das Team um Victor Tseng vom kalifornischen Startup AnsibleHealth einige Fragen ausgeklammert.

Das USMLE ist eine standardisierte dreiteilige Prüfung, die Medizinstudentinnen und -studenten ablegen müssen, um in den USA ärztlich tätig werden zu dürfen. Dabei wird das Wissen aus den meisten medizinischen Disziplinen – von Biochemie über diagnostisches Denken bis hin zu Bioethik – bewertet.

Hype um Chat GPT: KI-Chatbots werden unser Leben verändern – sind sie eine Gefahr?

Der Chatbot Chat GPT kann auf Wunsch so ziemlich jede Art von Text generieren. Das gelingt oft erstaunlich gut – und macht es schwieriger, einen KI-generierten Text von dem eines Menschen zu unterscheiden.

Abonnieren

Studie ohne bildbasierte Fragen

Die Autoren der Studie mussten bei dem Test mit ChatGPT jedoch Rücksicht darauf nehmen, dass die KI-Software von OpenAI nur Texteingaben entgegennehmen kann. Nachdem bildbasierte Fragen entfernt wurden, testeten die Autoren die Software an 350 öffentlich zugänglichen Fragen, die im vergangenen Sommer Bestandteil der USMLE-Prüfung waren.

Nachdem zudem nicht eindeutige Antworten entfernt wurden, erzielte ChatGPT bei den drei USMLE-Prüfungsteilen jeweils 52,4 bis 75 Prozent der dann noch erreichbaren Punkte. Die Ergebnisse fielen je nach Prüfungsteil und Art der Aufgabenstellung - etwa Ankreuztests oder offene Fragen – unterschiedlich aus. Die Schwelle zum Bestehen liegt bei rund 60 Prozent und ändert sich je nach Jahr leicht. Wurden die nicht eindeutigen Antworten in das Ergebnis einberechnet, erreichte ChatGPT 36,1 bis 61,5 Prozent der dann möglichen Punkte.

Den Autoren zufolge übertraf ChatGPT die Leistung von PubMedGPT, einem Gegenmodell, das ausschließlich auf biomedizinische Fachliteratur trainiert wurde.

Mehr zum Thema

 

Die Suchmaschine von morgen?

Microsoft will gemeinsam mit ChatGPT-Machern einen Angriff auf Google starten

 

ChatGPT, Insta und Tiktok

Die Suche der Zukunft: Wer ist besser als Google?

 

„Danke an ChatGPT“

Künstliche Intelligenz schrieb Rede für Politiker – und niemand hat es gemerkt

 

Interview mit einem Chatbot

Hype um ChatGPT: Was das KI-Tool selbst dazu sagt

ChatGPT bestand auch Juraprüfungen

Das Team kam zu der Erkenntnis, dass ChatGPT das Potenzial habe, die medizinische Ausbildung und damit auch die klinische Praxis zu verbessern. „Das Erreichen der Mindestpunktzahl für diese notorisch schwierige Expertenprüfung, und das ganz ohne menschliche Unterstützung, ist ein bemerkenswerter Meilenstein in der Entwicklung der klinischen KI“, schrieben die Autoren.

Zuvor hatte sich der Textroboter ChatGPT bereits in anderen Hochschulfächern behauptet, auch wenn er in den Examen keine Bestnoten erreichte. So hat das KI-Chatbot-Tool nach Angaben von Professoren der Universität von Minnesota in vier Kursen und an der Wharton School of Business der Universität von Pennsylvania in einem weiteren Kurs die Jura-Prüfungen bestanden.

Techgiganten liefern sich Schlagabtausch

In der Techbranche liefern sich nach dem öffentlichen Start von ChatGPT durch das kalifornische Start-up-Unternehmen OpenAI im November 2022 etliche Player ein regelrechtes Wettrennen um die Gunst der Anwenderinnen und Anwender. OpenAI wird dabei von Microsoft mit Milliardensummen unterstützt. Im Gegenzug darf Microsoft die Technik in seine Suchmaschine Bing und andere Produkte integrieren.

Großer Gegenspieler von OpenAI und Microsoft ist Google. Der Suchmaschinengigant hat am Dienstag seinen eigenen Chat-Bot Bard gestartet. An dem Wettrennen nehmen aber auch kleinere Player wie You.com des deutschen KI-Forschers Richard Socher teil. Socher stammt aus Dresden, lebt und arbeitet aber seit Jahren in den USA.

RND/dpa