Neuigkeiten bei MEDIACC: Testbericht zu PubMed.ai – Potenzial, aber aktuell nicht praxistauglich

Der Praxistest PubMed.ai: aktuell mehr Schatten als Licht

‍

Im Zuge der fortschreitenden Digitalisierung im Gesundheitswesen stoßen wir immer wieder auf innovative Anwendungen, die uns die Recherche und Auswertung von medizinischer Fachliteratur erleichtern sollen. Eine dieser digitalen Lösungen ist PubMed.ai, das mit künstlicher Intelligenz die Suche in der bekannten medizinischen Datenbank PubMed optimieren möchte.

‍

Wir haben PubMed.ai für Sie getestet und möchten unsere Erfahrungen teilen.

‍

Nach einem intensiven Testlauf von PubMed.ai fällt unser Fazit eindeutig aus: Die Anwendung ist aktuell für den professionellen Einsatz noch nicht geeignet.

Hier die wichtigsten Beobachtungen im Überblick:

1. Nur Englisch – ein klarer Minuspunkt

Schon beim ersten Versuch fällt auf: PubMed.ai versteht ausschließlich englische Eingaben. Für viele Nutzerinnen und Nutzer in anderssprachigen Räumen ist das ein deutlicher Nachteil, da eine komfortable Recherche in der eigenen Sprache nicht möglich ist. Außerdem ist die Ausgabe aktuell auch nur in Englisch vorgesehen, ein weiteres Manko.

2. Keine Verarbeitung von Laiensprache

Auch wer medizinische Fragestellungen in Alltagssprache formuliert, stößt sofort an Grenzen. PubMed.ai versteht nur präzise, fachsprachliche Anfragen – ein weiteres Hindernis für Anwender ohne tiefgehende medizinische Vorkenntnisse.

3. Klassische Suchanfragen werden als Text interpretiert

Interessant ist, dass klassische Suchanfragen im PubMed-Stil (z.B. „Schlagwort AND Schlagwort AND Schlagwort“) von PubMed.ai wie Fließtext behandelt werden. Das führt zu einer anderen Ergebnisdarstellung, die für erfahrene Nutzer durchaus spannend sein kann, aber auch zu unerwarteten Resultaten.

4. Schwächen bei Literaturangaben

Ein weiteres Manko: Im Ausgabetext werden meist nur einzelne Referenzen direkt genannt, während weitere Literaturangaben gelistet werden – allerdings ohne klare Zitate im Text. Das erschwert die Nachvollziehbarkeit der Ergebnisse und ist für wissenschaftliches Arbeiten unzureichend.

5. Fehlende Hochkaräter unter den Quellen

Wer auf hochwertige, einschlägige Literatur hofft, wird enttäuscht: Die angezeigten Quellen entsprechen nicht den Erwartungen an eine fundierte Recherche. Viele relevante und hochrangige Publikationen werden gar nicht erst angezeigt.

6. Ungeeignete Quellen

Beim genaueren Blick auf die Titel und Zusammenfassungen der vorgeschlagenen Literatur wird deutlich: Die ausgewählten Quellen sind für die gestellte Fragestellung nicht geeignet. Das schmälert den Nutzen der Anwendung erheblich.

7. Zu enger Fokus in den Ergebnissen

Die generierten Antworttexte sind stark auf eine sehr spezifische Teilfrage fokussiert und bieten keinen umfassenden Überblick. Für Nutzer, die sich schnell einen breiten Einblick verschaffen möchten, ist das nicht hilfreich.

Unser Fazit

Aktuell ist PubMed.ai für den professionellen Einsatz in der medizinischen Literaturrecherche nicht zu empfehlen. Die Entwickler haben noch einiges an Arbeit vor sich, um die Anwendung praxistauglich zu machen. Bis dahin bleibt die klassische PubMed-Suche für uns die erste Wahl bzw. die Arbeit mit professionellen LLM, die eine Fokussierung der Suche auf PubMed vorgibt und dann einen ersten Einstieg ermöglicht.

Wir bleiben für Sie am Ball und berichten, sobald es Neuigkeiten oder Verbesserungen gibt!

Haben Sie Fragen oder eigene Erfahrungen mit PubMed.ai? Schreiben Sie uns gerne!

Ihr MEDIACC-Team