8. April 2022
Förderung durch BundesministeriumMedizinische Sprechstunde beim 3D-Avatar
Foto: Adobe Stock/Gorodenkoff
Die Corona-Pandemie hat die Bedeutung einer gut funktionierenden, medizinischen Ferndiagnose in Ausnahmesituationen ohne Kontaktmöglichkeiten zwischen dem medizinischen Personal und den Erkrankten hervorgehoben. Dabei geht es um Ansteckungsvermeidung und die Betreuung während der Quarantäne. Außerdem bietet diese Form der medizinischen Beratung bei Mobilitätseinschränkungen, langen Wartezeiten, fehlender Verfügbarkeit von Spezialistinnen und Spezialisten sowie bei als peinlich empfundenen Beschwerden oder psychischen Erkrankungen oft eine gute Ergänzung zur vor-Ort-Behandlung und -Beratung.
Doch wie können die telemedizinischen Anwendungen attraktiver gestaltet werden, um die Akzeptanz zu steigern? Das möchte das interdisziplinäre Forschungsprojekt „Hybride Interaktionssysteme zur Aufrechterhaltung der Gesundheit auch in Ausnahmesituationen“ (HIVAM) in den Bereichen Informatik, Medizin und Sozialwissenschaften untersuchen.
Die bisherigen Anwendungen basieren stark auf traditionellen Formen der Telekommunikation und sind trotz ihrer Vorteile im deutschen Gesundheitswesen kaum verbreitet. Bemängelt werden vor allem die fehlende Natürlichkeit der Kommunikation, ungenügende Benutzbarkeit und Schwierigkeiten bei der Anpassung an bestehende Systeme und Prozesse. Das Forschungsprojekt HIVAM hat zum Ziel, diese Situation zu ändern und neue Ansätze zu entwickeln, indem die menschliche Intelligenz realer Gesundheitsexpertinnen und -experten mit Künstlicher Intelligenz (KI) und Mixed Reality (MR) vereint werden soll.
Dazu werden KI-gestützt virtuelle 3D-Avatare der medizinischen Expertinnen und Experten generiert. Mobile Endgeräte, 3D-Datenbrillen oder andere MR-Anwendungen können diese Avatare darstellen und gleichzeitig mit verschiedenen Sensoren die Umgebung sowie Patientendaten wie Blutdruck, Blutzuckerspiegel oder Gewicht in Echtzeit aufnehmen. Die KI-gesteuerten 3D-Avatare können – anders als die heute vorhandenen Sprachassistenten – zudem nicht nur einfache Spracheingaben verstehen, sondern beherrschen auch Mimik und Gestik und vermitteln zusätzlich Emotionen sowie Empathie durch nonverbale Kommunikation, zum Beispiel durch Gesichtsausdruck, Stimmlage und Körperhaltung. Dadurch kann bei allen Beteiligten ein Gefühl von sozialer Präsenz und Vertrautheit hervorgerufen werden.
Ziel ist es, dass der KI-Assistent einfache Standard- und Routineaufgaben selbst abarbeiten kann. Die medizinischen Expertinnen und Experten gehen später die Online-Termine durch und prüfen die korrekte Arbeit des KI-Assistenten. Falls die Patientinnen und Patienten direkt mit ihrer medizinischen Fachkraft sprechen möchten, können sie durch den Assistenten einen realen oder virtuellen Termin vereinbaren.
„Die Patientinnen und Patienten können somit nahtlos mit intelligenten virtuellen Assistenten und Avataren der Ärztinnen und Ärzte, Therapeutinnen und Therapeuten sowie dem Pflegepersonal interagieren“, erklärt der Informatiker Prof. Dr. Frank Steinicke der Universität Hamburg, Sprecher des dreijährigen Verbundprojekts. So entstehe ein KI-basiertes Assistenzsystem zur Entscheidungsunterstützung, das auch die gesundheitliche und pflegerische Versorgung verbessere, die Folgen sozialer Isolation und psychischer Belastungen adressiere und vor-Ort-Beratung, -Visite und -Behandlung optimieren könne. Die moralisch-ethischen Grundsätze medizinischer Berufspraxis werden dabei projektbegleitend reflektiert.
Neben dem Fachbereich Informatik der Universität Hamburg und dem Universitätsklinikum Hamburg-Eppendorf sind die Hochschule Düsseldorf sowie die Hamburger Unternehmen Sympatient und apoQIar an dem interdisziplinären Verbund beteiligt. Das Projekt wird im Rahmen der Bekanntmachung „Hybride Interaktionssysteme zur Aufrechterhaltung der Gesundheit auch in Ausnahmesituationen“ durch das Bundesministerium für Bildung und Forschung in Höhe von 1,8 Millionen Euro gefördert.
Weitere Information gibt es auf der Projektwebseite.