HoloHeart
01
DIE CHALLENGE
THE CHALLENGE
AR FÜR LEHRE & KLINIKALLTAG
Für angehende Ärzt:innen ist die Anatomie des Herzens eine Herausforderung – Risikogebiete und Stellen, an denen operiert werden muss, liegen eng beieinander, außerdem erhöht die Dynamik des Herzschlags die Komplexität. Gemeinsam mit Prof. Dr. Eberhard Scholz und der Informatics4life Initiative entstand im Jahr 2019 die Idee, mit holographischen Herzen neue Möglichkeiten für Forschung und Lehre zu schaffen.
Inzwischen haben wir zusammen mit PD Dr. Ann-Kathrin Rahm weitere Möglichkeiten für unsere HoloHeart Software identifiziert und wollen diese nicht nur für die Lehre von Studierenden und für das Training von Expert:innen einsetzen, sondern z.B. auch für die OP-Vorbereitung bzw. zur Planung von komplizierten Eingriffen am Herzen erweitern.
02
DIE LÖSUNG
THE SOLUTION
ECHTE KLINIKDATEN & MULTIPLAYER MODE
Bei eigentlich allen Patient:innen bei denen operative oder minimalinvasive Eingriffe durchgeführt werden müssen, werden standardmäßig 3D Bilder vom Herz erstellt. Diese Daten bestehen z.B. aus CT, MRT, oder elektrophysiologischen 3D Mapping Daten und sind prädestiniert dafür nicht nur am Bildschirm (wie bisher), sondern als 3D Hologramm direkt im Hörsaal für die Lehre von Studierenden und Spezialisten, bei Operations-Planungen zur Vorbereitung oder direkt im OP bei Eingriffen genutzt zu werden.
Mit inzwischen automatisierten Workflows aus verschiedenen Kliniksystemen können wir die Daten der Patient:innen extrahieren, aufbereiten und so transferieren, dass diese innerhalb kürzester Zeit als echtes 3D Herz in Augmented Reality sichtbar wird. Unsere Kolleg:innen aus der Klinik können das Herz nun gemeinsam, in einer Art "Multiplayer Mode" , mit Hilfe der HoloLens von allen Seiten betrachten, bearbeiten, aufschneiden und sogar "hinein gehen".
03
DER NUTZEN
THE BENEFIT
ANATOMIE ZUM (BE-) GREIFEN
Das Herz in seiner individuellen, räumlichen Komplexität zu begreifen, ist nicht nur für Student:innen und Forscher:innen der Kardiologe relevant. Auch in der Diskussion um chirurgische Eingriffe ist eine sachgemäße Bewertung von Lagebeziehungen entscheidend.
Mit Hilfe von Augmented Reality könnte die Gestaltung der zukünftigen medizinische Ausbildung gegenüber traditionellen Lernmethoden von Studierenden maßgeblich mitbeeinflusst werden. Eine weitere Möglichkeit die Technik einzusetzen besteht in der Aufklärung vor kinder-/kardiologischen und kinder-/herzchirurgischen Eingriffen um komplexe anatomische, wie auch physiologische, Sachverhalte zu veranschaulichen. Somit könnte die präoperative Angst bei Eltern und Kindern reduziert werden.
04
DIE EXTRAS
THE EXTRAS
AUSBLICK
Ideen zur Weiterentwicklung des Modells gibt es viele. Weitere Optimierungen der Multiplayer Session wird die AR-Erfahrung der HoloLens-Träger:innen gerade für Seminare in der medizinische Lehre oder für den Einsatz im Kliniklltag noch verbessern. Daneben gilt es, weitere Datenformate einzubinden, wie z.B. die Ausbreitung elektrischer Signale in unserem HoloHeart als Animation darzustellen.
Zukünftige ist die HoloHeart Software auch als Echtzeit-Anwendung für eine Integration und Anwendung direkt im Operationssaal oder bei minimalinvasiven Eingriffen denkbar.
Technologien
- Augmented Reality
- Unity (+MRTK)
- Digital Twin
- 3D Modeling (GLTF 2.0, Blender)
Nutzen
- Modell zum Anfassen
- Anatomische Strukturen in 3D
- Lernen am „echtem“ Organ
- Automatisierte Workflows
Innovation
- „Multiplayermode“
- Digital Twin & Remoting
Year:
2019 (ongoing)
YOU'RE MY HEART, YOU'RE MY SOUL ...
Wie lässt sich ein echtes Herz komplett auseinandernehmen, ohne den Menschen zu gefährden, für den es schlägt? Im Kooperationsprojekt mit dem Uniklinikum Heidelberg machen wir Unmögliches möglich.
.jpg)
.jpg)
.jpg)
.jpg)
Unsere Kund:innen
_invers.png)
