Das HoloHeart in Forschung und Lehre

Augmented Reality mit Herz

You're my heart, you're my soul.

Den Blutfluss kappen, Arterien isolieren und das ganze Organ um 180 drehen – wie lässt sich ein echtes Herz komplett auseinandernehmen, ohne den Menschen zu gefährden, für den es schlägt? Im Kooperationsprojekt mit dem Uniklinikum Heidelberg machen wir Unmögliches möglich.

    • Technologien

    • Augmented Reality
    • Unity (+MRTK)
    • Digital Twin
    • 3D Modeling (GLTF 2.0, Blender)
    • Networking (SignalR)
  • Nutzen

  • Modell zum Anfassen
  • Anatomische Strukturen in 3D
  • Lernen am „echtem“ Organ
  • Automatisierter Workflow
  • Jahr

  • seit 2019
  • Innvoation

  • „Multiplayermode“ 

Die Challenge

Die Challenge

Aus CT mach 3D

Im Rahmen der Initiative Informatics4life schaffen Kardiologen, Informatiker und Mathematiker Mehrwerte für die Medizin, indem sie Algorithmen für sie rechnen lassen. Die Idee zum Einsatz der HoloLens in Lehre und Forschung an der Uni Heidelberg entstand als nächster logischer Schritt irgendwo zwischen Prof. Dr. Eberhard Scholz‘ Innovationsgeist und einem unserer engagierten Vorträge.

Holographische Herzen für die Kardiologie – aus Sicht eines Data Scientists ein Traum. Bei Patienten mit angeborenen Herzfehlern, Kammerflimmern und anderen Dysfunktionalitäten, liefern standardmäßig durchgeführte Computertomographien wunderbare Datenlandschaften, die nur angezapft werden müssen. Aus UX-Sicht jedoch die halbe Miete. Denn in der medizinischen Lehre ergibt der Einsatz der HoloLens nur unter Implementierung bestimmter Abläufe Sinn, die es noch nicht von der Stange gibt.

Wie schaffen wir mehr als Software und kreieren eine Lösung, die Studenten und Forschern tatsächlich hilft, besser zu forschen, zu lehren und zu lernen? Lassen sich offene AR-Standards aufstellen, die auch anderen Disziplinen zugutekommen? Diese und weitere Fragen beschäftigen uns im laufenden Kooperationsprojekt HoloHeart.

Die Lösung

Die Lösung

Das holographische Herz

Zur Realisierung eines Prototyps erhalten wir CT-Daten, aus denen wir über einen teilautomatisierten Workflow separieren, was nicht zum Herzen gehört: Knochen, Muskeln, Blutbahnen usw. interessieren uns alle nicht. Mit ein bisschen Code hier, ein bisschen Mathematik da, verfeinern wir die segmentierten Informationen, und machen aus Hunderten von zweidimensionalen Schichten „Magie“, bis das Herz in all seiner Pracht In 3D sichtbar wird.

Mit einem sicheren Netzwerk, dem Mixed Reality Toolkit (MRTK) und dem seit diesem Jahr erhältlichen Model Loader bauen wir ein Konstrukt, mit dem die Anwendung direkt über das Menü der Brille geladen werden kann, ohne dabei auf cloudbasierte Strukturen setzen zu müssen.

Der Nutzen

I will be holding you forever, stay with you together

Als Prof. Dr. Eberhard Scholz das HoloHeart zum ersten Mal erlebte, war es Liebe auf den ersten Blick. HoloLens auf, Systems on und nach ein paar wenigen „Klicks“ erscheint es: Prächtig, farbenfroh und sehr beeindruckend. Ein Herz, mitten im Raum und zum Greifen nah. 

Der Brillenträger kann es vergrößern, verkleinern, drehen, auf den Kopf stellen. Bald schon werden sich einzelne Segmente herausziehen und isoliert betrachten lassen. Dabei hat er das Modell eines echten Organs vor sich, basierend auf T-Daten eines lebenden Menschen.

I'll keep it shining everywhere I go

Schon bald wird es möglich sein, dem Dozenten, der mit Kammer, Aorta und Arterie hantiert, über Laptop, Tablet oder Smartphone zu folgen. Besonders diffuse anatomischen Strukturen, wie z.B. komplexe Herzfehler, werden greifbar, auch in Zeiten von Mindestabstand. 

Das Modell „zum Anfassen“ hilft verstehen, was sonst schwer begreifbar ist. Z.B. wie eng Risikogebiete am Herz beieinander liegen. Das ist nicht nur für Studenten, sondern auch für den interdisziplinären Austausch zur Bewertung von Lagebeziehungen und der Diskussion um chirurgische Eingriffe relevant.

Für die HoloLens Träger verschwindet die Realität dabei nicht. Sie können mit dem Modell im Raum interagieren, ohne den Sinn für ihre physische Umgebung zu verlieren. Hier spielt die Musik!

Ausblick

Simulationen und 4D

Im Dezember 2020 arbeiten wir an der Verfeinerung der Multiplayer Session, welche mehrere HoloLens-Träger befähigt, gleichzeitig auf das Modell zuzugreifen und Manipulationen am Herz, wie das Extrahieren, Drehen und Skalieren einzelner Segmente, für alle sichtbar zu machen.

Ideen für das Schaffen neuer Mehrwerte gibt es genug. Beispielsweise durch die virtuelle Veranschaulichung der Erregungsausbreitung: Vergleichbar mit einer dreidimensionalen „Karte“ könnte unser HoloHeart die Ausbreitung elektrischer Spannungen am Herzen darstellen und Einschnitte simulieren.

Sehr gewinnbringend wäre auch die Integration von 4D: die Kontraktion des Muskels, das Zudrücken der Kammer und schließlich das Abfließen des Blutes. Ein Modell, das den Herzschlag von Anfang bis Ende holographisch darstellt und alle vier Dimensionen der visuellen Wahrnehmung umfasst.

Im Projekt verarbeiten wir Technologien ganz am Lauf der Zeit. Unser HoloHeart hat das Potenzial großen Nutzen für die Medizin zu schaffen, den es für andere Fachbereiche zu eröffnen gilt. You’re my brain, you’re my wits… naja. Vermutlich eignen sich andere Organe auch als holographische Modelle, nicht jedoch als Liedtexte.

INSPIRATIONLABS GmbH

Rohrbacher Straße 79
69115 Heidelberg

hello@inspirationlabs.com

Tel: +49 6221 – 42 99 222