Projektbericht

Eine surreale Darstellung eines menschlichen Gesichts, das aus zahlreichen grünen Partikeln besteht. Aus dem Kopf fliegen mehrere Drohnen in verschiedene Richtungen, was ein futuristisches oder technologisches Thema symbolisiert. Die Drohnen scheinen aus dem Verstand der Figur zu entspringen, was eine Verbindung zwischen Technologie und menschlicher Intelligenz vermittelt.

Gaussian Splat

Gaussian Splats sind echtzeitfähig und vor allem in einem 3D Raum verortet, sodass sie direkt in Spiele Engines oder in der Virtuellen Produktion eingesetzt werden kann. Eine Vielzahl von Fotos reicht, um aus der echten oder aus digitalen Welten Gaussian Splats zu erzeugen. Dazu platziert der Algorithmus die namensgebenden Gaussian Splats im Raum, ähnlich wie »volumetrische Pixel«, und verfeinert diese durch Verformung, Aufspaltung, Farb- und Transparenzänderung, bis sie die ursprünglichen Fotos aus den jeweiligen Perspektiven möglichst ähneln. Vergleichen kann man das vereinfacht mit »mehransichtigen« Skulpturen, die dann aber nicht nur zwei oder drei Dinge darstellen, sondern eben die gesamte 3D-Szene aus allen möglichen Perspektiven (Beispiel siehe unten).

Projektbeteiligte

Alexander Kutter Colin Behrens Jan Pieniak Conrad Dreyer Marc Schneider

Projektstatus

Konzeptions- / Entwicklungsphase

Revival einer Technologie zur Erfassung und Darstellung von 3D Daten

Aus einem ersten »Mal ausprobieren, was das kann« entstand bei uns innerhalb eines Jahres ein ganzer Forschungsbereich. Vor ca. einem Jahr publizierten Kerbl. et. al (https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/) ihre Forschungsarbeit, die in der Zwischenzeit eine Vielzahl an weiteren Publikationen nach sich zog. So viel Interesse löste die Anwendung von Gaussian Splats im Bereich Echtzeitrendering aus. Sie gleicht einige Nachteile der NeRFs (Neural Radiance Fields) aus, bei denen synthetische Fotos durch ein neuronales Netzwerk gerendert werden.

Gaussian Splatting ist eine wegweisende Technologie im Scanning und Visualisieren volumetrischer 3D Daten. Im Gegensatz zu traditionellen Methoden wie Punktewolken oder Mesh-Strukturen, erzeugt diese Technik hochauflösende und fotorealistische und 3D-Modelle.

Eine mehransichtige Skulptur, deren Form sich je nach Blickwinkel verändert. Links scheint die Skulptur das Wort „SI“ zu buchstabieren, aus der mittleren Perspektive das Wort „AND“ und von rechts das Wort „NO.“ Die schwarzen geometrischen Formen stehen auf zylindrischen Ständern und erzeugen eine abstrakte Darstellung verschiedener Wörter, abhängig vom Blickwinke

Beispiel: Mehransichtige Skulptur

Bildquelle: https://monicadecardenas.com/markus-raetz/
"Incrocio I", 2001 - 2019, cast bronze, 25,3 x 39,3

Ein Hauptvorteil von Gaussian Splatting ist die Fähigkeit, detaillierte Oberflächenstrukturen effizient und ohne typische Artefakte darzustellen. Diese Methode ist ideal für komplexe Oberflächen, da sie sowohl feine Details als auch größere Strukturen präzise erfassen kann. Dazu zählen z.B. Haare, aber auch Vegetation.

Zudem ist Gaussian Splatting effizient in der Datenverarbeitung. Die Nutzung kontinuierlicher Funktionen reduziert den Speicherbedarf und erhöht die Verarbeitungsgeschwindigkeit, was eine schnellere Erstellung von 3D-Modellen ermöglicht, und das sogar auf Mobiltelefonen im Browser. Was mit ähnlichem Detailgrad mit »klassischen« Polygonmodellen kaum möglich ist. Insgesamt bietet Gaussian Splatting eine präzise, detaillierte und effiziente Lösung für das 3D-Scanning, ideal für Anwendungen wie kulturelle Erhaltung, industrielle Inspektion und medizinische Bildgebung.

Unsere Forschung beschäftigt sich mit dem Bereich effizientes und (teil-)automatisierten Scanning von Außen- und Innenarealen mittels Drohnen, der Erzeugung von Gaussian Splats aus Renderings und dem Scannen von Gegenständen.

Passende Beiträge zu diesem Projekt

Gaussian Splat: Hermannsdenkmal

am 18.09.2024

Projektbeitrag

Dank Fotogrammetrie und Gaussian Splat ist es nun möglich, einmal um das Hermannsdenkmal zu fliegen. Ganz ohne Flugschein.