Spatial Pixels
Scannen

Wir kombinieren hoch auflösende HDR-Fotografie und präzises Laser-Scanning um fotorealistische und detailreiche 3D Modelle von Räumlichkeiten und Orten zu erzeugen, in denen sich ein virtueller Beobachter dann interaktiv und frei bewegen kann. Vor Ort scannen wir eine Szene von mehreren Positionen aus und erhalten dabei 3D Daten mit einer Rate von 100.000 Messungen pro Sekunde. Über einen weitgehend automatisierten Verarbeitungsprozess fügen wir die einzelnen Scans zusammen und erzeugen dadurch eine dichte Punktwolke mit Millionen (oder sogar Milliarden) von Samples, die ein detailliertes 3D Modell der Szene darstellt und eine Genauigkeit und Auflösung von wenigen Millimetern erreicht. Während des Scan-Vorgangs nimmt eine Kamera automatisch HDR-Bilder auf, die auf die Geometrie registriert werden. Durch das Entfernen von Beleuchtungsartefakten, adaptive Farbkorrektur und Weißabgleich entsteht eine nahtlose Textur, die auf das 3D Modell gelegt werden kann, um eine fotorealistische Visualisierung zu erreichen.

Interaktive Visualisierung


Splat Rendering

Um die extrem großen Punkt- und Bilddaten zu visualisieren haben wir eine innovative und hoch effiziente Renderengine für texturierte 3D Punktwolken entwickelt. Durch die Expansion von 3D Punkten zu kleinen Oberflächenelementen erhält der Betrachter selbst im Nahbereich den Eindruck einer kontinuierlichen Fläche. Durch die Verwendung von hoch-auflösenden HDR Fotos als Texturen wird das visuelle Detail drastisch erhöht und gibt so einen foto-realistischen Eindruck der gescannten Scene.






Lichter, Schatten und andere Effekte

Die Darstellung von blickwinkelabhängigen Highlights und Schatten ist für eine immersive Erfahrung eines virtuellen 3D Modells extrem wichtig. Durch die Verwendung von modernen Techniken, die auch von der Spiele- oder Filmindustrie verwendet werden, ist unser System in der Lage mehr als 100 Lichtquellen zu simulieren. Für jede können wir Parameter wie Helligkeit oder Farbtemperatur individuell einstellen.




Aufbereitung der Daten

Registrierung 1: Geometrie

Ähnlich wie die Erstellung von Panorama Bildern, die oft aus einzelnen Bildern bestehen, ist der erste Schritt unserer Berechnungen die einzelnen Scans zu einer großen Punktwolke zusammenzufügen, die das gesamte Objekt oder Gebäude repräsentiert. Dieses Problem kann mathematisch als nicht-lineares Optimierungsproblem formuliert werden, für das wir effiziente und robuste Techniken entwickelt haben um es zu lösen. Intuitiv gesagt bewegt und rotiert die Methode die einzelnen Scans so lange, bis die Überlagerung der einzelnen Scans bis auf wenige Millimeter genau das gescannte Objekt darstellt.



Registrierung 2: Bilder

Wenn moderne SLR Kameras wie die NIKON D800 mit einer präzise gefertigten Linse ausgerüstet werden, ist es möglich gestochen scharfe Bilder in hoher Auflösung und hohem Dynamikumfang zu erstellen. Für gewöhnlich werden diese Bilder oder oft sogar Bilder schlechterer Qualität dazu benutzt um Farbinformationen einer Punktwolke hinzuzufügen. Da die Auflösung von gescannten Punktwolken noch immer schlechter ist als die von modernen SLR Kameras, geht bei dem Prozess wertvolle visuelle Information verloren und die Punktwolen erscheinen unscharf. Im Gegensatz dazu projiziert unser Ansatz Fotos direkt auf die gescannte Oberfläche und fügt auf diese Weise eher den hochwertigen Bildern eine Tiefe hinzu. Dabei ist es jedoch extrem wichtig, dass die Fotos gut kalibriert sind: Selbst bei einer Verschiebung von einem Bruchteil eines Millimeters kann die Projektion von verschiedenen Bildern auf weit entferne Oberflächen zu Doppelbildern führen. Unsere automatischen Methoden korrigieren diese Verschiebungen simultan für hunderte während des Scannens aufgenommene Bilder, so dass die Bilder pixelgenau auf die Oberflächen projiziert werden können.



Die Auswahl von "guten" Bildern

Die meisten Systemen, besonders wenn großen SLR cameras eingesetzt werden, können der 3D Scanner und die Kamera nicht am physikalisch gleichen Ort platziert werden (die Kamera wird meist oben auf den Scanner montiert). Das ist problematisch, da selbst bei exakter Kalibrierung des Systems, parallax Effekte bestehen bleiben, da teile der Szene sichtbar für den Scanner oder für die Kamera sind, aber nicht für beide. Eine Schritt unserer Aufbereitung der Daten ist es daher die kombinierte 3D Information aller scans zu berücksichtigen um verlässlich zu bestimmten welche Bilder tatsächlich ein gewisses Oberflächenelement „sehen“. Aus diesen Kandidaten wählen wir dann das „beste“ Bild für die Texturierung.



Intensitäts- und Farbanpassung

Selbst wenn hoch effiziente Algorithmen zur Rekonstruktion zur Verfügung stehen, dauert das extensive Scannen vor Ort mehrere Stunden. Während dieser Zeit kann sich die Beleuchtung der Szene signifikant verändert, da sich Sonne und damit auch Schatten bewegen. Die aufgenommenen Fotos zeigen dann oft unterschiedliche Helligkeiten und Farbtemperaturen. Projizieren wir diese Bilder auf benachbarte Oberflächenelemente, manifestieren sich diese Unterschiede als harte, sichtbare Übergänge. Scannt man das Innere eines Gebäudes ist dieser Effekt sogar oft noch dramatischer: Bei Einbruch der Dämmerung verschwindet die Beleuchtung durch die Fenster komplett. Nur über Nacht zu scannen ist aber auch keine Alternative, da man die Bemalungen der Fenster im 3D Modell abbilden möchte. Kommerzielle Fotobearbeitungssoftware ist oft nur in der Lage einzelne Fotos, bestenfalls eine Serie von Fotos mit den gleichen Einstellungen zu entwickeln. Wir haben daher automatische Methoden entwickelt, die Intensitäten und Farbtemperaturen aller Bilder und pro Pixel anpassen können, um die gescannten Oberflächen global einheitlich und ohne sichtbare Kanten einfärben zu können.



Entfernung spekularer Highlights

In vielen Gebäuden bestehen Wände oder der Boden aus sehr spiegelnden Materialien wie z.B. Marmor. Diese Materialien spiegeln helle Lichtreflexionen, die wiederum vom Betrachtungswinkel abhängen. Wenn wir ein Photo von einer bestimmten Position aufnehmen, werden wir also auch sehr wahrscheinlich diese Reflexionen fotografieren, wie sie von dieser Position aus sichtbar sind. Werden diese Bilder für die Texturierung des 3D Modells verwendet, sehen diese Highlights sehr unnatürlich und nicht plausibel aus, wenn das Modell aus einem anderen Winkel betrachtet wird. Der letzte Schritt unserer Datenverarbeitung löst dieses Problem indem Bildregionen mit spekularen Highlights detektiert oder notfalls markiert werden. Basieren auf modernen Algorithmen der Bildverarbeitung werden diese Regionen so abgedunkelt, dass die ursprünglichen Details der Bildregion erhalten bleiben und ohne dass harte Übergänge zu umgebenden Bildregionen entstehen.