Detailansicht
De-lighting color textures of 3D models
Thomas Christian Birke
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Medieninformatik
Betreuer*in
Helmut Hlavacs
DOI
10.25365/thesis.77426
URN
urn:nbn:at:at-ubw:1-30980.68030.368610-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die Nachfrage nach hochwertigen 3D-Modellen ist in verschiedenen Bereichen, einschließlich der Videospielentwicklung, Filmproduktion, Erhaltung des kulturellen Erbes und Dokumentation von realen Objekten, erheblich gestiegen. Die Erfassung von 3D-Modellen durch Methoden wie Laserscanning oder Photogrammetrie führt jedoch oft dazu, dass Beleuchtungseffekte in die Farbtextur des 3D-Modells eingebettet werden, was Herausforderungen für dynamische Beleuchtungsszenarien und eine anpassbare Modellnutzung darstellt. Diese Arbeit befasst sich mit der Aufgabe der Entfernung von Lichteffekten in Farbtexturen von 3D-Modellen, wobei der Fokus auf der Entfernung von Schatten, Glanzlichtern und Verfärbung durch Licht aus Farbtexturen liegt. Zwei Hauptansätze wurden entwickelt und evaluiert: eine bildbasierte Methode unter Verwendung einer Conditional Generative Adversarial Network (CGAN) Architektur und eine pixelbasierte Methode, die ein einfacheres lineares neuronales Netzwerk einsetzt, das Texturen pixelweise verarbeitet. Experimente wurden durchgeführt, um die optimale Konfiguration und Eingabedaten für jeden Ansatz zu ermitteln. Zusätzlich wurde die Nutzung verschiedener Farbräume evaluiert, um die am besten geeignete Repräsentation der Farbdaten in der Farbtextur des digitalisierten 3D-Modells sowie zusätzlich generierte ergänzende Eingabefarbtexturen zu identifizieren. Es wurde festgestellt, dass der Oklab-Farbraum die besten Ergebnisse liefert, was die Bedeutung der Auswahl eines geeigneten Farbraums für hochwertige Lichtbereinigungsergebnisse unterstreicht. Für den bildbasierten CGAN-Ansatz erzielte die Nutzung aller verfügbaren ergänzenden Texturen, einschließlich lightmap, light color map, ambient occlusion map und UV texture area map, die besten Ergebnisse. Der pixelbasierte Ansatz zeigte die besten Ergebnisse unter ausschließlicher Verwendung der light color map als zusätzliche Eingabe. Im Vergleich der beiden Ansätze wies die pixelbasierte Methode mehrere Vorteile auf, darunter ein geringerer Bedarf an Trainingsdaten, eine flexible Handhabung verschiedener Eingabetexturauflösungen und visuell bessere Ergebnisse mit mehr erhaltenen Details. Während das bildbasierte Modell hinsichtlich der verarbeiteten Texturauflösung weniger flexibel ist, ermöglicht seine Verarbeitung der gesamten Textur in einem Schritt die Analyse des globalen Kontexts der Textur, um beispielsweise das allgemeine Farbbild der Textur einzubeziehen. Diese Erkenntnisse verdeutlichen die Kompromisse zwischen der ganzheitlichen Bildverarbeitung mit globalem Kontextverständnis und lokaler Detailerhaltung durch Verarbeitung auf Pixelebene bei der Aufgabe der Entfernung von Lichteffekten. Zudem wurde ein Prozess zur Schätzung der Lichtverhältnisse entwickelt, um eine manuell bereitgestellte Anfangsschätzung der Lichtumgebung automatisch zu verfeinern und die Nachbildung von Licht in Blender zur Generierung ergänzender Eingabetexturen zu verbessern. Verschiedene Optimierungsmethoden wurden evaluiert, um eine geeignete Lösung für die komplexe Aufgabe der Lichtschätzung zu finden. Dieser Prozess ist besonders herausfordernd, wenn die Farbtextur des digitalisierten 3D-Modells als einzige Quelle für Beleuchtungsinformationen dient. Die Komplexität ergibt sich aus der Notwendigkeit, mehrere Beleuchtungsparameter wie Lichtrichtung, Intensität und Farbe aus einem einzelnen Bild abzuleiten, das die kombinierten Effekte dieser Faktoren enthält. Zusätzlich beinhalten reale Beleuchtungsbedingungen oft mehrere Lichtquellen und komplexe Wechselwirkungen mit der Umgebung, was den Schätzungsprozess weiter erschwert. Obwohl die vorgeschlagenen Methoden Beleuchtungseffekte und Schatten in einer kontrollierten Testumgebung erfolgreich aus Farbtexturen entfernen, bleiben einige Einschränkungen bei der Anwendung der Techniken auf reale 3D-Scans bestehen. Dazu gehören Ungenauigkeiten in der erfassten 3D-Geometrie und Herausforderungen bei der Schätzung komplexer realer Beleuchtungsumgebungen. Zukünftige Forschungsansätze könnten sich auf die Optimierung der Geometrieerfassung sowie die Erforschung fortschrittlicher Methoden zur Schätzung und Simulation komplexer Beleuchtungsszenarien konzentrieren. Ziel dabei wäre es, die vorgeschlagenen Ansätze robuster zu gestalten und ihre Anwendbarkeit auf beliebige reale Scans zu erweitern.
Abstract
(Englisch)
The demand for high-quality 3D models has grown significantly across various domains, including video game development, film production, cultural heritage preservation, and documentation of real-world objects. However, the acquisition of 3D models through methods like laser scanning or photogrammetry often result in illumination effects being baked into the color texture of the 3D model, presenting challenges for dynamic lighting scenarios and adaptable model usage. This work addresses the task of de-lighting 3D models, focusing on the removal of shadows, highlights, and color tints from color textures. Two main approaches were developed and evaluated: an image-based method using a Conditional Generative Adversarial Network (CGAN) architecture, and a pixel-based method employing a simpler linear layered neural network that processes input textures on a per-pixel basis. Experiments were conducted to determine the optimal configuration and input data for each approach. Additionally, the performance of various color spaces was evaluated to identify the most suitable representation of the color data in the color texture of the digitized 3D model, as well as additionally generated supplementary input color textures. The Oklab color space was found to provide the best results, demonstrating the importance of appropriate color space selection in achieving high-quality de-lighting outcomes. For the image-based CGAN approach, utilizing all available supplementary textures, including lightmap, light color map, ambient occlusion map, and UV texture area map, yielded the highest quality output. The pixel-based approach performed best using just the light color map as additional input. Comparing the two approaches, the pixel-based method demonstrated several advantages, including requiring less training data, flexibly handling different input texture resolutions, and producing visually superior results with more preserved detail. While the image-based model is less flexible regarding the processed texture resolution, its processing of the complete texture in one step allow it to be able to analyze the global context of the texture to include, for example, the overall color tone of the texture. These findings highlight the trade-offs between global context understanding and local detail preservation in de-lighting tasks. A light estimation optimization process was also developed to automatically refine a manually provided initial guess of the light environment, improving the recreation of light in Blender to generate supplementary input textures. Various optimization methods were evaluated in an attempt to find a suitable solution for the complex task of light environment estimation. This process is particularly challenging when the color texture of the digitized 3D model serves as the sole source of lighting information. The complexity arises from the need to infer multiple lighting parameters, such as light direction, intensity, and color, from a single image that contains the combined effects of these factors. Additionally, real-world lighting conditions often involve multiple light sources and complex interactions with the environment, further complicating the estimation process. While the proposed methods successfully remove illumination effects and shadows from color textures in a controlled test environment, some limitations remain when applying the techniques to real-world 3D scans. These include inaccuracies in captured 3D geometry and challenges in estimating complex real-world lighting environments. Future research approaches could focus on optimizing geometry capture as well as exploring advanced methods for estimating and simulating complex lighting scenarios. The goal would be to make the proposed approaches more robust and extend their applicability to any real-world scans.
Schlagwörter
Schlagwörter
(Deutsch)
Farbtextur Entfernen von Lichteffekten 3D-Modell
Schlagwörter
(Englisch)
Color texture Illumination effects removal 3D model
Autor*innen
Thomas Christian Birke
Haupttitel (Englisch)
De-lighting color textures of 3D models
Paralleltitel (Deutsch)
Entfernen von Lichteffekten in Farbtexturen von 3D-Modellen
Publikationsjahr
2024
Umfangsangabe
x, 71 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Helmut Hlavacs
Klassifikation
54 Informatik > 54.73 Computergraphik
AC Nummer
AC17398074
Utheses ID
73742
Studienkennzahl
UA | 066 | 935 | |