Kurs 01699 – Interaktive Systeme II – Konzepte und Methoden bildbasierter 3D-Rekonstruktion

In unseren Kursen kombinieren wir die zeitnahe und persönliche Betreuung unserer Studierenden mit didaktischen Möglichkeiten, die der Einzug der Digitalisierung in die Lehre bietet. Die Kurse folgen von der Gestaltung der Lehrtexte über die Bereitstellung einer umfangreichen Datenbank von Online-Selbsttestaufgaben über die Lernplattform Moodle bis hin zur Prüfung einem abgestimmten Konzept. Dies bietet den Studierenden neben einer sinnvollen Prüfungsvorbereitung eine hohe Flexibilität beim Selbststudium und bei der Bearbeitung der obligatorischen Einsendeaufgaben.

* Gern würden wir auch die Freitextfeedbacks der Evaluation veröffentlichen. Dies ist jedoch aus Datenschutzgründen nicht möglich, da in diesen Kommentaren häufig direkte Vergleiche mit anderen, konkreten Lehrveranstaltungen gezogen werden.

Der gesamte Kurstext wird Ihnen zu Beginn des Semesters zur Verfügung gestellt. Daneben erfolgt weiterhin auch die Zusendung von Papierausdrucken.

Basierend auf den „Richtlinien für einen nicht-sexistischen Sprachgebrauch“ der UNESCO von 1993 und den Empfehlungen zur „Gleichbehandlung im Sprachgebrauch“ der Gesellschaft für Informatik von 1999 sind die Kurstexte durchgängig in geschlechtergerechter Sprache verfasst, bei der männliche und weibliche Sprachformen in einem ausgewogenen Verhältnis verwendet werden.

Über die Lernplattform Moodle steht Ihnen eine umfangreiche und intensiv genutzte Datenbank von über 500 Selbsttestaufgaben zur Verfügung, die es Ihnen rund um die Uhr ermöglicht, ein sofortiges Feedback zu Ihrem aktuellen Lernstand zu erhalten. Selbsttestaufgaben sind nach Kurseinheiten gruppierte, kurze Tests mit jeweils 10 zufällig ausgewählten Fragen oder Aufgaben, die Sie über das gesamte Semester hinweg zu allen Kurseinheiten beliebig häufig bearbeiten können.

Sie haben die Möglichkeit, die obligatorischen Einsendeaufgaben zu allen Kurseinheiten zu einem von Ihnen frei gewählten Zeitpunkt einzureichen und sind nicht an den üblichen 2-wöchigen Bearbeitungsrhythmus gebunden.

Neben dem sofortigen Feedback, das Sie zu Ihren bearbeiteten Aufgaben erhalten, können Sie auch ein Feeback an uns geben. Über die Moodle-Plattform haben Sie die Möglichkeit, die Verständlichkeit und Eindeutigkeit einer jeden gestellten Aufgaben zu bewerten und uns einen Kommentar zukommen zu lassen. Als ein für uns wertvolles Element der Qualitätssicherung werten wir Ihre Rückmeldungen kontinuierlich aus und können dadurch sowohl die Aufgaben als auch den Lehrtext stetig verbessern.

Über das Diskussionsforum der Moodle-Umgebung können Sie sowohl untereinander als auch mit uns in Kontakt treten. Sie werden das gesamte Semester über in Fragen zu allen Kurseinheiten und zur Kursorganisation zeitnah und persönlich betreut. Selbstverständlich können Sie auch über die "klassischen" Kanäle per E-Mail oder Telefon mit uns in Kontakt treten.

Zum Ende eines jeden Semesters wird eine Prüfung in Form einer Klausur angeboten, die regelmäßig zeitnah korrigiert wird. Die Klausur erstreckt sich über das gesamte Modul, das aus den beiden Kursen 01698 - Interaktive Systeme I - Konzepte und Methoden des Computersehens und 01699 - Interaktive Systeme II - Konzepte und Methoden bildbasierter 3D-Rekonstruktion besteht.

Der Kurs behandelt Konzepte und Methoden, mit deren Hilfe sich eine realistische, dreidimensionale, visuelle Darstellung eines realen Objektes oder einer Szene aus einer Reihe von zweidimensionalen Bildern errechnen lässt. Es werden Konzepte und Methoden vorgestellt, die einen vollständigen Arbeitsablauf von der Aufnahme einer Szene bis zum fertigen 3D-Modell erlauben. Zu diesem Zweck erfolgt zunächst eine Einführung in die mathematischen Grundlagen wie etwa die projektive Geometrie, die in den Kontext der euklidischen und affinen Geometrie eingeordnet wird. Die Konzepte der Epipolargeometrie und der Fundamentalmatrix werden eingeführt. Anschließend wird eine Methode vorgestellt, mit der eine 3D-Punktwolke aus einer hinreichenden Anzahl von gegebenen Punktkorrespondenzen zwischen zwei Bildern einer Szene errechnet werden kann. Daraufhin werden mathematische Verfahren eingeführt, mit deren Hilfe sich diese Punktwolke optimieren, geometrisch bereinigen und schließlich triangulieren lässt. Es wird gezeigt, wie sich über einen einfachen Ansatz Texturen aus den aufgenommenen Bildern auf das resultierende 3D-Modell übertragen lassen. Die errechneten Modelle der Szene eignen sich sowohl für eine intuitive Darstellung als auch für eine Weiterverarbeitung etwa zum Zwecke der Interaktion. Der Kurs schließt mit einer Vorstellung von Methoden, mit deren Hilfe sich die oben zunächst als gegeben betrachteten Punktkorrespondenzen zwischen Aufnahmen einer Szene auch automatisch bestimmen lassen.

Kurseinheit 1 - Geometrische Grundlagen

Ziel dieser Kurseinheit ist die Vermittlung mathematischer Grundlagen der Geometrie von zwei Ansichten einer Szene. Sie lernen einen Auszug aus der projektiven Geometrie kennen. Dabei werden Begriffe wie Fluchtpunkt, Horizont, Parallelität oder Kollinearität aus der euklidischen Geometrie entnommen und gezeigt, wie sie in anderen geometrischen Räumen, insbesondere im projektiven Raum, abgebildet werden. Besonders wichtig in diesem Kontext ist der Begriff der Homographie. Im Anschluss lernen Sie das Modell der Lochkamera kennen, das die Grundlage für die projektive Kamera darstellt. Auf Basis dieses Kameramodells wird gezeigt, wie Punkte im dreidimensionalen Raum auf eine Bildebene projiziert werden, und wie sich diese Abbildung mithilfe der Kameramatrix darstellen lässt.

Kurseinheit 2 - Die Geometrie von zwei Kameras

Die Kurseinheit beginnt mit einer Einführung in die Geometrie zweier Kameras, die sogenannte Epipolargeometrie. Sie lernen die Zusammenhänge zwischen zwei Abbildungen ein und derselben Szene kennen, die sich in Begriffen wie Epipol, Epipolarlinie oder Epipolarebene wiederfinden. Es erfolgt die Herleitung der wichtigsten Matrix in diesem Kontext: der Fundamentalmatrix. Sie beschreibt die Zusammenhänge der Epipolargeometrie. Sie lernen, mithilfe von Punktkorrespondenzen in den Abbildungen zweier Kameras die Fundamentalmatrix mit unterschiedlichen Verfahren zu bestimmen. Aus dieser Matrix lassen sich die Kameramatrizen berechnen. Da diese nicht kalibriert sind, fehlen jedoch noch wichtige, intrinsische Kamera-Eigenschaften wie etwa die Brennweite, um eine metrische Rekonstruktion zu ermöglichen. Es wird erklärt, wie die intrinsischen Eigenschaften durch eine Kamera-Kalibrierung automatisiert bestimmt werden können.

Kurseinheit 3 - Von Bildern zu Objekten

Diese Kurseinheit setzt die Schritte zur Entwicklung eines 3D-Modells nach Bestimmung der Kameramatrizen fort. Zunächst wird gezeigt, wie sich mithilfe der Rückprojektionsstrahlen zu jedem Punktkorrespondenz-Paar und den zugehörigen Kameramatrizen ein 3D-Punkt triangulieren lässt. Aus einer resultierenden Punktmenge wird im Anschluss ein Dreiecksnetz erzeugt. Dabei lernen Sie das Voronoi-Digramm und zwei unterschiedliche Algorithmen zu dessen Bestimmung kennen. Über das Voronoi-Diagramm lässt sich eine Triangulierung der 3D-Punkte ableiten. Des Weiteren erhalten Sie eine kurze Einführung in das sogenannte Rendering, bei dem das dem Dreiecksnetz zugewiesene Material und damit die Texturierung und Beleuchtung von Objekten eine wesentliche Rolle spielen.

Kurseinheit 4 - Mehr Punkte, mehr Kameras

Bisher wurde gezeigt, wie 3D-Punkte eines Objektes aus einem Bildpaar bestimmt werden. Punktkorrespondenzen wurden als gegeben vorausgesetzt. Mit nur einem Bildpaar als Eingabe kann jedoch kein vollständiges 3D-Modell eines Objektes berechnet werden. Diese Kurseinheit beginnt mit der Fragestellung, wie sich Punktkorrespondenzen von Bildpaaren automatisiert bestimmen lassen. Anschließend wird gezeigt, wie sich beliebig viele, miteinander verknüpfte Bildpaare zu einer Komposition zusammenfügen lassen, was die Erzeugung von geschlossenen 3D-Modellen oder Panoramen ermöglicht. Es wird die Frage behandelt, ob sich die Komplexität eines auf diese Weise rekonstruierten Modells verringern lässt, etwa indem Teilmengen der gewonnenen Punktwolken wieder zu einfacheren Modellen reduziert werden. Die Kurseinheit schließt mit einem Überblick über mögliche Fehlerquellen und Probleme bei der 3D-Rekonstruktion und mögliche Vermeidungsstrategien.