Perspective Image-to-Image Transformation with Generative Neural Networks

Typ:	Hiwi-Job, Bachelor-, Masterarbeit	Links:	Aufgabenstellung als PDF-Datei (181 kB)
Betreuer:	M. Sc. Stefan Wolf
Status:	zu vergeben
Möglicher Beginn:	ab sofort

Das Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB ist eines der größten Institute für angewandte Forschung auf dem Gebiet der Bildgewinnung und Bildauswertung in Europa. Die Abteilung Videoauswertesysteme (VID) beschäftigt sich mit der automatischen Auswertung von Signalen bewegter bildgebender Sensorik in komplexen, ggf. nichtkooperativen Szenarien. Diese Sensorik wird beispielsweise im Aufklärungs- und Überwachungsbereich als integrierte Komponente in fliegenden, weltraumgestützten oder mobilen landgestützten Plattformen verwendet. VID entwickelt und integriert hierfür Bildauswertealgorithmen für autonome oder interaktive Systeme.

Motivation

Aktuelle KI-basierte Klassifikationsverfahren benötigen große Datenmengen für das Training. Die feingranulare Klassifikation von Fahrzeugen auf Überwachungsbildern ist bspw. ein Szenario, in dem jedoch nur eine begrenzte Anzahl an Daten verfügbar ist. Zwar gibt es im Internet eine große Anzahl an Bildern von Fahrzeugen. Allerdings unterscheiden diese sich hinsichtlich der Per-spektive deutlich von Überwachungsbildern. Generative Modelle wie GANs ermöglichen die Anpassung von Bildern. Die Anpas-sung der Perspektive durch GANs hat sich allerdings als besonders schwierig erwiesen [1]. Das Ziel dieser Arbeit ist daher die Eignung von aktuellen generativen Verfahren wie GANs [1] oder NeRFs [2] zu untersuchen, um neue Trainingsbeispiele für fein-granulare Klassifikation von Fahrzeugen zu generieren

Aufgabenstellung

Im Rahmen dieser Arbeit soll der Stand der Technik im Bereich generativer Verfahren zur perspektivischen Transformation von Bildern aufbereitet sowie die vielversprechendsten Ansätze evaluiert werden. Aufbauend auf den generierten Bildern soll unter-sucht werden, ob diese als Trainingsbeispiele geeignet sind, um die Genauigkeit von feingranularen Klassifikationsverfahren zu erhöhen.

Bewerbungen bitte mit Lebenslauf und Notenauszug an Stefan Wolf.

Studienrichtung	Informatik, Elektrotechnik und Informationstechnik oder verwandte Studiengänge
Aufgaben	Du arbeitest den Stand der Technik im Bereich perspektivischer Bildtransformation mit GNNs auf Du evaluierst vielversprechende Ansätze auf Fahrzeugbildern und untersuchst die Eignung als Datenaugmentierung für feingranulare Klassifikation Du entwickelst eigene Ideen zur Verbesserung bestehender Ansätze und untersuchst diese
Voraussetzungen	Gutes Verständnis für die (theoretischen) Grundlagen von Deep Learning Ideal: Erfahrung mit den Deep Learning Frameworks PyTorch, TensorFlow und/oder Keras Fähigkeit zum selbstständigen Arbeiten Bereitschaft sich in neue Themengebiete einzuarbeiten und Freude am Einbringen eigener Ideen
Ansprechpartner	M.Sc. Stefan Wolf Fraunhofer IOSB \| Videoauswertesysteme (VID) Fraunhoferstraße 1 \| 76131 Karlsruhe E-Mail: stefan.wolf@iosb.fraunhofer.de

Literatur

[1] Wayne Wu, Kaidi Cao, Cheng Li, Chen Qian, Chen Change Loy, “TransGaGa: Geometry-Aware Unsupervised Image-To-Image Translation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[2] Mildenhall B., Srinivasan P.P., Tancik M., Barron J.T., Ramamoorthi R., Ng R., “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis,” in ECCV 2020.