Beschreibung: Die Funktion eines Blackbox-KI-Moduls soll überwacht werden. Zu Fehlfunktionen kommt es u. a. wenn die Eingangsdaten für das KI-Modul zu sehr von den Trainingsdaten abweichen, mit denen es ursprünglich trainiert wurde. Aus diesem Grund ist die Erkennung eines potentiellen Domain Shifts sinnvoll. Die Reaktion auf einen Domain Shift wird in dieser Arbeit allerdings nicht betrachtet, da sie von der individuellen Funktion des Moduls abhängt. Der Ansatz dieser Arbeit ist die Ausführung und Evaluierung eines parallelen Autoencoders, der die gleichen Eingangsdaten wie das KI-Modul erhält und diese am Ausgang rekonstruieren soll. Ein Autoencoder transformiert die Eingangsdaten im Encoderteil auf eine kompakte, rudundanzfreie Darstellung und im Decoderteil wieder zurück in die ursprüngliche Darstellung. Das Training des Autoencoders erfolgt mit den gleichen Trainingsdaten, die auch für das Training des Blackbox-Modell verwendet wurden. Während der Inference wird der Rekonstruktionsfehler des Autoencoders ausgewertet, um festzustellen, ob die Inferencedaten von den Trainingsdaten abweichen. Wenn der Autoencoder nicht mehr ordnungsgemäß funktioniert, kann man davon ausgehen, dass auch die anderen Funktionen beeinträchtigt werden.

Für die Implementierung des Autoencoders kommen Generative Adversarial Networks (GANs) zum Einsatz. Diese bestehen aus 2 Teilen: Einem Generator, der Bilder erzeugt und einem Diskriminator, welcher entscheidet, ob die Bilder aus dem echten Datensatz stammen oder vom Generator erzeugt wurden. Durch das simultane Training dieser beiden Partner wird jeder in seiner jeweiligen Funktion immer besser, sodass am Ende ein sehr guter Generator und ein sehr guter Diskriminator entstehen.
Häufig ist nur der Generator von Interesse.

In dieser Arbeit soll ein Framework entwickelt werden, welches den Autoencoder des dargestellten Szenarios implementiert. Darüber hinaus sollen verschiedene Metriken betrachtet werden, mit Hilfe derer eine unsupervised Detektion eines Domain Shifts erkennbar ist. Dabei ist noch offen, welche parallele Funktion gewählt wird, hier wird auf bereits bestehende Funktionen zurückgegriffen.

Voraussetzungen: Mustererkennung, Kenntnisse in Python wünschenswert

Beschreibung: Generative Adversarial Networks bestehen aus zwei Modellen. Das eine ist für die Erzeugung realistischer Bilder zuständig (Generator) und das andere für die Unterscheidung zwischen realen und erzeugten Bildern (Diskriminator). Durch eine Rückführung der Ausgaben des Diskriminators auf die Gewichte des Generators können immer realistischere Bilder generiert werden. Es ist möglich, beiden Modellen eine zusätzliche Bedingung als Eingabe zuzuführen. Auf diese Weise kann die Ausgabe des Generators beeinflusst und somit der Bildinhalt gesteuert werden. Beispielsweise lassen sich so Bilder von handschriftlichen Ziffern erzeugen. Welche Zahl dargestellt wird hängt von der eingegebenen Bedingung ab.

Es sind jedoch auch komplexere Bedingungen möglich. So kann z. B. auch ein Bild die Bedingung darstellen. Dadurch lassen sich Bilder von einer Domäne in eine andere transferieren. Eine Domäne bezeichnet dabei einen Darstellungsraumbzw. einen Stil eines Bildes. Alle Erscheinungen einer Domäne haben offensichtliche Gemeinsamkeiten in ihrem Aussehen. Mit einem GAN lässt sich beliebig zwischen verschiedenen Domänen eines Bildes hin- und her wechseln -- eine sog. Image2Image-Translation.

Diese Arbeit soll ein GAN für die Image2Image-Translation zwischen zwei Domänen implementieren. Der Schwerpunkt liegt hierbei auf der Verwendung automotiver Daten. Vorstellbar sind bspw. Translationen zwischen Kamera-Bild und semantischer Segmentierung, Tag- und Nacht-Ansicht oder Satelliten- und Kartenansicht. Der Ansatz ist jedoch generisch und nicht auf diese Anwendungen begrenzt.

Voraussetzungen: Mustererkennung, Kenntnisse in Python (und TensorFlow)