Saarbrücker Informatiker machen „Augmented Reality“ fotorealistisch

Durch das Handyspiel Pokémon Go, das innerhalb von wenigen Tagen mehr als 75 Millionen Nutzer begeisterte, ist die „Augmented Reality“ im Alltag der Menschen angekommen. Bilder oder Videos von einer realen Umgebung werden hier mit am Computer generierten Informationen erweitert, indem sie über das Bild gelegt oder eingeblendet werden. Wissenschaftler des Max-Planck-Instituts für Informatik haben nun eine Software entwickelt, mit deren Hilfe sich Informationen so fotorealistisch verändern lassen, dass der Unterschied zur realen Aufnahme nicht mehr erkennbar ist. Die Forscher aus Saarbrücken sind überzeugt, dass dies ein Quantensprung für Anwendungen der „erweiterten Realität“ ist.

Pokémon Go, ein Spiel für Mobilgeräte wie Smartphone und Tabletcomputer,  hat der Technologie „Augmented Reality“ einen großen Schub gegeben. Informatiker aus Saarbrücken heben diese Technologie nun auf eine neue Qualitätsstufe, indem sie nicht mehr das reale, digitale Bild mit visuellen Informationen überlagern, sondern das Bild realitätsgetreu verändern. „Den Farbwert, den eine Kamera während der Aufnahme einzelnen Bildpunkten, sogenannten Pixeln, zuordnet, ist, etwas vereinfacht gesagt, immer das Produkt aus Reflexion und Beleuchtung“, erklärt Christian Theobalt, Leiter einer Forschergruppe am Saarbrücker Max-Planck-Institut für Informatik und Informatik-Professor der Universität des Saarlandes. „Das Problem ist jedoch, dass die beiden Komponenten dieser Rechnung nur indirekt im Bild enthalten sind und damit nicht messbar sind“, so Theobalt.

Zusammen mit den beiden Max-Planck-Forschern Abhimitra Meka und Michael Zollhöfer sowie Christian Richardt, der an der University of Bath arbeitet, löst er dieses Problem auf besondere Weise. Die von den Forschern entwickelte Software schafft dies sogar in Echtzeit für jedes Pixel eines Bildes, das von einer herkömmlichen Webcam stammt. Der Aufbau des Demonstrators ist einfach, das Ergebnis daher noch beeindruckender: Eine junge Frau steht in einem Raum vor einem fahrbaren Whiteboard und einer großen Pflanze. Sie trägt ein rotes T-Shirt mit einem breiten, weißen Schriftzug. Eine Webcam filmt sie, auf dem Bildschirm des angeschlossenen Monitors ist das T-Shirt jedoch in Blau und damit in einer völlig anderen Farbe zu sehen. Es ist der einzige Unterschied, der zwischen der Szene im Raum und der Szene auf dem Bildschirm zu erkennen ist.

„Indem wir blitzschnell für jedes Pixel die Beleuchtung und den Grad der Reflexion abschätzen und lediglich einen der beiden Faktoren verändern, bleibt der realistische Eindruck erhalten“, erklärt Theobalt. Diese Abschätzung basiert auf mathematischen Optimierungsverfahren. Indem die Software diese parallel berechnet, sind die Änderungen so schnell umsetzbar, dass es sogar bei Live-Aufnahmen möglich ist. Und die Software macht nicht bei Farben halt. Ändern die Wissenschaftler den Reflexionsgrad, lassen sich sogar andere Materialien vortäuschen. So kann die Software ein abgefilmtes Hemd aus Baumwolle während der Ausstrahlung in ein Samthemd verwandeln.

„Kein anderes Verfahren schafft dies momentan so schnell und mit Hilfe einer einfachen Kamera“, erklärt Abhimitra Meka, der die Software als Teil seiner Doktorarbeit an der Universität des Saarlandes entwickelt hat. Die Wissenschaftler aus Saarbrücken sind daher gespannt, in welche Anwendungen die Software einfließen wird. Computerspielindustrie und Mode seien naheliegend. Laut Theobalt könne auch der Online-Handel davon profitieren: „Stellen Sie sich vor, Sie denken über ein neues Sofa in einer anderen Farbe nach. Mit unserem Programm können Sie prüfen, ob die angedachte Farbe zu den Lichtverhältnissen im Wohnzimmer passt. Sie müssen dafür noch nicht mal aufstehen.“

Hintergrund: Saarland Informatics Campus

Den Kern des Saarland Informatics Campus bildet die Fachrichtung Informatik an der Universität des Saarlandes. In unmittelbarer Nähe forschen auf dem Campus sieben weitere, weltweit renommierte Forschungsinstitute. Neben den beiden Max-Planck-Instituten für Informatik und Softwaresysteme sind dies das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), das Zentrum für Bioinformatik, das Intel Visual Computing Institute, das Center for IT-Security, Privacy and Accountability (CISPA) und der Exzellenzcluster „Multimodal Computing and Interaction“.

Weitere Informationen:

Video und Paper
gvv.mpi-inf.mpg.de/projects/LiveIntrinsicVideo/

Pressefoto unter: www.uni-saarland.de/pressefotos

Fragen beantwortet:

Prof. Dr. Christian Theobalt
Max-Planck-Institut für Informatik
Saarland Informatics Campus
Tel.: +49 681 9325 4028
E-Mail: theobalt@mpi-inf.mpg.de
 
Dr. Michael Zollhöfer
Max-Planck-Institut für Informatik
Saarland Informatics Campus
Tel.: +49 681 9325 4019
E-Mail: mzollhoef@mpi.inf.mpg.de

Redaktion:
Gordon Bolduan
Kompetenzzentrum Informatik Saarland
Tel: +49 681 302 70741
E-Mail: gbolduan@mmci.uni-saarland.de