Linzer Forscher ermöglichen verzerrungsfreies Skalieren von Lichtfeldern

29. Jänner 2012, 10:59
  • Lichtfeldkameras liefern vierdimensionale Bilder
    foto: universität linz

    Lichtfeldkameras liefern vierdimensionale Bilder

Neue Software-Algorithmen aus Österreich

Digitalkameras liefern nur zweidimensionale Bilder. In Lichtfeld-Kameras kommen zu den x- und y-Koordinaten eines Pixels zwei weitere Dimensionen dazu: die Richtungskoordinaten des einfallenden Lichts. Solche vierdimensionalen Aufnahmen werden Lichtfelder genannt. Sie ermöglichen Fotos, bei denen man Fokus, Perspektive und Blende nachträglich ändern kann, und gelten als Zukunftsfeld der Digital-Fotografie. Wissenschafter der Universität Linz haben nun erstmals Software-Algorithmen entwickelt, mit denen sich solche Bilder verzerrungsfrei vergrößern bzw. verkleinern lassen.

Kommerzieller Einsatz

Die Lichtfeld-Fotografie ist schon länger bekannt, auch kommerzielle Kameras gibt es bereits. Für breite Verbraucherkreise sind diese aber zu teuer. Vergangenen Herbst hat die US-Firma Lytro angekündigt, Anfang 2012 die erste erschwingliche Lichtfeld-Kamera (Kosten je nach Speicherplatz zwischen 399 und 499 Dollar) auf den Markt zu bringen. Herkömmliche Digicams bündeln das Licht eines fokussierten Punktes auf einem Pixel des Bildsensors. Die Information, wie viel Licht aus welcher Richtung einlangt, geht dabei verloren. In Lichtfeld-Kameras erhält man dagegen durch spezielle optische Elemente, wie ein dem Bildsensor vorgeschaltetes Mikrolinsenfeld, auch die Information, "aus welcher Richtung welcher Lichtanteil kommt", so Oliver Bimber vom Institut für Computergrafik der Universität Linz im Gespräch mit der APA.

Mehr Möglichkeiten

Solche vierdimensionalen Bilder, die diese Informationen enthalten, können deutlich mehr als herkömmliche zweidimensionale Digitalfotos. Man kann im Nachhinein nicht nur Fokus und Perspektive ändern, sondern auch Abbildungen mit sehr großer Tiefenschärfe errechnen. Konkret kann man beispielsweise beim Weihnachtsfoto die Personen im Bild oder den Christbaum scharfstellen, die Personen frontal oder auch leicht im Profil vor dem Christbaum zeigen bzw. sowohl die Personen als auch den Christbaum scharf bekommen.
Während solche Möglichkeiten die herkömmliche Digital-Fotografie alt aussehen lässt, gibt es bei der Verarbeitung von Lichtfeld-Bildern noch Probleme. So können derzeit Digitalfotos, die in einem bestimmten Seitenverhältnis aufgenommen wurden, später verzerrungsfrei einfach auf Displays mit anderen Seitenverhältnissen dargestellt werden. Diese "Retargeting" genannte Technik kann aber nicht ohne weiteres auf Lichtfeldern angewendet werden. 

Algorithmus

Die Wissenschafter am Institut für Computergrafik der Uni Linz haben Software-Algorithmen entwickelt, die das verzerrungsfreie Strecken und Stauchen von Lichtfeldern ermöglichen. Mit diesem nach Angaben der Forscher weltweit erstem Retargeting-Verfahren für Lichtfelder lassen sich Aufnahmen aus einer Lichtfeld-Kamera auf beliebige Seitenverhältnisse anpassen, ohne wichtige Inhalte zu verzerren. Dabei werden hintergründige Bildinhalte, die für das menschliche Auge zunächst unwesentlich erscheinen, zuerst gestaucht, bevor wesentliche Bildinhalte wie Gesichter oder Objekte verzerrt werden, erklärt Bimber gegenüber dem WebStandard. Wie weit skaliert werden kann, hänge schlussendlich von den Bildinhalten ab. Ab einem gewissen Grad der Stauchung oder Streckung könne auch das Retargeting-Verfahren Verzerrungen nicht ausschließen.

Aufbruchstimmung

Bimber ist überzeugt, dass sich in den nächsten Jahren im Bereich der Digitalfotografie "einiges tun wird". Unter dem Oberbegriff "computational photography" würden Kamerasysteme stehen, die fähig sind, mehr Informationen aufzunehmen als heutige Fotoapparate, wie etwa die Lichtfeld-Fotografie.

Die Lytro-Kamera sei vor allem deshalb interessant, weil diese die Lichtfeld-Fotografie erstmals "leistbar" mache. Das von Bimber und dessen Kollegen entwickelte Retargeting-Verfahren sei hingegen vor allem ein Forschungsprojekt, das im derzeitigen Stadion nicht für den kommerziellen Einsatz gedacht sei. Sollte sich ein Anbieter dafür interessieren, würde man die Ausarbeitung der Software zu einem einsatzfähigen Produkt aber "unterstützen", so Bimber. (APA/zw)

Kommentar posten
21 Postings
dazu fällt mir ein film mit david bowie ein:

"der mann, der vom himmel fiel"

der typ hatte auch eine geniale kamera erfunden :-)

Hoffentlich hat sich die Uni alle dazugehörenden Patente gesichert. In diesem Bereich schlummert ein Millionen- wenn nicht Milliardenpotential.

nein die gehoeren Apple.....die schnappen sich alles.
Haben ja schon die ecken erfunden

Irgendwas versteh ich nicht:

"So können derzeit Digitalfotos, die in einem bestimmten Seitenverhältnis aufgenommen wurden, später verzerrungsfrei einfach auf Displays mit anderen Seitenverhältnissen dargestellt werden. "

Kann mir wer erklären, wie ich ein 3:2 Bild auf 16:9 verzerrungsfrei darstellen kann? Da wird ja wohl nicht einfach cropping oder schwarze Balken gemeint sein?

Das ganze nennt sich "image retargeting" oder wird auch seam carving genannt. Dabei werden Bilder eben nicht gleichmaessig über eine Achse skaliert sondern gewisse bereiche mehr und andere weniger, abhängig vom Bildinhalt. So werden gewisse wichtige Bildinhalte eben scheinbar verzerrungsfrei dargestellt.

Siehe auch: http://en.wikipedia.org/wiki/Imag... etargeting

Es ist nun aber so, dass sich dieses verfahren nicht so ohne weiters auf eben auf light fields, angewendet werden kann. Das erwähnte verfahren beschreibt, wie dies eben auch hier mglich ist.

Wie eh schon geschrieben, hab ich es mir dann eh gedacht. Mein Projektor kann das, und sicher jeder andere auch. Nur "verzerrungsfrei" ist dafür Orwell Speak... in der Mitte ist das Bild noch ok, zum Rand hin umso mehr gedehnt.

Das hat nichts mit dem zu tun, was Ihr Projektor macht, der verzerrt einfach das Seitenverhältnis der Pixel, ein Kreis wird zu einer Ellipse.
Hier geht es darum, dass das Seitenverhältnis der Pixel erhalten bleibt, nicht relevante Inhalte zusammengeschoben werden und relevante Inhalte unverzerrt erhalten bleiben.

Schauen Sie sich im Wikiartikel das vierte Bild genau an und vergleichen es (die Burg) mit dem zweiten (welches das macht, was Ihr Projektor tut).

Ok, habs mir durchgelesen und verstanden :-)
Ich kann zwar immer noch nichts mit "verzerrungsfrei" anfangen, aber ich verstehe, was gemeint ist.

Teil 2

Bei der inhaltsberücksichtigenden Verzerrung hingegen erkennt der Algorithmus zuerst den Bildinhalt und damit welche Pixel ihr 1:1 Verhältnis beibehalten müssen - zB ein Kopf / Körper / Haus / usw. und welche Pixel verzerrt werden können (Himmel, Sand, simple Strukturen). Dadurch kann Ihr 4:3 Video auf 16:9 gestreckt werden, ohne dass es zu auffälligen Verzerrungen kommt - sprich ein Kreis bleibt ein Kreis, dafür ändern sich die Abstände zwischen zwei Kreisen.

Ein Beispiel: Ihr Projektor besitzt eine tatsächliche 16:9-Auflösung von zB 1280x720 Pixel.
Nun schauen Sie sich darauf ein 720p Video (1280x720 Pixel) an. Jedes Videopixel besitzt dabei ein Seitenverhältnis von 1:1.
Nun spielen Sie ein 4:3 Video mit einer Auflösung von 720x576 Pixel ab. Sie haben nun am Beamer links und rechts schwarze Balken. Wenn Sie nun dem Beamer so einstellen, dass die Balken verschwinden, wird das Bild in der Breite linear verzerrt und das Seitenverhältnis aller Pixel ändert sich auf 1,42:1.
Beim der nichtlinearen Verzerrung hätten die Pixel in der Mitte noch ein 1:1 Verhältnis welches bis zum Rand sich immer stärker verändert zB auf bis zu 2:1.

Wie gesagt, ich hab das Prinzip schon verstanden. Es wird versucht, die Verzerrungen möglichst in Bereiche zu verlagern, wo sie nicht so auffallen. Es mag Anwendungen dafür geben. Jedenfalls wird das ursprüngliche Bild mehr oder weniger stark verfälscht. Wenn sich die "interessanten" Bereiche über die ganze Bildbreite überlappen, dann kann der Algorithmus auch nicht viel machen. Leider kann man damit aber auch keine 4:3 Filme vernünftig auf 16:9 skalieren...

Das ist richtig.

Ich check das auch nicht ganz..
Das Video hat mich auch nicht schlauer gemacht.. beim stauchen / zerren wurde das Bild ja ganz offensichtlich schon verzerrt nur das "Hauptmotiv" halt nicht (ganz so stark)
Sieht genau so aus wie "content aware scaling" von Photoshop CS5
Was das jetzt speziell mit light field Kameras zutun hat ist für mich ebenfalls nicht nachvollziehbar..

Aber wir können stolz drauf sein - die Uni Linz hat irgendwas geschafft was sonst keiner kann ^^

Ganz einfach ...

"Content Aware Scaling" beim PS 5 IST eben ein solches Retargeting!
Wie im Artikel steht - für Lichtfeld-Aufnahmen war das bisher nicht möglich - jetzt isses! Dafür Applause ...

T.L.

Fast ...

Es wird hier nicht einfach etwas raus gestreckt oder verzerrt. bei einem kameraschwenk nach rechts zum beispiel schieben sich ja nutzbare bildinhalte nach links raus. diese kann man ja nutzen und dadurch das bild ohne irgendwelche verzerrungen auf das gewünschte format zu bringen.

Ich glaube fast, es ist die Spitzentechnologie gemeint, die in Projektoren verwendet wird, wo man z.B. ein altes 4:3 Bild auf 16:9 verbreitern kann. Im Mittelbereich bleibt es dann relativ unverzerrt, je weiter nach außen desto mehr wird aber gestreckt. Schaut dann so unverzerrt aus wie der Blick durch eine Bierflasche.

Nein, das ist einfach nur nicht-lineares Skalieren.

Btw, gehe ich richtig der Annahme, dass sich dadurch die Bilder auch komplett ohne Tiefenunschärfe anzeigen lassen? Also alles scharf?

Bin gespannt wann diese Technologie in Handys Einzug halten wird.

Das erste Handy mit Lichtfeld-Technik soll 2021 auf den Markt kommen: SiFon 9LF von der Firma "angebissener Apfel".

Die Kommentare von Usern und Userinnen geben nicht notwendigerweise die Meinung der Redaktion wieder. Die Redaktion behält sich vor, Kommentare, welche straf- oder zivilrechtliche Normen verletzen, den guten Sitten widersprechen oder sonst dem Ansehen des Mediums zuwiderlaufen (siehe ausführliche Forenregeln), zu entfernen. Der/Die Benutzer/in kann diesfalls keine Ansprüche stellen. Weiters behält sich die derStandard.at GmbH vor, Schadenersatzansprüche geltend zu machen und strafrechtlich relevante Tatbestände zur Anzeige zu bringen.