Linzer Forscher ermöglichen verzerrungsfreies Skalieren von Lichtfeldern
29. Jänner 2012, 10:59
foto: universität linz
Lichtfeldkameras liefern vierdimensionale Bilder
Neue Software-Algorithmen aus Österreich
Digitalkameras liefern nur zweidimensionale Bilder. In Lichtfeld-Kameras kommen zu den x- und y-Koordinaten eines Pixels zwei weitere Dimensionen dazu: die Richtungskoordinaten des einfallenden Lichts. Solche vierdimensionalen Aufnahmen werden Lichtfelder genannt. Sie ermöglichen Fotos, bei denen man Fokus, Perspektive und Blende nachträglich ändern kann, und gelten als Zukunftsfeld der Digital-Fotografie. Wissenschafter der Universität Linz haben nun erstmals Software-Algorithmen entwickelt, mit denen sich solche Bilder verzerrungsfrei vergrößern bzw. verkleinern lassen.
Kommerzieller Einsatz
Die Lichtfeld-Fotografie ist schon länger bekannt, auch kommerzielle Kameras gibt es bereits. Für breite Verbraucherkreise sind diese aber zu teuer. Vergangenen Herbst hat die US-Firma Lytro angekündigt, Anfang 2012 die erste erschwingliche Lichtfeld-Kamera (Kosten je nach Speicherplatz zwischen 399 und 499 Dollar) auf den Markt zu bringen. Herkömmliche Digicams bündeln das Licht eines fokussierten Punktes auf einem Pixel des Bildsensors. Die Information, wie viel Licht aus welcher Richtung einlangt, geht dabei verloren. In Lichtfeld-Kameras erhält man dagegen durch spezielle optische Elemente, wie ein dem Bildsensor vorgeschaltetes Mikrolinsenfeld, auch die Information, "aus welcher Richtung welcher Lichtanteil kommt", so Oliver Bimber vom Institut für Computergrafik der Universität Linz im Gespräch mit der APA.
Mehr Möglichkeiten
Solche vierdimensionalen Bilder, die diese Informationen enthalten, können deutlich mehr als herkömmliche zweidimensionale Digitalfotos. Man kann im Nachhinein nicht nur Fokus und Perspektive ändern, sondern auch Abbildungen mit sehr großer Tiefenschärfe errechnen. Konkret kann man beispielsweise beim Weihnachtsfoto die Personen im Bild oder den Christbaum scharfstellen, die Personen frontal oder auch leicht im Profil vor dem Christbaum zeigen bzw. sowohl die Personen als auch den Christbaum scharf bekommen. Während solche Möglichkeiten die herkömmliche Digital-Fotografie alt aussehen lässt, gibt es bei der Verarbeitung von Lichtfeld-Bildern noch Probleme. So können derzeit Digitalfotos, die in einem bestimmten Seitenverhältnis aufgenommen wurden, später verzerrungsfrei einfach auf Displays mit anderen Seitenverhältnissen dargestellt werden. Diese "Retargeting" genannte Technik kann aber nicht ohne weiteres auf Lichtfeldern angewendet werden.
Algorithmus
Die Wissenschafter am Institut für Computergrafik der Uni Linz haben Software-Algorithmen entwickelt, die das verzerrungsfreie Strecken und Stauchen von Lichtfeldern ermöglichen. Mit diesem nach Angaben der Forscher weltweit erstem Retargeting-Verfahren für Lichtfelder lassen sich Aufnahmen aus einer Lichtfeld-Kamera auf beliebige Seitenverhältnisse anpassen, ohne wichtige Inhalte zu verzerren. Dabei werden hintergründige Bildinhalte, die für das menschliche Auge zunächst unwesentlich erscheinen, zuerst gestaucht, bevor wesentliche Bildinhalte wie Gesichter oder Objekte verzerrt werden, erklärt Bimber gegenüber dem WebStandard. Wie weit skaliert werden kann, hänge schlussendlich von den Bildinhalten ab. Ab einem gewissen Grad der Stauchung oder Streckung könne auch das Retargeting-Verfahren Verzerrungen nicht ausschließen.
Aufbruchstimmung
Bimber ist überzeugt, dass sich in den nächsten Jahren im Bereich der Digitalfotografie "einiges tun wird". Unter dem Oberbegriff "computational photography" würden Kamerasysteme stehen, die fähig sind, mehr Informationen aufzunehmen als heutige Fotoapparate, wie etwa die Lichtfeld-Fotografie.
Die Lytro-Kamera sei vor allem deshalb interessant, weil diese die Lichtfeld-Fotografie erstmals "leistbar" mache. Das von Bimber und dessen Kollegen entwickelte Retargeting-Verfahren sei hingegen vor allem ein Forschungsprojekt, das im derzeitigen Stadion nicht für den kommerziellen Einsatz gedacht sei. Sollte sich ein Anbieter dafür interessieren, würde man die Ausarbeitung der Software zu einem einsatzfähigen Produkt aber "unterstützen", so Bimber. (APA/zw)
"So können derzeit Digitalfotos, die in einem bestimmten Seitenverhältnis aufgenommen wurden, später verzerrungsfrei einfach auf Displays mit anderen Seitenverhältnissen dargestellt werden. "
Kann mir wer erklären, wie ich ein 3:2 Bild auf 16:9 verzerrungsfrei darstellen kann? Da wird ja wohl nicht einfach cropping oder schwarze Balken gemeint sein?
Das ganze nennt sich "image retargeting" oder wird auch seam carving genannt. Dabei werden Bilder eben nicht gleichmaessig über eine Achse skaliert sondern gewisse bereiche mehr und andere weniger, abhängig vom Bildinhalt. So werden gewisse wichtige Bildinhalte eben scheinbar verzerrungsfrei dargestellt.
Es ist nun aber so, dass sich dieses verfahren nicht so ohne weiters auf eben auf light fields, angewendet werden kann. Das erwähnte verfahren beschreibt, wie dies eben auch hier mglich ist.
Wie eh schon geschrieben, hab ich es mir dann eh gedacht. Mein Projektor kann das, und sicher jeder andere auch. Nur "verzerrungsfrei" ist dafür Orwell Speak... in der Mitte ist das Bild noch ok, zum Rand hin umso mehr gedehnt.
Das hat nichts mit dem zu tun, was Ihr Projektor macht, der verzerrt einfach das Seitenverhältnis der Pixel, ein Kreis wird zu einer Ellipse.
Hier geht es darum, dass das Seitenverhältnis der Pixel erhalten bleibt, nicht relevante Inhalte zusammengeschoben werden und relevante Inhalte unverzerrt erhalten bleiben.
Schauen Sie sich im Wikiartikel das vierte Bild genau an und vergleichen es (die Burg) mit dem zweiten (welches das macht, was Ihr Projektor tut).
Bei der inhaltsberücksichtigenden Verzerrung hingegen erkennt der Algorithmus zuerst den Bildinhalt und damit welche Pixel ihr 1:1 Verhältnis beibehalten müssen - zB ein Kopf / Körper / Haus / usw. und welche Pixel verzerrt werden können (Himmel, Sand, simple Strukturen). Dadurch kann Ihr 4:3 Video auf 16:9 gestreckt werden, ohne dass es zu auffälligen Verzerrungen kommt - sprich ein Kreis bleibt ein Kreis, dafür ändern sich die Abstände zwischen zwei Kreisen.
Ein Beispiel: Ihr Projektor besitzt eine tatsächliche 16:9-Auflösung von zB 1280x720 Pixel.
Nun schauen Sie sich darauf ein 720p Video (1280x720 Pixel) an. Jedes Videopixel besitzt dabei ein Seitenverhältnis von 1:1.
Nun spielen Sie ein 4:3 Video mit einer Auflösung von 720x576 Pixel ab. Sie haben nun am Beamer links und rechts schwarze Balken. Wenn Sie nun dem Beamer so einstellen, dass die Balken verschwinden, wird das Bild in der Breite linear verzerrt und das Seitenverhältnis aller Pixel ändert sich auf 1,42:1.
Beim der nichtlinearen Verzerrung hätten die Pixel in der Mitte noch ein 1:1 Verhältnis welches bis zum Rand sich immer stärker verändert zB auf bis zu 2:1.
Wie gesagt, ich hab das Prinzip schon verstanden. Es wird versucht, die Verzerrungen möglichst in Bereiche zu verlagern, wo sie nicht so auffallen. Es mag Anwendungen dafür geben. Jedenfalls wird das ursprüngliche Bild mehr oder weniger stark verfälscht. Wenn sich die "interessanten" Bereiche über die ganze Bildbreite überlappen, dann kann der Algorithmus auch nicht viel machen. Leider kann man damit aber auch keine 4:3 Filme vernünftig auf 16:9 skalieren...
Ich check das auch nicht ganz..
Das Video hat mich auch nicht schlauer gemacht.. beim stauchen / zerren wurde das Bild ja ganz offensichtlich schon verzerrt nur das "Hauptmotiv" halt nicht (ganz so stark)
Sieht genau so aus wie "content aware scaling" von Photoshop CS5
Was das jetzt speziell mit light field Kameras zutun hat ist für mich ebenfalls nicht nachvollziehbar..
Aber wir können stolz drauf sein - die Uni Linz hat irgendwas geschafft was sonst keiner kann ^^
"Content Aware Scaling" beim PS 5 IST eben ein solches Retargeting!
Wie im Artikel steht - für Lichtfeld-Aufnahmen war das bisher nicht möglich - jetzt isses! Dafür Applause ...
Es wird hier nicht einfach etwas raus gestreckt oder verzerrt. bei einem kameraschwenk nach rechts zum beispiel schieben sich ja nutzbare bildinhalte nach links raus. diese kann man ja nutzen und dadurch das bild ohne irgendwelche verzerrungen auf das gewünschte format zu bringen.
Ich glaube fast, es ist die Spitzentechnologie gemeint, die in Projektoren verwendet wird, wo man z.B. ein altes 4:3 Bild auf 16:9 verbreitern kann. Im Mittelbereich bleibt es dann relativ unverzerrt, je weiter nach außen desto mehr wird aber gestreckt. Schaut dann so unverzerrt aus wie der Blick durch eine Bierflasche.
Das erste Handy mit Lichtfeld-Technik soll 2021 auf den Markt kommen: SiFon 9LF von der Firma "angebissener Apfel".
Die Kommentare von Usern und Userinnen geben nicht notwendigerweise die Meinung der Redaktion wieder. Die Redaktion behält sich vor, Kommentare, welche straf- oder zivilrechtliche Normen verletzen, den guten Sitten widersprechen oder sonst dem Ansehen des Mediums zuwiderlaufen (siehe ausführliche Forenregeln), zu entfernen. Der/Die Benutzer/in kann diesfalls keine Ansprüche stellen. Weiters behält sich die derStandard.at GmbH vor, Schadenersatzansprüche geltend zu machen und strafrechtlich relevante Tatbestände zur Anzeige zu bringen.
Alle Rechte vorbehalten. Nutzung ausschließlich für den privaten Eigenbedarf. Eine Weiterverwendung und Reproduktion über den persönlichen Gebrauch hinaus ist nicht gestattet.
Bitte geben Sie eine E-Mail-Adresse an.
Aktualisierung Ihrer E-Mail-Adresse
Ihre aktuelle und korrekte E-Mail-Adresse ist Voraussetzung für alle Benachrichtigungen, die Sie von derStandard.at erhalten (z.B. Antworten auf Ihre Postings, Hilfe bei vergessenem Passwort). Zusätzlich werden Sie Ihre E-Mail-Adresse künftig für das Login benötigen.
Daher bitten wir Sie um eine kurze Überprüfung und Bestätigung Ihrer E-Mail-Adresse. Ihre E-Mail-Adresse wird dadurch nicht für Dritte sichtbar!
Die von Ihnen angegebene E-Mail-Adresse ist bereits mit einem anderen Account verknüpft. Bitte geben Sie eine andere E-Mail-Adresse an.
Diese E-Mail-Adresse ist leider ungültig. Bitte verwenden Sie eine dauerhafte E-Mail-Adresse!
Eine E-Mail-Adresse kann nicht für mehrere Accounts verwendet werden!
Aktualisierung Ihrer E-Mail-Adresse
Danke für die Bestätigung Ihrer E-Mail-Adresse. Es wurde ein Bestätigungslink an die angegebene Adresse gesendet.
Aktualisierung Ihrer E-Mail-Adresse
Ein unbekannter Fehler ist aufgetreten. Die E-Mail konnte nicht gesendet werden. Bitte versuchen Sie es noch einmal.