Künstliche Intelligenz als Gitarrenlehrer

    14. September 2018, 08:00
    17 Postings

    Das oberösterreichische Start-up Fretello will per Smartphone-App beim Gitarrelernen helfen. Das Spiel wird mit Artificial Intelligence analysiert

    Beim Erlernen eines Instruments wie der Gitarre können auch Erkenntnisse aus der Sportwissenschaft behilflich sein. Immerhin geht es zuerst darum, Koordination und Feinmotorik der Finger zu verbessern, Bewegungsabläufe zu wiederholen und entsprechendes Muskelgedächtnis aufzubauen. Bei diesem Lernvorgang, so dachten sich Florian Lettner und Wolfgang Damm, könnten Sensorik und Rechenkraft eines Smartphones gute Dienste leisten.

    Das Angebot an Apps, die das Gitarrenspiel lehren, ist nicht gerade knapp. Dennoch konnte sich Fretello, wie die beiden Absolventen der FH Oberösterreich in Hagenberg ihre Anwendung nannten, durchsetzen, was – laut Lettner – derzeit 200.000 Downloads und über 100.000 registrierte Benutzer bezeugen. Ein Argument für ihre Lernplattform sind ausgeklügelte Artificial-Intelligence-Algorithmen, die zielgerichtete Hilfestellung beim Üben von Pop- und Rockmusikstücken ermöglichen.

    Musik spielte für die Gründer immer eine wichtige Rolle. Lettner spielte bereits mit 14 in einer Punkband. Schlagzeug lernte er an der Musikschule, Gitarre brachte er sich selbst bei. Der berufliche Werdegang führte über ein Mobile-Computing-Studium in Hagenberg zur ersten eigenen Firma, in der er mit Damm im Auftrag eines US-Anbieters Software für 360-Grad-Kameras entwickelte. 2016 war klar, dass man etwas Neues machen wollte – da lag die Musik nahe. Lettner: "Wir hatten das technische Know-how und die Erfahrung in der Forschung."

    Trainingspläne

    Möchte man Solieren, Technikaufbau oder das Nachspielen von Songs lernen? Darstellung in Noten oder Tabulatur? Kann man bereits Sechzehntelnoten oder Triolen spielen? Nachdem Vorlieben und Kenntnisse abgefragt sind, erstellt Fretello – auch auf Basis des Musikgeschmacks, der sich in Social-Media-Vorlieben spiegelt – einen Trainingsplan. Der Algorithmus wählt für die 20-minütigen Einheiten, die mehrmals pro Woche zu absolvieren sind, aus 20.000 Übungen und 7000 Musikstücken, erläutert Lettner.

    Während des Übens "hört" die App nun dem Musikschüler zu. Kontrolliert wird nicht nur, ob der richtige Ton gespielt wird. Auch das Spieltempo wird vermessen. Die Artificial Intelligence, die mithilfe eines großen Datensatzes trainiert wurde, um Audiosignale klassifizieren zu können, erkennt Abweichungen aller Art und schließt auf ihre Fehlerquelle – etwa wenn Störgeräusche entstehen, weil eine der Saiten nicht richtig gedrückt wurde.

    "Unser System erkennt, welche leichten oder schweren Fehler häufig vorkommen und gibt Feedback – beispielsweise in Form eines Videos, das zeigt, wie man die Spielweise anpassen kann", sagt Lettner.

    Zusammenklang

    Das funktioniere unabhängig vom Musikstück und beim Zusammenklang von Akkorden genauso wie bei Improvisationen, bei denen kontrolliert wird, ob die gespielten Töne zusammenpassen. Zu den Forschungspartnern des Start-ups gehören neben der FH Hagenberg und der JKU Linz aktuell vor allem das Austrian Research Institute for Artificial Intelligence (OFAI) in Wien.

    Die App könne den Unterricht durch einen Musiklehrer und die Erarbeitung einer korrekten Spielweise unterstützen. Schwieriger sei es dagegen, mit diesen Mitteln an Artikulation oder eigenem Stil zu arbeiten, räumt Lettner ein. "Die emotionale Komponente ist aktuell nicht unser Ziel."

    Die Gründer, beide Anfang 30, konnten den finanziellen Grundstein zu Fretello, an dem zurzeit elf Personen arbeiten, durch den Erfolg ihrer ersten Firma legen. Die Prototypumsetzung gelang durch zwei Projekte, die von der Förderagentur FFG unterstützt wurden. 2016 war eine erste Version online, Anfang 2018 konnte durch die Puls-4-Show "2 Minuten, 2 Millionen" ein Investment von 300.000 Euro lukriert werden. Für Nutzer kostet die Anwendung nach einer Testphase zehn Euro pro Monat oder 100 Euro pro Jahr.

    Im Moment verhandeln die Gründer mit großen Musikpublishern und Rechteinhabern über Kooperationen. Lettner: "Künftig soll es möglich sein, dass die Nutzer nicht nur Übungen absolvieren, sondern auch ihre Lieblingssongs nachzuspielen lernen." (Alois Pumhösel, 14.9.2018)

    • Florian Lettner (li.) und Wolfgang Damm haben gemeinsam mit mehreren Forschungsinstitutionen eine künstliche Intelligenz entwickelt, die beim Gitarrelernen helfen soll.
      foto: lukas beck

      Florian Lettner (li.) und Wolfgang Damm haben gemeinsam mit mehreren Forschungsinstitutionen eine künstliche Intelligenz entwickelt, die beim Gitarrelernen helfen soll.

    Share if you care.