Es ist ein ambitioniertes Ziel, das Josef Hochreiter vor Augen hat. Der Mitbegründer der modernen KI-Forschung und sein Team in Linz haben sich vorgenommen, ein fortschrittlicheres KI-Modell als das von OpenAI, Google oder Meta zu entwickeln. Jetzt liegen erste konkrete Ergebnisse der Arbeit vor. Die Forschungsarbeit, die im Rahmen des Start-ups NXAI zusammen mit dem Entrepreneur Albert Ortig von der Digitalisierungsagentur Netural vorangetrieben wird, könnte möglicherweise das Fundament für eine neue Generation von KI-Modellen legen.
Die Frustration über die Limitationen gegenwärtiger Technologien, die alle auf der sogenannten Transformer-Architektur basieren (GPT steht für Generative Pretrained Transformer), sollen Hochreiter dazu getrieben haben, eine effizientere und ressourcenschonendere Alternative zu erforschen. Im Kern seiner Forschung steht dabei die Entwicklung einer neuen Softwarearchitektur, die nicht nur schneller, sondern auch energieeffizienter operieren soll.
xLSTM statt GPT
Diese Neuerung verspricht, die Schwächen bestehender Systeme zu überwinden, die insbesondere bei sehr großen Datenmengen an ihre Grenzen stoßen. Hochreiters Team präsentierte das Modell in einem Forschungspapier, das es in verschiedenen Größen gegen etablierte Lösungen wie Open AIs GPT-3 und Metas Llama dokumentiert. Die Ergebnisse zeigen, dass das neue Modell das nächste Wort nicht nur schneller vorhersagen kann – es verbraucht gleichzeitig auch weniger Rechenleistung. Das innovative Modell basiert auf maximal 1,3 Milliarden Datensätzen, ein Bruchteil der Datenmenge, die etwa von GPT-3 verwendet wird.
Hochreiter ist in der wissenschaftlichen Community kein unbeschriebenes Blatt. Er hatte bereits mit der Entwicklung der "Long Short Term Memory" (LSTM)-Technologie, die in vielen Sprachassistenten und Übersetzungstools Anwendung findet, bedeutende Beiträge zur KI-Forschung geleistet. In aktueller KI-Technologie sieht er erhebliche Defizite, insbesondere was die Speicherung von Informationen und die parallele Verarbeitung großer Datenmengen angeht. Diese Probleme soll die von ihm entwickelte neue Architektur adressieren, die als "xLSTM" bezeichnet wird. Diese Weiterentwicklung der LSTM verfügt über verbesserte Filterfunktionen, die das Modell in die Lage versetzen, wesentliche Informationen effektiver zu speichern und schneller zu verarbeiten.
Die Forschung wird auch von der Industrie und weiteren Akademikern aufmerksam verfolgt. Antonio Krüger, Geschäftsführer des Deutschen Forschungszentrums für Künstliche Intelligenz, sieht in Hochreiters Papier laut Handelsblatt einen wichtigen Impuls für die Diskussion über alternative Architekturen, die den Energie- und Datenhunger der Transformer-Modelle adressieren könnten. Tatsächlich könnten die Ergebnisse Hochreiters zu einem Umdenken in der Branche führen, insbesondere da die Kosten für das Training solcher Modelle derzeit immens sind.
Weitere Entwicklung nötig
Hochreiter plant nun, in einer anstehenden Finanzierungsrunde 100 Millionen Euro zu akquirieren, um die notwendige Rechenleistung für die weitere Entwicklung und Skalierung seines Modells zu sichern. In einem Interview mit der FAZ erläuterte Hochreiter, dass das xLSTM nicht nur bei der Verarbeitung großer Datensätze Vorteile bietet, sondern auch in Anwendungsbereichen wie der Vorhersage von Aktienkursen oder der Simulation von Wetterbedingungen Potenzial habe. Trotz dieser vielversprechenden Anwendungsfälle sei es allerdings noch zu früh, sich auf ein Marktsegment festzulegen.
Während die Technologie noch in den Kinderschuhen steckt, deutet vieles darauf hin, dass Hochreiter und sein Team auf gutem Weg sind, eine interessante Alternative zu etablierten KI-Modellen zu bieten. Mit einem europäischen Investorenkreis im Rücken und einer Technologie, die Defizite bestehender Systeme zu überwinden verspricht, stehen die Chancen nicht schlecht, die Landschaft der künstlichen Intelligenz zumindest mitzuprägen.
Bereits viel versäumt
Einen bitteren Beigeschmack hat diese Entwicklung insofern, als dass Hochreiter in seiner Arbeit mit Long Short-Term Memory (LSTM) schon lange eine gewisse Dringlichkeit kommuniziert, die offenbar nicht überall in Österreich geteilt wird. Im letzten Jahr äußerte er unter anderem seine Frustration darüber, dass er in einer führenden Position in der Forschung Veränderungen vorantreiben könnte, aber die erforderlichen Ressourcen fehlen würden.
Laut einer Analyse der US-Denkfabrik Brookings investiert Österreich im Vergleich zu anderen Ländern wie Schweden, den Niederlanden und Deutschland noch relativ wenig in die KI-Strategie, was Hochreiters Sorge verstärkt, dass wichtige Innovationen verpasst werden könnten - obwohl das Knowhow an sich da wäre. (bbr, 12.5.2024)