Künstliche Intelligenz Wie virtuelle Welten intelligenter werden

Anbieter zum Thema

Deutsches Forschungszentrum für Künstliche Intelligenz (GmbH)

Metrofunk Kabel-Union GmbH

Schneider Electric GmbH

PEAK-System Technik GmbH

Wissenschaftler arbeiten an der nächsten Generation der sogenannten erweiterten Realität. Large Language Models spielen dabei eine wichtige Rolle.

Oftmals prasseln im Alltag eine Vielzahl von Eindrücken auf uns ein – da kann es bisweilen schwerfallen, den Überblick zu behalten. Schließlich müssen sämtliche Eindrücke nicht nur wahrgenommen, sondern auch interpretiert werden, was schlussendlich eine breite Palette von Handlungsoptionen eröffnet. An diesem Punkt kommt das System von Luminous (Language Augmentation for Humanverse), entwickelt im Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), ins Spiel. Die Technologie sammelt die unzähligen Eindrücke, interpretiert sie und kann mittels generativen und multimodalen Sprachmodellen (MLLM) eine adäquate Handlung vorschlagen.

Didier Stricker, Leiter des Forschungsbereichs Erweiterte Realität am DFKI: „Durch die von uns entwickelte Technologie werden virtuelle Welten intelligenter. Die intuitive Interaktion per Text mit dem System und automatische Generierung komplexer Verhaltensweisen und Abläufe durch generative KI oder sogenannte Multi-Modal Large Language Models ermöglichen uns, diese nicht nur zu erleben, sondern auch zu testen. Um das zu erreichen, arbeiten wir in Luminous parallel an mehreren Ansätzen wie automatische Code-Generierung, dem schnellen Einpflegen von neue Daten, und weiteren Lösungen."

System beobachtet, interpretiert – und gibt Handlungsempfehlungen

Im Projekt Luminous arbeitet das DFKI an Systemen der Erweiterten Realität (XR) der nächsten Generation. So sollen sich MLLM in Zukunft den bisherigen technischen Erweiterungen unserer visuell wahrgenommenen Realität, wie etwa in Form von Texten, Animationen oder der Einblendung von virtuellen Objekten, anschließen und die Interaktion mit XR-Technologie neu definieren.

Wie das in der Praxis aussehen kann, erklärt Muhammad Zeshan Afzal, Forscher aus dem Bereich Erweiterte Realität am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), anhand eines Szenarios: „Ein Feuer entsteht in einem Raum. Unser System ermittelt in diesem Fall zunächst, wo sich die Person – welche mit unserer Technologie ausgestattet ist – gerade befindet. Dann werden relevante Daten aus ihrem unmittelbaren Umfeld gesammelt, wie beispielsweise die Anwesenheit eines Feuerlöschers oder eines Notausgangs, um diese wiederum an das generative und multimodale Sprachmodell weiterzugeben. Dieses ermittelt dann eine passende Handlungsempfehlung, wie beispielsweise den Löschvorgang mittels Feuerlöscher einzuleiten, Fenster zu schließen oder sich in Sicherheit zu bringen.“

Luminous baut dank KI flexibles Bild- und Textvokabular auf

Bisher waren Forschungs- und Entwicklungsbestrebungen weitestgehend auf die räumliche Nachverfolgung der Nutzer und ihrer Umgebung beschränkt. Die Folge: Sehr spezifische, eingeschränkte und nicht generalisierbare Repräsentationen, sowie vordefinierte grafische Visualisierungen und Animationen. Das soll sich durch „Language Augmentation for Humanverse“ künftig ändern.

Um das zu erreichen, entwickeln die Forschenden am DFKI eine Plattform mit Sprachunterstützung, die sich an individuelle, nicht vordefinierte Nutzerbedürfnisse und bisher unbekannte Umgebungen der erweiterten Realität anpasst. Das anpassungsfähige Konzept entstammt dem Zero-Shot Learning (ZSL), einem KI-System, das darauf trainiert ist, Objekte und Szenarien zu erkennen und zu kategorisieren – ohne exemplarisches Referenzmaterial vorab gesehen zu haben. In der Umsetzung soll Luminous mit seiner Datenbank von Bildbeschreibungen ein flexibles Bild- und Textvokabular aufbauen, das es ermöglicht, auch unbekannte Objekte oder Szenen in Bildern und Videos zu erkennen.

Plattform unterstützt in Echtzeit

Das LLM aus dem Projekt Luminous soll als eine Art Übersetzer dazu in der Lage sein, Alltagstätigkeiten auf Befehl zu beschreiben und mittels Sprachinterface oder Avatar an die Nutzer auszuspielen. Durch die so bereitgestellten visuellen Hilfestellungen und Handlungsempfehlungen werden dann Alltagsaktivitäten in Echtzeit unterstützend begleitet. Nutzer dieser neuen XR-Systeme werden künftig in der Lage sein, nahtlos mit ihrer Umgebung zu interagieren, indem sie Sprachmodelle verwenden und gleichzeitig Zugang zu ständig aktualisierten globalen und domänenspezifischen Wissensquellen haben.

(ID:50141977)