Post-Screen Interfaces: Wenn die Umgebung zum Interface wird

Interaktion wird multimodal

Damit Interaktionen multimodal werden, das heißt, die Eingabe erfolgt beispielsweise nicht mehr allein über Maus, Tastatur und Screen, sondern auch über Gestik, Stimme und Mimik, braucht es nicht einzelne Innovationen, sondern das Zusammenwirken mehrerer technologischer Entwicklungen. Entscheidend ist dabei nicht jede Technologie für sich, welche Synergien daraus entstehen.Eine zentrale Rolle spielt Sprache. Sprachbasierte Interaktion gehört zu den natürlichsten Kommunikationsformen des Menschen. Digitale Systeme können Fragen beantworten, Aufgaben ausführen oder Informationen bereitstellen, ohne dass ein Display notwendig ist. Mit der Integration generativer KI entwickeln sich diese Systeme zunehmend zu dialogfähigen Schnittstellen, die Kontext verstehen und komplexere Aufgaben koordinieren – ein Entwicklungspfad, der stark mit der Idee von AI Agents im Cluster AI Empowerment verknüpft ist.

Parallel dazu gewinnt auch der Körper als Interface an Bedeutung. Kameras und Sensoren erkennen Handbewegungen, Blickrichtungen oder Positionen im Raum und übersetzen diese Signale in digitale Aktionen. In Mixed-Reality-Systemen können Nutzer:innen beispielsweise ein virtuelles Objekt auswählen, indem sie es ansehen, und eine Aktion durch eine kleine Handbewegung bestätigen. Digitale Inhalte erscheinen dabei nicht mehr auf einem separaten Bildschirm, sondern direkt im Raum.

Eine besonders interessante Entwicklung zeigt sich an experimentellen Neurointerfaces. Das AlterEgo-System des MIT Media Lab ermöglicht es beispielsweise, mit Computern zu kommunizieren, ohne zu sprechen oder zu tippen. Das tragbare Gerät misst minimale neuromuskuläre Signale im Kieferbereich, die entstehen, wenn Menschen Wörter innerlich „mitsprechen“. Eine KI übersetzt diese Signale in digitale Befehle oder Text. Dadurch entsteht eine Form nahezu stiller Mensch-Computer-Kommunikation, bei der Informationen abgerufen oder Geräte gesteuert werden können, ohne dass ein sichtbares Interface genutzt wird. Dies eröffnet neue Formen der Interaktion mit digitalen Agenten, die sowohl inklusiver sind als auch diskret im öffentlichen Raum funktionieren.

Diese Beispiele zeigen eine grundlegende Verschiebung. Interaktion erfolgt nicht mehr ausschließlich über eine einzelne Eingabemethode. Stattdessen kombinieren moderne Systeme mehrere Interaktionsformen gleichzeitig. Sprache, Gesten, Blickrichtung und Kontextinformationen greifen ineinander und erschließen eine multimodale Logik welche eine flexiblere Kommunikation zwischen Mensch und Maschine ermöglicht.

Auch der physische Raum selbst wird zunehmend Teil digitaler Interfaces. Systeme erkennen Position, Tiefe und Bewegung und können digitale Inhalte entsprechend platzieren. Augmented-Reality-Anwendungen zeigen dieses Prinzip bereits heute. Ein virtuelles Möbelstück kann beispielsweise im eigenen Wohnzimmer erscheinen oder ein digitales Modell auf einem Tisch platziert werden.

Gleichzeitig entstehen Interfaces, die ganz ohne klassische Oberfläche funktionieren. Informationen werden nicht dauerhaft angezeigt, sondern erscheinen situativ. Licht, Klang oder Projektionen können als Interface dienen.

Ein Beispiel für solche ambienten Interfaces ist intelligente Beleuchtung, die auf Emotionen reagiert. Kameras oder Sensoren analysieren Gesichtsausdruck, Stimme oder biometrische Signale und erkennen Stress oder Aggression. Das System kann darauf reagieren, indem es automatisch Lichtfarbe, Helligkeit oder Atmosphäre verändert. Ziel solcher Systeme ist es, eskalierende Situationen früh zu entschärfen, etwa in Schulen, öffentlichen Räumen oder Verkehrssystemen. Die Umgebung selbst wird damit zu einem aktiven Interface, das auf menschliche Emotionen reagiert.

Insgesamt verschiebt sich digitale Interaktion dadurch in Richtung einer stärker kontextbasierten Logik: Nutzer:innen müssen Systeme weniger aktiv bedienen. Systeme reagieren stattdessen stärker auf Umgebung, Verhalten und Situation und Technologie verteilt sich über verschiedene Geräte und Sensoren. Interaktion entsteht so im Zusammenspiel von Raum, Geräten und Nutzer.

Solche Interfaces müssen jedoch verantwortungsvoll gestaltet werden. Fragen von Datenschutz, Zuverlässigkeit und inklusivem Design werden entscheidend dafür sein, wie breit sich diese Technologien tatsächlich durchsetzen. Denn um Kontextsensitiv reagieren zu können, muss der Kontext verstanden werden. Es stellt sich die Frage wie weit wir zulassen wollen, dass Tech-Unternehmen in unsere Privatsphäre eindringen können. Systeme, die uns im Alltag begleiten, müssen vertrauenswürdig sein und unsere Privatsphäre respektieren. Wie die Datensouveränität mit Tech-Offenheit kombiniert werden kann, wird in dem Makrotrend Trusted Ecosystems näher beleuchtet.

Neue Touchpoints für Medien, Marken und Handel

Viele Elemente von Post-Screen Interfaces sind bereits im Markt sichtbar. Sie treten selten isoliert auf. Meist verbinden sich mehrere Technologien zu neuen Nutzungsszenarien.

Ein gescheitertes – aber populäres – Beispiel aus der Vergangenheit sind die sogenannten AI Pins: kleine tragbare Geräte, die als persönliche KI-Assistenten fungierten und direkt an der Kleidung befestigt wurden. Diese Geräte arbeiteten meist ohne klassischen Bildschirm und wurden über Sprache, Gesten oder Kontextdaten gesteuert. KI-Modelle übernahmen dabei Aufgaben wie das Abrufen von Informationen, das Senden von Nachrichten oder das Erkennen von Objekten in der Umgebung.

Der Humane AI Pin gehörte zu den bekanntesten frühen Prototypen dieser Geräteklasse. Ziel solcher Geräte ist es, viele Funktionen des Smartphones in eine unsichtbare, ständig verfügbare Schnittstelle zu verlagern.

Im Falle des AI Pins gelang es nicht, eine nachhaltige Nutzerschaft aufzubauen und so wurde der Verkauf des Produkts nach weniger als einem Jahr eingestellt. Der Pin konnte das Performance-Versprechen nicht einhalten und auch die Hardware überzeugte aufgrund der regelmäßigen Überhitzung nicht. Hinzu kam, dass der Preis von etwa 700 US-Dollar für ein eingeschränkt funktionsfähiges Gerät sehr hoch war. 

So zeigt sich mit der ersten Generation solcher Systeme auch ihre Grenzen: Die Geräte stehen vor der Herausforderung, nicht nur bestehende Funktionen des Smartphones zu replizieren, sondern einen klaren Mehrwert zu bieten. Ohne einen spürbaren Vorteil gegenüber etablierten Geräten bleibt die Nutzung zusätzlicher Hardware für viele Nutzer:innen wenig attraktiv. Der Erfolg solcher Interfaces hängt daher maßgeblich davon ab, ob sie Interaktion tatsächlich vereinfachen, beschleunigen oder in neue, kontextbasierte Nutzungssituationen überführen.

Auch räumliche Interfaces entwickeln sich weiter, wie Metas Surface Keyboard für die Meta Quest 3. Das System verwandelt jede flache Oberfläche, etwa einen Tisch oder Schreibtisch, in eine virtuelle Tastatur und ein Touchpad. Die VR-Brille erkennt die Geometrie der Oberfläche und blendet eine digitale Tastatur exakt dort ein, wo die Hände liegen. Nutzer:innen können dadurch wie auf einer echten Tastatur tippen oder über Gesten navigieren. Der physische Raum wird damit selbst zum Interface. Solche Entwicklungen zeigen, wie digitale Interaktion zunehmend aus der Kombination von Raum, Körper und Kontext entsteht.

Für den Handel entstehen dadurch neue Formen von Einkaufserlebnissen. Kund:innen können Produkte in Augmented Reality betrachten, Informationen abrufen oder digitale Konfigurationen direkt im Raum erleben.

Auch im Medienbereich verändert sich die Logik von Aufmerksamkeit. Inhalte erscheinen nicht mehr ausschließlich auf Displays. Audioformate, Wearables, räumliche Interfaces oder vernetzte Geräte schaffen neue Wege der Ausspielung. Ein System kann beispielsweise erkennen, in welcher Situation sich ein:e Nutzer:in befindet, und Inhalte entsprechend anpassen. Eine Nachricht wird vorgelesen, weil der Nutzende gerade unterwegs ist. Visuelle Informationen erscheinen erst dann, wenn ein Display oder räumliches Interface verfügbar ist.

Für Medienunternehmen und Vermarkter bedeutet das eine Erweiterung der verfügbaren Touchpoints. Aufmerksamkeit entsteht nicht mehr nur im Moment des Bildschirmkontakts. Sie kann auch über Gespräche mit digitalen Systemen, über räumliche Interfaces oder über intelligente Umgebungen entstehen.

Auch Außenwerbung kann sich in diesem Kontext verändern. Digitale Werbeflächen bleiben physisch präsent, können jedoch durch digitale Layer erweitert werden. Nutzer:innen sehen zusätzliche Inhalte über Smartphones oder AR-Brillen. Die physische Fläche wird damit zum Ausgangspunkt einer erweiterten digitalen Erfahrung.

Gleichzeitig verschwimmen die Grenzen zwischen Mediennutzung und Transaktion. Eine Interaktion mit einem KI-System kann direkt in eine Bestellung führen. Ein räumliches AR-Erlebnis kann unmittelbar mit einem Kauf verbunden sein.

Media, Commerce und Service wachsen dadurch stärker zusammen. Interfaces werden zu Kontaktpunkten, an denen Information, Inspiration und Transaktion unmittelbar miteinander verbunden sind – eine Entwicklung, die sich auch im Trendcluster Smart Commerce & Media beobachten lässt.

Was Unternehmen jetzt konkret tun sollten

Unternehmen, die Post-Screen Interfaces implementieren, sollten jede Anwendung an einen klar definierten Nutzungsmoment koppeln. Für jeden Use Case sollte konkret beantwortet werden, welche bestehende Interaktion ersetzt oder verbessert wird und warum ein screenloses oder multimodales Interface hier überlegen ist. Anwendungen ohne klar messbaren Vorteil gegenüber bestehenden Lösungen sollten nicht umgesetzt werden. Der Fall des Humane AI Pin zeigt, dass neue Geräte ohne funktionalen Mehrwert gegenüber dem Smartphone kaum nachhaltige Nutzung erzeugen.

Für kontextbasierte Interaktion müssen Unternehmen ihre Daten- und Systemarchitektur gezielt darauf ausrichten. Systeme sollten in der Lage sein, situative Informationen wie Ort, Nutzungskontext oder Intention in Echtzeit zu verarbeiten. Gleichzeitig sollten klare Regeln definiert werden, welche Daten erhoben werden dürfen, wie lange sie gespeichert werden und wer Zugriff darauf hat. Nutzer:innen müssen jederzeit nachvollziehen können, warum ein System eine bestimmte Information ausspielt oder eine Handlung ausführt.

Post-Screen Interfaces sollten technisch so entwickelt werden, dass sie nahtlos mit bestehenden Touchpoints zusammenarbeiten. Jede Anwendung sollte mindestens zwei alternative Interaktionsmodi anbieten. Beispielsweise Sprache und visuelle Ausgabe oder Audio und Display. Unternehmen sollten vermeiden, vollständig neue, isolierte Systeme zu schaffen, die nicht in bestehende Ökosysteme integriert sind.

Auch Inhalte und Services müssen spezifisch für diese Interfaces gestaltet werden. Für jeden Anwendungsfall sollte definiert werden, welche Information in welchem Moment benötigt wird und in welcher Form sie ausgegeben wird. Inhalte sollten bewusst reduziert, kontextbezogen und handlungsorientiert sein. Unternehmen sollten vermeiden, bestehende Inhalte unverändert zu übernehmen, und stattdessen eigene Formate für Audio, räumliche Interfaces oder situative Interaktion entwickeln.

Fazit

Eine neue Logik digitaler Interaktion

Post-Screen Interfaces beschreiben keinen abrupten Ersatz des Bildschirms. Vielmehr entsteht eine neue Form digitaler Interaktion, in der der Screen nur noch eine von mehreren möglichen Schnittstellen ist.

Technologie verteilt sich über Geräte, Räume und Sensoren. Interaktion entsteht aus dem Zusammenspiel von Sprache, Gesten, räumlicher Wahrnehmung und Kontextinformationen. Interfaces werden dadurch weniger sichtbar, gleichzeitig aber stärker in den Alltag integriert.

Für Medien, Plattformen und Marken verändert sich damit die Logik digitaler Kontaktpunkte. Aufmerksamkeit entsteht nicht mehr ausschließlich dort, wo ein Display sichtbar ist, sondern kann auch in Gesprächen mit digitalen Systemen, in räumlichen Interfaces oder in intelligenten Umgebungen entstehen.

Der Bildschirm verschwindet nicht. Seine Rolle verändert sich jedoch grundlegend. Statt das Zentrum digitaler Interaktion zu bilden, wird er zu einem Bestandteil eines größeren Netzwerks aus Interfaces.

Digitale Systeme bewegen sich damit in Richtung einer Umgebung, in der Technologie weniger als Werkzeug wahrgenommen wird und stärker als unsichtbare Infrastruktur im Hintergrund wirkt. Die Welt selbst wird zunehmend zum Interface.

Medieninhalte in diesem Blogbeitrag wurden mithilfe von KI erstellt.