Android XR: App-Design und -Entwicklung in einer neuen Dimension

Der Markt für Extended Reality (XR), der Oberbegriff für alle Technologien, die die reale und die digitale Welt verschmelzen lassen, ist reifer denn je. Er verspricht, die Art und Weise, wie wir interagieren, arbeiten und spielen, grundlegend zu verändern. Lange Zeit schien das Rennen um die Vorherrschaft klar aufgeteilt. Apple fokussiert sich mit der Vision Pro und dem Betriebssystem visionOS auf das High-End-Segment, während Meta mit der Quest-Reihe und den Ray-Ban Smart Glasses mit Horizon OS den Massenmarkt adressiert.

Doch nun betritt mit Google ein weiterer Tech-Konzern aus dem Silicon Valley die Bühne und bringt mit Android XR frischen Wind in die Welt der Extended Reality. Das Unternehmen verfolgt dabei einen völlig neuen Ansatz: Statt auf ein geschlossenes System zu setzen, öffnet Google die Türen für Innovation. Android XR ist ein offenes Betriebssystem, das Herstellern weltweit die Freiheit gibt, eine neue Generation von Geräten zu entwickeln - von beeindruckenden VR-Headsets über hochmoderne AR-Brillen bis hin zu stylischen, alltagstauglichen Smart Glasses. So entsteht ein vielseitiges Ökosystem, das die Zukunft von Virtual und Augmented Reality neu definiert.

Der große Trumpf dabei: Die tiefe Integration von Gemini, Googles hauseigene KI, die kontextbezogene Intelligenz in den Alltag bringen soll. Außerdem profitiert Android XR vom riesigen bestehenden Android-Ökosystem, wodurch Millionen von schon bestehender 2D-Apps potenziell sofort auf kompatiblen Geräten laufen können - ein immenser Vorteil beim Markteinstieg.

Das erste Gerät auf Basis von Android XR steht bereits in den Startlöchern: Das Mixed-Reality-Headset Galaxy XR von Samsung. Es wird als direkte Konkurrenz zu den Angeboten von Apple und Meta positioniert und markiert den Beginn einer neuen Phase im Wettbewerb um den XR-Markt. Mit dieser Entwicklung zeigt sich, dass das Rennen um die Zukunft von Virtual und Augmented Reality erst am Anfang steht und Google mit Android XR eine zentrale Rolle darin spielen möchte.

App-Modi und Design-Guidelines

Ein entscheidendes Merkmal des Android XR-Erlebnisses sind die zwei grundlegenden Modi, in denen Anwendungen ausgeführt werden können.

Im sogenannten „Home Space“ wird das Gerät zur effizienten Multitasking-Zentrale: Apps erscheinen als schwebende, flexible 2D-Fenster, die sich frei im Raum anordnen lassen und parallel zu anderen Anwendungen genutzt werden können. Dieser Modus wird automatisch von allen kompatiblen Android-Apps unterstützt - ein enormer Vorteil, da so Millionen bestehender Anwendungen sofort auf XR-Geräten lauffähig sind.

Für ein erweitertes, immersives Erlebnis können Entwicklerinnen und Entwickler ihre Apps schrittweise um räumliche Interaktionen ergänzen. Wenn Nutzerinnen und Nutzer vollständig in eine Anwendung eintauchen möchten - etwa für ein 3D-Spiel, einen Film auf einer virtuellen Großleinwand oder eine interaktive Raumdarstellung - können sie in den „Full Space“-Modus wechseln. Hier übernimmt die App den gesamten sichtbaren Raum, blendet Ablenkungen aus und kann sämtliche 3D- und XR-Funktionen von Android XR nutzen, sofern sie in der App implementiert sind. Ziel ist es, digitale Inhalte entweder nahtlos in die physische Umgebung einzubetten oder sich in einer virtuellen Umgebung zu bewegen - intuitiv steuerbar über natürliche Eingaben wie Handgesten, Blickrichtung oder Sprache.

XR verlangt dabei ein radikal neues Designverständnis. Statt zweidimensionaler Flächen stehen räumliche Anordnung, Perspektive, Bewegungsverhalten und Nutzungskomfort im Mittelpunkt. Google betont in seinen Guidelines insbesondere folgende Prinzipien:

1. Räumliche Freiheit nutzen

In der Welt von XR verschwinden die Grenzen des klassischen Bildschirms. Inhalte werden nicht mehr auf einer Fläche dargestellt, sondern frei im Raum um die Nutzerinnen und Nutzer platziert. Dadurch entstehen neue Möglichkeiten für Interaktion, Storytelling und Präsentation - intensiver, natürlicher und immersiver als je zuvor.

2. Fokus auf Schlüsselmomente

Gute XR-Erlebnisse bestehen nicht aus ständigen Ereignissen, sondern aus gezielten Highlights. Situationen sollten identifiziert werden, in denen die App beeindrucken kann - etwa durch überraschende Interaktionen, einprägsame Animationen oder starke visuelle Elemente.

3. Komfort vor Komplexität

XR darf nicht überfordern. Große Schrift, angenehme Blickwinkel und reduzierte Bewegung sorgen dafür, dass Nutzerinnen und Nutzer sich auch bei längerer Nutzung wohlfühlen.

4. Bekannte Muster adaptieren

Vertraute Navigationselemente wie Buttons, Menüs oder Gesten lassen sich in XR übernehmen und um räumliche Interaktionen sinnvoll erweitern.

Jetpack XR SDK und Android Studio Support

Um die oben vorgestellten Modi und Prinzipien technisch umzusetzen, steht Entwicklerinnen und Entwicklern das Jetpack XR SDK zur Verfügung. Es ermöglicht die freie Platzierung von vertrauten UI-Komponenten durch sogenannte “Spatial Layouts” im Raum, ohne dass die bestehende App-Architektur vollständig überarbeitet werden muss. Der in Android Studio integrierte XR-Emulator erlaubt darüber hinaus die realistische Vorschau und Optimierung dieser Erweiterungen direkt am Desktop.

Diese enge Verbindung zum bestehenden Android-Ökosystem senkt die Einstiegshürde erheblich und schafft die Grundlage, klassische “2D-Apps” jederzeit um immersive Inhalte erweitern zu können.

Jetpack XR ist das Herzstück der technischen XR-Entwicklung unter Android. Die wichtigsten Komponenten des SDKs sind:

• Compose XR: Räumliche UI-Komponenten wie Panels, Orbits und Floating Layouts lassen sich frei im Raum positionieren.
• SceneCore: Eine 3D-Grafik-Engine für Modelle, Umgebungen und Animationen.
• Material Design für XR: Angepasst an die Anforderungen räumlicher Darstellungen.
• ARCore-Integration: Für Bewegungstracking, Ebenenerkennung und sogenannter “Ankerplatzierung”.

Die Android Studio-Version, die zuerst eine stabile Unterstützung für Android XR angeboten hat, war “Android Studio Narwhal | 2025.1.4 Feature Drop”. Jedoch bieten die aktuellen Preview Releases (Canary Builds) den größten Umfang hinsichtlich XR-Features und die beste Kompatibilität mit den neusten Versionen der XR-Bibliotheken. Diese befinden sich zum jetzigen Zeitpunkt noch im Alpha-Zustand. Zum Feature-Set von Android XR in Android Studio gehören ein XR-Emulator, der Layout-Inspector mit XR-Unterstützung und eine XR-Projektvorlage mit den nötigen Jetpack XR SDK Bibliotheken. Allerdings befinden sich Canary Versionen in frühen Entwicklungsphasen und können gegebenenfalls instabil sein. Daher sollte diese mit Bedacht verwendet werden.

Showcase App “Fish Viewer”

Um das neue Betriebssystem, das Android XR SDK und auch die neuen Design Guidelines besser kennenzulernen, haben wir im Zuge dieses Blog-Beitrags eine kleine Showcase App namens “Fish Viewer” erstellt und auf einem Repository auf GitHub veröffentlicht.

Die Anwendung ermöglicht es, verschiedene Fischarten zu betrachten und Wissenswertes über sie zu erfahren. Sie ist dabei als eine Liste von Fischnamen aufgebaut, zu welchem Eintrag jeweils eine Detailseite gehört, in welcher sich Informationen wie ein Bild und eine Beschreibung des ausgewählten Fisches befinden.

Oberhalb des Hauptinhalts befindet sich eine App Bar, die neben dem zentrierten App Titel einen Icon Button mit zwei Pfeilen auf der rechten Seite enthält, welcher nur zu sehen ist, wenn die Anwendung auf einem Gerät läuft, das XR-Inhalte unterstützt. Dies kann über das Feld `hasXrSpatialFeature` des Composition Locals `LocalSpatialConfiguration` im Code abgefragt werden. Wird nun mit diesem Button im Home Space Modus interagiert, wechselt die App in den Full Space Modus. Dies kann mit der Funktion `requestFullSpaceMode` desselben Composition Locals bewirkt werden. Um programmatisch feststellen zu können, in welchem Modus sich die App befindet, um entsprechend immersive Komponenten ein- und ausblenden zu können, kann ein weiteres Composition Local herangezogen werden: `LocalSpatialCapabilities` mit dem Feld `isSpatialUiEnabled`.

Im Full Space Modus angekommen, fallen direkt zwei veränderte Dinge ins Auge, welche die Nutzenden nicht überfordern sollten (Design-Guideline 3).

Die App Bar ist nun nicht mehr direkt an den Hauptinhalt angebunden, sondern “schwebt” nun etwas über ihm. Ein solches Verhalten könnte durch eine neue XR-UI-Komponente erreicht werden - dem sogenannten Orbiter. Doch in diesem Fall unterstützt die App Bar das Verhalten automatisch, wenn sie sich im Full Space Modus befindet und dies im Code explizit aktiviert wurde. Dafür muss sie sich nur innerhalb des neuen Composables `EnableXrComponentOverrides` befinden. Um alle unterstützten UI-Komponenten in einer App zu aktivieren, kann das entsprechende Composable auf der Top-Level-Ebene der App platziert werden. Doch Achtung, das in der Showcase App verwendete `ListDetailPaneScaffold`, welches auch eine immersive Form unterstützt, funktioniert aufgrund eines Versionskonflikt der Bibliotheken aktuell in diesem Zustand nicht.

Es wurde sich hier für die zwei verbreiteten Komponenten `CenterAlignedTopAppBar` und `ListDetailPaneScaffold` entschieden, um bekannte Muster aus bestehenden Apps zu adaptieren, damit sich die Nutzerinnen und Nutzer sofort zurechtfinden (Design Guideline 4).

Die neu gewonnene Freiheit im Full Space Modus wird auch direkt sinnvoll genutzt, indem anstatt des Bildes auf der Detailseite rechts neben dem Hauptinhalt ein 3D-Modell des Fisches dargestellt wird (Design-Guideline 1). Nutzerinnen und Nutzer bekommen dadurch einen viel besseren Eindruck des ausgewählten Fisches verglichen mit einem zweidimensionalen Bild und kann ihn auch verschieben und beliebig im Raum platzieren. Diese immersive Erfahrung ist definitiv ein Highlight der App und kann einen positiven Eindruck hinterlassen (Design-Guideline 2).

Technisch ist die Anwendung im Full Space Modus als eine `SpatialRow` aufgebaut, welche aus einem `SpatialPanel` (links) und einer `SpatialBox` mit einem `Volume` besteht. Das `SpatialPanel` ist in der Größe veränderbar und im Raum bewegbar. Im `Volume` werden die 3D-Modelle der Fische als GLB-Dateien geladen, ihnen eine bestimmte Pose und Skalierung gegeben und sie sind ebenfalls bewegbar. Zum Laden der Modelle wird das Compositon Local `LocalSession` benötigt und generell müssen sich alle immersiven Komponenten immer innerhalb der Komponente `Subspace` befinden, um zu funktionieren.

Die App wurde mit folgenden Bibliotheken aus dem Android XR SDK umgesetzt, dessen verwendete Versionen zum Zeitpunkt der Veröffentlichung des Blog-Beitrags die aktuellen waren:

• Runtime XR: 1.0.0-alpha06
• Compose XR: 1.0.0-alpha07
• Material 3 XR: 1.0.0-alpha11
• SceneCore: 1.0.0-alpha07

Eine vielversprechende Zukunft

Android XR eröffnet neue Perspektiven für die Gestaltung und Entwicklung immersiver Anwendungen. Mit seinem offenen Ansatz unterscheidet es sich deutlich von Apples visionOS und Metas Horizon OS: Durch die Unterstützung zahlreicher Hersteller und die Integration in das bestehende Android-Ökosystem können Entwickler eine breite Palette von Geräten bedienen und vorhandene Apps potenziell sofort nutzbar machen. Die enge Verzahnung mit Gemini, Googles KI-Plattform, bietet zudem die Möglichkeit, kontextbezogene Intelligenz direkt in XR-Anwendungen einzubinden.

Für die Praxis stehen mit dem Jetpack XR SDK, dem Android XR Emulator und der ARCore-Plattform leistungsfähige Werkzeuge bereit, die die Entwicklung räumlicher Benutzeroberflächen und 3D-Erlebnisse erleichtern. Dabei erfordert XR ein neues Designverständnis: Inhalte werden im Raum positioniert, Interaktionen müssen komfortabel und intuitiv sein, und vertraute UI-Muster lassen sich sinnvoll auf die räumliche Darstellung übertragen.

Mit Samsungs Galaxy XR als erstem Android-XR-Gerät wird die Umsetzung dieser Technologien greifbar und der Markt für XR-Geräte dynamischer. Insgesamt bietet Android XR Entwicklern die Chance, innovative, immersive Erfahrungen zu gestalten und sich frühzeitig in einem wachsenden Markt zu positionieren.

adesso konnte in der Vergangenheit schon viel Erfahrung im Bereich XR sammeln und einige Projekte auf diesem Gebiet umsetzen. Dementsprechend bringen unsere Expertinnen und Experten im Bereich der mobilen Anwendungen eine umfangreiche Expertise mit, wozu auch Apps auf XR-Geräten zählen. Als erfolgreiche Projekte sind zum Beispiel die Entwicklung einer Mixed-Reality-Testumgebung für UX- und Cockpit-Konzepte zusammen mit der BMW Group oder die Implementierung eines Virtual-Reality-Trainingszentrums für Arbeitsschutz namens “Safety Street VR” für die RWE Generation SE zu nennen.