Sony Corporation entwickelt System zur Erstellung räumlicher Inhalte

Sony Corporation entwickelt System zur Erstellung räumlicher Inhalte, bestehend aus einem hochwertigen XR Head-Mounted Display und Controllern zur Interaktion mit 3D-Objekten

Metaverse-Technologien und Hardware sollen Ersteller*innen von 3D-Inhalten unterstützen

Die Sony Corporation hat die Entwicklungeines Systems zur Erstellung immersiver räumlicher Inhalte bekannt gegeben. Das System umfasst ein XR Head-Mounted Display mit hochwertigen 4K-OLED-Mikrodisplays^[2]  und Video-See-Through-Funktion sowie zwei Controller, die für die intuitive Interaktion mit 3D-Objekten und präzises Zeigen optimiert sind. Das neue System soll Kreative bei der Erstellung anspruchsvoller 3D-Inhalte unterstützen. Sony plant die Zusammenarbeit mit Entwicklern von 3D-Produktionssoftware in verschiedenen Bereichen, wie etwa Unterhaltung und Industriedesign. Zum Launch arbeitet Sony exklusiv mit Siemens zusammen, einem führenden Anbieter von Industrietechnik, um eine neue Lösung für immersives Design und kollaborative Produktentwicklung einzuführen, bei der Software aus der offenen digitalen Business-Plattform Siemens Xcelerator zum Einsatz kommt.

Das neue System wird im Laufe des Jahres 2024 verfügbar sein. Sony und seine Partner werden zu gegebener Zeit weitere Details bekannt geben, etwa zu technischen Daten, dem Termin und den Regionen für die Markteinführung, Preisen, Vertriebskanälen und der Softwarekompatibilität.

Ausgestattet mit einem XR Head-Mounted Display mit 4K-OLED-Mikrodisplays und der proprietären Rendering-Technologie von Sony, ermöglicht es das neue System, Texturen von 3D-Objekten und menschliche Mimik in Echtzeit hochauflösend und realistisch zu rendern. Neben einer Video-See-Through-Funktion und räumlicher Erkennung mit insgesamt sechs Kameras und Sensoren verfügt das System über einen Ring-Controller, mit dem die Benutzer*innen Objekte im virtuellen Raum intuitiv bewegen können, sowie einen Pointing-Controller, der präzises Zeigen ermöglicht. So können Kreative mit Controllern und Tastaturen im virtuellen Raum arbeiten, während sie das Head-Mounted Display tragen. Dabei können sie nicht nur auf dem hochauflösenden Display 3D-Modelle in einer Extended Reality (XR)-Umgebung in realem Maßstab sehen, sondern in dieser Umgebung auch 3D-Modelle erstellen und verändern. Dank Integration mit Drittanbieter-Anwendungen zur 3D-Erstellung unterstützt das System auch Echtzeit-Fernüberprüfungen zwischen verschiedenen Standorten. Kreativen steht damit ein intuitives und immersives Tool zur Verfügung, das den gesamten Prozess der Erstellung räumlicher Inhalte abdeckt.

Das System arbeitet mit dem Snapdragon XR2+ Gen 2, dem neuesten XR-Prozessor von Qualcomm Technologies, Inc. Dieser Prozessor schöpft die Leistung der 4K-OLED-Mikrodisplays aus, um eine atemberaubende Bildqualität zu gewährleisten, ermöglicht Benutzer- und räumliches Tracking für nahtlose XR-Erlebnisse und bietet damit eine leistungsstarke Plattform für den kreativen Workflow.

Sony hat bereits eine Reihe von Technologien eingeführt, die die Arbeitsabläufe und Ergebnisse bei der Erstellung räumlicher Inhalte verbessern und den Einsatz von 3D-Computergrafik in verschiedenen kreativen Bereichen erleichtern. Das mobile Motion-Capture-System „mocopi“, das hauseigene Technologien von Sony nutzt, ermöglicht mithilfe kleiner, leichter Sensoren und einer speziellen Smartphone-App eine vollständige Erfassung von Körperbewegungen. Spatial Reality-Displays liefern bei der Content-Erstellung und -Überprüfung hochrealistische, dreidimensionale Inhalte, ohne spezielle Brillen oder Virtual Reality (VR)-Headsets zu erfordern. Mit der Einführung des neuen Systems und der Zusammenarbeit mit Anbietern von 3D-Design-Software möchte Sony den Entwickler*innen räumlicher Inhalte zusätzlich helfen, die Grenzen zwischen der physischen und der virtuellen Welt zu überwinden, um noch intensivere kreative Erlebnisse zu schaffen.

„Siemens arbeitet mit Sony zusammen, um immersives Engineering zu ermöglichen, ein wichtiger Baustein für das industrielle Metaverse. Gemeinsam schaffen wir eine Umgebung, in der es möglich sein wird, die Realitäten der Physik ohne die Grenzen der Zeit zu erleben, um die Arbeitsweise und Zusammenarbeit unserer Kunden grundlegend zu verbessern“, so Cedrik Neike, Mitglied des Vorstands der Siemens AG und CEO von Siemens Digital Industries.

„Wir haben unseren Snapdragon XR2+ Gen 2 Prozessor darauf ausgelegt, 4K-Displayauflösung, hochmoderne Grafik und eine unvergleichliche Leistung zu unterstützen, damit Kreative innovative räumliche Inhalte erstellen können, die alle Sektoren positiv verändern werden“, sagt Said Bakadir, Senior Director, Product Management, Qualcomm Technologies, Inc. „Es ist spannend zu sehen, wie Sony mit seinem System zur Erstellung räumlicher Inhalte in den Enterprise-Bereich geht und die Snapdragon XR-Technologien nutzt, um realistischere, detailliertere und präzisere Mixed Reality-/Virtual Reality-Erlebnisse zu ermöglichen, die Entwickler*innen und Kreativen helfen werden, eine noch immersivere Zukunft voranzutreiben.“

Die wichtigsten Merkmale

Herausragendes XR-Erlebnis für kreative Anwendungen

Das Head-Mounted Display verfügt über große 1,3-Zoll OLED-Mikrodisplays mit 4K-Auflösung und einem großen Farbbereich, der bis zu 96 % des DCI-P3-Farbraums^[3]&[4] abdeckt. Dank detailliertem, realistischem Rendering von Texturen von 3D-Objekten und menschlicher Mimik können Entwickler*innen mit dem Head-Mounted-Display den gesamten Prozess von der Modellierung bis zur Überprüfung durchlaufen.

Das System unterstützt Split-Rendering^[5], bei dem die Rendering-Last auf Computer und Head-Mounted-Display verteilt wird. Dadurch können auch große 3D-Modelle stabil und hochauflösend gerendert werden.

Dank seiner Kooperation mit Qualcomm Technologies, Inc. ist Sony eines der ersten Unternehmen, die die neueste Snapdragon XR2+ Gen 2 Platform einsetzen. Dieser Prozessor schöpft die Leistung der 4K-OLED-Mikrodisplays aus, um eine atemberaubende Bildqualität sicherzustellen. Zudem ermöglicht die On-Chip-KI ein verbessertes Benutzer- und räumliches Tracking für nahtlose XR-Erlebnisse, bei denen physische und digitale Räume verschmelzen, um eine einfache Navigation und intuitive Interaktion innerhalb der XR-Kreativräume zu gewährleisten.

Controller zur intuitiven Erstellung räumlicher Inhalte

Zum System gehört ein Ring-Controller, mit dem die Benutzer*innen Objekte im virtuellen Raum intuitiv bewegen können. Außerdem ist ein Pointing-Controller vorhanden, der stabiles, genaues Zeigen im virtuellen Raum ermöglicht und hinsichtlich Form und Tastenlayout für eine effiziente und präzise Bedienung optimiert ist. Wenn die Benutzer*innen das Head-Mounted Display tragen, den Pointing-Controller in der Führungshand halten und den Ring-Controller an den Fingern der anderen Hand anbringen, können sie mit den beiden Controllern und einer Tastatur 3D-Objekte modellieren.

Komfortables Design für nahtlose XR-Kreativ-Erlebnisse

Bei der Gestaltung des Head-Mounted Displays wurden sein Schwerpunkt sowie das Design und Material der direkt am Kopf anliegenden Polster exakt abgestimmt, um den Komfort und die Stabilität zu gewährleisten, die für eine längere kreative Nutzung erforderlich sind. Darüber hinaus ermöglicht der Mechanismus zum Hochklappen des Display-Teils ein leichtes und nahtloses Wechseln zwischen physischen und virtuellen Räumen, ohne dass das Gerät immer wieder abgenommen und anschließend neu kalibriert werden muss.

Immersives kreatives Erlebnis dank Integration mit 3D-Design-Software

Sony strebt die Zusammenarbeit mit verschiedenen Entwicklern von 3D-Produktionssoftware an, sowohl im Entertainment-Bereich als auch im Industriedesign. Zum Launch wird Sony exklusiv mit Siemens zusammenarbeiten, um durch Integration mit der neuen NX Immersive Designer-Software – einer Produktentwicklungslösung aus dem Siemens Xcelerator-Portfolio für Industriesoftware – innovative immersive Engineering-Funktionen für die Fertigungsindustrie bieten zu können. Die Integration von leistungsfähiger Hardware und Software ermöglicht die Bereitstellung immersiver Tools für Design, Prüfvorgänge und Kollaboration, um Entwickler*innen in den Bereichen Industriedesign und Produktengineering wirksam zu unterstützen. Das Video, welches die immersive Erstellung räumlicher Inhalte demonstriert, die durch diese Partnerschaft ermöglicht wird, ist hier verfügbar (offizieller Youtube-Kanal von Siemens Digital Industries Software):https://www.youtube.com/watch?v=jiikr42fQUE

 

Weitere Informationen unter: www.sony.net

 

^[1] Die gezeigten Abbildungen dienen nur der Veranschaulichung und stellen das Endprodukt möglicherweise nicht exakt dar.

^[2] Als Funktion des Geräts. Die tatsächliche Auflösung hängt von der Anwendung und der Art der Nutzung ab.

^[3] DCI-P3: Ein RGB-Farbraum-Standard, der von Digital Cinema Initiatives festgelegt wurde, einem amerikanischen Verband, der sich der Standardisierung von digitalen Kinosystemen widmet.

^[4] Der tatsächlich nutzbare Farbraum hängt von der Anwendung und der Art der Nutzung ab.

^[5] Funktioniert nur mit kompatiblen Anwendungen bei Verwendung im Tethered-Modus (kabelgebunden und kabellos). Auflösung, Bildfrequenz und Farbraum können je nach Anwendung variieren.