Contenuto
L'hype per la realtà virtuale è certamente scemato negli ultimi due anni, a causa di una combinazione di hardware costoso, così prestazioni e cinetosi e mancanza di contenuti per l'utente. L'industria è attualmente bloccata in uno scenario da gallina a uovo, in cui la mancanza di consumatori scoraggia gli investimenti in contenuti di fascia alta. Sarà necessario un hardware VR più potente ed economico per le masse per sbloccare lo stallo.
Arm sta cercando di superare alcuni di questi ostacoli tecnologici con il suo primo processore di visualizzazione (DPU) progettato specificamente per la realtà virtuale: il Mali-D77. In poche parole, il Mali-D77 scarica le attività di elaborazione VR comuni dalla GPU, liberando risorse per frame rate più alti e aiutando anche a ridurre la cinetosi.
All'interno del braccio Mali-D77
Gran parte del Mali-D77 si basa sul Mali-D71 del 2017 per smartphone di punta e altre applicazioni di fascia alta. Ha lo stesso decodificatore di compressione, ridimensionamento del livello, supporto HDR e unità di gestione del colore. Tuttavia, il nuovo design è stato ottimizzato per supportare risoluzioni 3K a 120 fps, con supporto per risoluzioni 4K fino a 90 fps.
Le principali modifiche si presentano sotto forma di due nuovissime unità di accelerazione hardware per applicazioni VR. Mali-D77 supporta la correzione dell'obiettivo e Timewarp asincrono nell'hardware, anziché eseguire questi algoritmi sulla GPU. Arm stima che questo possa liberare circa il 15 percento delle risorse della GPU, che può essere impiegato per aumentare i frame rate. Il trasferimento di questo carico sulla DPU offre anche un risparmio del 40 percento della larghezza di banda e 180 mW di potenza per strato VR. Bello.
La correzione dell'obiettivo è necessaria nelle cuffie VR per compensare la curvatura della luce degli obiettivi della cuffia. La distorsione a barilotto viene applicata a ciascun fotogramma di rendering per compensare l'effetto di distorsione a cuscinetto delle lenti. Pensa a questo come una sovracompensazione o "distorsione inversa" in modo che la distorsione dell'obiettivo finisca per visualizzare l'immagine corretta. Tradizionalmente questo viene fatto sulla GPU, occupando più cicli e tempo. Il Mali-D77 fa tutto questo sulla DPU.
Inoltre, il Mali-D77 esegue la correzione dell'aberrazione cromatica usando un metodo di distorsione inversa simile. Con questo applicato, i colori dell'immagine verranno visualizzati correttamente sull'intero obiettivo, anche negli angoli in cui può verificarsi una distorsione della separazione dei colori.
Che cos'è Timewarp asincrono?
La correzione dell'obiettivo è piuttosto autoesplicativa, ma Timewarp asincrono è un po 'più coinvolto. Qui, Arm sta usando il processore del display per ruotare, inclinare e deformare le immagini per compensare i movimenti di chi lo indossa, mitigando qualsiasi GPU o altra latenza della pipeline del display.
Con l'hardware di generazione attuale, il tracciamento del movimento degli assi X, Y, Z viene aggiornato in sincronia con la GPU, poiché la GPU deve rendere la modifica in vista ogni volta che si sposta. Con Asynchronous Timewarp, i due non vengono più aggiornati insieme. È possibile spostare la testa tra gli aggiornamenti del frame della GPU e Mali-D77 può deformare il frame corrente in modo che corrisponda al movimento della testa.
Questo è un effetto sottile, poiché dura solo una frazione di secondo tra i fotogrammi renderizzati e non elimina la necessità di un rendering veloce della frequenza dei fotogrammi. Tuttavia, aumenta notevolmente la fluidità e la fluidità dei movimenti e dei movimenti, poiché gli aggiornamenti possono verificarsi anche più frequentemente della frequenza dei fotogrammi della GPU. La disconnessione tra il movimento del tuo corpo e la visualizzazione di un aggiornamento visivo è la principale causa di cinetosi nella VR, quindi il Mali-D77 può aiutare molto in questo senso.
I dati di movimento dell'asse X, Y, Z vengono inviati direttamente al Mali-D77 dalla CPU, bypassando completamente lo stadio GPU. Questo è un modo molto diverso di fare le cose e come tale richiederà agli sviluppatori di utilizzare una nuova serie di strumenti e tecniche di sviluppo. Questo è probabilmente il più grande ostacolo con la D77. Fortunatamente, gli ingegneri di Arm lavorano a stretto contatto con iniziative come OpenXR, in modo da poter vedere un annuncio API per il supporto semplificato degli sviluppatori in futuro.
Nel complesso, Arm Mali-D77 è una progressione intelligente e logica dell'idea di elaborazione eterogenea per aiutare a risolvere alcuni dei maggiori problemi hardware della realtà virtuale. Ci sono ancora altri ostacoli nella comunicazione wireless, nel monitoraggio e nei segmenti di costo della VR rimasti da risolvere prima di poter riconsiderare l'adozione tradizionale, ma Mali-D77 aiuta a risolvere alcuni dei problemi di prestazioni.
