Contenuto

• Budget di potenza limitato
• Larghezza di banda e risoluzioni elevate
• Bassa latenza e pannelli di visualizzazione
• Audio e sensori
• Sviluppatori e software
• Incartare

Finalmente ci stiamo immergendo profondamente nella rivoluzione, come alcuni potrebbero dire, con prodotti hardware e software in abbondanza sul mercato e risorse che si riversano per stimolare le innovazioni. Tuttavia, siamo trascorsi più di un anno dal lancio dei principali prodotti in questo spazio e stiamo ancora aspettando l'applicazione killer per rendere la realtà virtuale un successo mainstream. Mentre aspettiamo, i nuovi sviluppi continuano a rendere la realtà virtuale un'opzione commerciale più praticabile, ma ci sono ancora una serie di ostacoli tecnici da superare, in particolare nello spazio VR mobile.

Budget di potenza limitato

La sfida più ovvia e ben discussa per le applicazioni di realtà virtuale mobile è il budget energetico molto limitato e i vincoli termici rispetto al suo equivalente per PC desktop. L'esecuzione di applicazioni grafiche intensive da una batteria significa che sono necessari componenti a bassa potenza e un uso efficiente dell'energia per preservare la durata della batteria. Inoltre, la vicinanza dell'hardware di elaborazione a chi lo indossa significa che non è possibile aumentare ulteriormente il budget termico. Per fare un confronto, il mobile funziona in genere con un limite inferiore a 4 watt, mentre una GPU VR desktop può consumare facilmente 150 watt o più.

È ampiamente riconosciuto che la realtà virtuale mobile non corrisponderà all'hardware desktop per la potenza pura, ma ciò non significa che i consumatori non richiedano esperienze 3D coinvolgenti con una risoluzione nitida e con frame rate elevati.

È ampiamente riconosciuto che la realtà virtuale mobile non corrisponderà all'hardware desktop per la potenza pura, ma ciò non significa che i consumatori non richiederanno esperienze 3D coinvolgenti con una risoluzione nitida e con frame rate elevati, nonostante la potenza più limitata budget. Tra la visione di video 3D, l'esplorazione di luoghi ricreati a 360 gradi e persino i giochi, ci sono ancora molti casi d'uso adatti alla realtà virtuale mobile.

Guardando indietro al tipico SoC mobile, questo crea ulteriori problemi che sono meno apprezzati. Sebbene i SoC mobili possano contenere una discreta disposizione della CPU octa-core e una notevole potenza della GPU, non è possibile eseguire questi chip a piena inclinazione, a causa sia del consumo energetico che dei vincoli termici menzionati in precedenza. In realtà, la CPU in un'istanza VR mobile vuole funzionare il meno tempo possibile, liberando la GPU per consumare la maggior parte del budget di potenza limitato. Ciò non solo limita le risorse disponibili per la logica di gioco, i calcoli della fisica e persino i processi mobili in background, ma grava anche su attività VR essenziali, come disegnare chiamate per il rendering stereoscopico.

Il settore sta già lavorando a soluzioni per questo, che non si applicano solo ai dispositivi mobili. Il rendering multiview è supportato in OpenGL 3.0 ed ES 3.0 ed è stato sviluppato da collaboratori di Oculus, Qualcomm, Nvidia, Google, Epic, ARM e Sony. Multiview consente il rendering stereoscopico con una sola chiamata di disegno, piuttosto che una per ogni punto di vista, riducendo i requisiti della CPU e riducendo anche il processo di vertice della GPU. Questa tecnologia può migliorare le prestazioni tra il 40 e il 50 percento. Nello spazio mobile, Multiview è già supportato da numerosi dispositivi ARM Mali e Qualcomm Adreno.

Un'altra innovazione che dovrebbe apparire nei prossimi prodotti VR mobili è il rendering distorto. Utilizzato in combinazione con la tecnologia di tracciamento degli occhi, il rendering distorto alleggerisce il carico su una GPU solo rendendo l'esatto punto focale dell'utente alla massima risoluzione e riducendo la risoluzione degli oggetti nella visione periferica. Completa perfettamente il sistema di visione umana e può ridurre significativamente il carico della GPU, risparmiando così energia e / o liberando più energia per altre attività della CPU o GPU.

Larghezza di banda e risoluzioni elevate

Mentre la potenza di elaborazione è limitata nelle situazioni di realtà virtuale mobile, la piattaforma è ancora legata agli stessi requisiti di altre piattaforme di realtà virtuale, comprese le esigenze dei pannelli di visualizzazione a bassa latenza e ad alta risoluzione. Anche coloro che hanno visualizzato schermi VR che vantano una risoluzione QHD (2560 x 1440) o la risoluzione 1080 × 1200 dell'auricolare Rift per occhio probabilmente saranno stati un po 'delusi dalla chiarezza dell'immagine. L'aliasing è particolarmente problematico dato che i nostri occhi sono così vicini allo schermo, con i bordi che appaiono particolarmente ruvidi o frastagliati durante il movimento.

Mentre la potenza di elaborazione è limitata nelle situazioni di realtà virtuale mobile, la piattaforma è ancora legata agli stessi requisiti di altre piattaforme di realtà virtuale, comprese le esigenze dei pannelli di visualizzazione a bassa latenza e ad alta risoluzione.

La soluzione della forza bruta è quella di aumentare la risoluzione del display, con 4K come prossima progressione logica. Tuttavia, i dispositivi devono mantenere una frequenza di aggiornamento elevata indipendentemente dalla risoluzione, con 60Hz considerato il minimo ma 90 o addirittura 120Hz sono molto più preferibili. Ciò comporta un grosso onere per la memoria di sistema, con un numero compreso tra due e otto volte superiore rispetto ai dispositivi di oggi. La larghezza di banda della memoria è già più limitata nella realtà virtuale mobile rispetto ai prodotti desktop, che utilizzano una memoria grafica dedicata più veloce piuttosto che un pool condiviso.

Le possibili soluzioni per risparmiare sulla larghezza di banda grafica includono l'uso di tecnologie di compressione, come lo standard ARM e AMD Adaptive Scalable Texture Compression (ASTC) o il formato lossless Ericsson Texture Compression, che sono entrambe estensioni ufficiali di OpenGL e OpenGL ES. ASTC è inoltre supportato nell'hardware nelle ultime GPU Mali di ARM, nei SoC Kepler e Maxwell Tegra di Nvidia e nelle ultime GPU integrate di Intel e può risparmiare oltre il 50 percento di larghezza di banda in alcuni scenari rispetto all'uso di trame non compresse.

L'uso della compressione delle trame può ridurre notevolmente la larghezza di banda, la latenza e la memoria richieste dalle applicazioni 3D. Fonte - ARM.

Anche altre tecniche possono essere implementate.L'uso della tassellatura può creare geometrie dall'aspetto più dettagliate da oggetti più semplici, anche se richiedono alcune altre risorse GPU sostanziali. Rendering differito e Forward Pixel Kill possono evitare il rendering di pixel occlusi, mentre le architetture di Binning / Tiling possono essere utilizzate per dividere l'immagine in griglie più piccole o riquadri che vengono renderizzati separatamente, il che consente di risparmiare sulla larghezza di banda.

In alternativa, o preferibilmente in aggiunta, gli sviluppatori possono sacrificare la qualità delle immagini per ridurre lo stress sulla larghezza di banda del sistema. La densità della geometria può essere sacrificata o è possibile utilizzare l'abbattimento più aggressivo per ridurre il carico e la risoluzione dei dati dei vertici può essere ridotta a 16 bit, rispetto alla precisione tradizionale a 32 bit utilizzata. Molte di queste tecniche sono già in uso in vari pacchetti mobili e insieme possono aiutare a ridurre lo sforzo sulla larghezza di banda.

Non solo la memoria è un grosso vincolo nello spazio VR mobile, ma è anche un grande consumatore di energia, spesso uguale al consumo della CPU o della GPU. Risparmiando sulla larghezza di banda e sull'utilizzo della memoria, le soluzioni di realtà virtuale portatile dovrebbero prolungare la durata della batteria.

Bassa latenza e pannelli di visualizzazione

Parlando di problemi di latenza, finora abbiamo visto solo cuffie VR con pannelli di visualizzazione OLED e questo è dovuto principalmente ai rapidi tempi di commutazione dei pixel di meno di un millisecondo. Storicamente, LCD è stato associato a problemi di ghosting con velocità di aggiornamento molto elevate, rendendoli piuttosto inadatti per la realtà virtuale. Tuttavia, i pannelli LCD ad altissima risoluzione sono ancora più economici da produrre rispetto agli equivalenti OLED, quindi il passaggio a questa tecnologia potrebbe aiutare a ridurre il prezzo delle cuffie VR a livelli più convenienti.

La latenza del movimento verso il fotone dovrebbe essere inferiore a 20 ms. Ciò include la registrazione e l'elaborazione del movimento, l'elaborazione della grafica e dell'audio e l'aggiornamento del display.

I display sono una parte particolarmente importante nella latenza complessiva di un sistema di realtà virtuale, spesso facendo la differenza tra un'esperienza apparente e una sotto-par. In un sistema ideale, la latenza da movimento a fotone - il tempo impiegato tra lo spostamento della testa e la risposta del display - dovrebbe essere inferiore a 20 millisecondi. Chiaramente un display da 50ms non va bene qui. Idealmente, i pannelli devono essere inferiori a 5ms per adattarsi anche alla latenza del sensore e dell'elaborazione.

Attualmente esiste un compromesso in termini di costi che favorisce OLED, ma questo potrebbe presto cambiare. I pannelli LCD con supporto per frequenze di aggiornamento più elevate e bassi tempi di risposta da bianco a nero che fanno uso di tecniche all'avanguardia, come il lampeggiamento delle luci posteriori, potrebbero adattarsi perfettamente al conto. Japan Display ha mostrato proprio questo pannello lo scorso anno e potremmo vedere anche altri produttori annunciare tecnologie simili.

Audio e sensori

Mentre gran parte dei comuni argomenti di realtà virtuale ruotano attorno alla qualità dell'immagine, la realtà virtuale immersiva richiede anche audio 3D ad alta risoluzione, spazialmente accurato e sensori a bassa latenza. Nel regno mobile, tutto ciò deve essere fatto con lo stesso budget limitato che influisce su CPU, GPU e memoria, il che presenta ulteriori sfide.

Abbiamo toccato in precedenza i problemi di latenza del sensore, in cui un movimento deve essere registrato ed elaborato come parte del limite di latenza da movimento a fotone inferiore a 20 ms. Se consideriamo che le cuffie VR utilizzano 6 gradi di movimento - rotazione e imbardata in ciascuno degli assi X, Y e Z - oltre a nuove tecnologie come il rilevamento degli occhi, c'è una notevole quantità di dati costanti da raccogliere ed elaborare, il tutto con il minimo latenza.

Le soluzioni per ridurre al minimo questa latenza richiedono un approccio end-to-end, con hardware e software in grado di eseguire queste attività in parallelo. Fortunatamente per i dispositivi mobili, l'uso di processori di sensori dedicati a bassa potenza e la tecnologia sempre attiva è molto comune e questi funzionano a una potenza abbastanza bassa.

Per l'audio, la posizione 3D è una tecnica utilizzata a lungo per i giochi e simili, ma l'uso di una funzione di trasferimento relativa alla testa (HRTF) e l'elaborazione del riverbero di convoluzione, necessari per il posizionamento realistico della sorgente sonora, sono compiti piuttosto impegnativi per il processore. Sebbene questi possano essere eseguiti sulla CPU, un processore di segnale digitale (DSD) dedicato può eseguire questi tipi di processi in modo molto più efficiente, sia in termini di tempo di elaborazione che di potenza.

Combinando queste funzionalità con i requisiti di grafica e visualizzazione che abbiamo già menzionato, è chiaro che l'uso di più processori specializzati è il modo più efficiente per soddisfare queste esigenze. Abbiamo visto Qualcomm sfruttare gran parte della capacità di calcolo eterogenea della sua ammiraglia e delle più recenti piattaforme mobili Snapdragon di livello intermedio, che combinano una varietà di unità di elaborazione in un unico pacchetto con funzionalità che si prestano bene per soddisfare molte di queste esigenze di realtà virtuale mobile. Probabilmente vedremo il tipo di pacchetti alimentati in una serie di prodotti VR mobili, incluso hardware portatile standalone.

Sviluppatori e software

Infine, nessuno di questi progressi hardware è molto utile senza software suite, motori di gioco e SDK per supportare gli sviluppatori. Dopotutto, non possiamo avere tutti gli sviluppatori che reinventano la ruota per ogni applicazione. Mantenere bassi i costi di sviluppo e le velocità il più velocemente possibile è fondamentale se vogliamo vedere una vasta gamma di applicazioni.

Gli SDK, in particolare, sono essenziali per l'implementazione di attività chiave di elaborazione VR, come Timewarp asincrono, correzione della distorsione dell'obiettivo e rendering stereoscopico. Per non parlare della gestione di potenza, termica ed elaborazione in configurazioni hardware eterogenee.

Fortunatamente tutti i principali produttori di piattaforme hardware offrono SDK agli sviluppatori, anche se il mercato è piuttosto frammentato con conseguente mancanza di supporto multipiattaforma. Ad esempio, Google ha l'SDK VR per Android e un SDK dedicato per il popolare motore Unity, mentre Oculus ha l'SDK mobile integrato in collaborazione con Samsung per Gear VR. È importante sottolineare che il gruppo Khronos ha recentemente presentato la sua iniziativa OpenXR che mira a fornire un'API per coprire tutte le principali piattaforme sia a livello di dispositivo che a livello di applicazione, al fine di facilitare lo sviluppo più multipiattaforma. OpenXR potrebbe vedere il supporto nel suo primo dispositivo di realtà virtuale prima del 2018.

Incartare

Nonostante alcuni problemi, la tecnologia è in fase di sviluppo, e in una certa misura già qui, che rende la realtà virtuale mobile utilizzabile per una serie di applicazioni. La VR mobile ha anche una serie di vantaggi che non si applicano agli equivalenti desktop, che continueranno a renderla una piattaforma degna di investimenti e intrighi. Il fattore di portabilità rende la VR mobile una piattaforma avvincente per esperienze multimediali e persino giochi leggeri, senza la necessità di cavi collegati a un PC più potente.

Inoltre, il semplice numero di dispositivi mobili sul mercato che sono sempre più dotati di funzionalità di realtà virtuale lo rende la piattaforma di scelta per raggiungere il più vasto pubblico target. Se la realtà virtuale deve diventare una piattaforma mainstream ha bisogno di utenti e il mobile è la più grande base di utenti in circolazione.