Ito ang mga hamon na kinakaharap ng mobile VR

Video.: Dizziness and Vertigo, Part I - Research on Aging

Nilalaman

Limitadong badyet ng kuryente
Bandwidth at mataas na resolusyon
Mababang latency at mga panel ng pagpapakita
Mga audio at sensor
Mga nag-develop at software
Balutin

Sa wakas kami ay sumisid ng malalim sa rebolusyon, tulad ng maaaring ilagay ito, na may mga produkto ng hardware at software na higit sa merkado, at mga mapagkukunan na ibubuhos upang mag-usbong ng mga makabagong ideya. Gayunpaman, higit pa sa isang taon mula nang inilunsad ang mga pangunahing produkto sa puwang na ito at naghihintay pa rin kami sa application na iyon na pumatay upang gawin ang virtual reality bilang pangunahing tagumpay. Habang naghihintay kami, ang mga bagong pag-unlad ay patuloy na gumagawa ng virtual reality ng isang mas mahusay na pagpipilian sa komersyal, ngunit mayroon pa ring isang bilang ng mga teknikal na mga hadlang upang malampasan, lalo na sa puwang ng mobile VR.

Limitadong badyet ng kuryente

Ang pinaka-halata at mahusay na napag-usapan ang hamon na kinakaharap ng mga mobile virtual reality application ay ang higit na limitadong badyet ng kapangyarihan at mga hadlang ng thermal kung ihahambing sa katumbas nito sa desktop sa PC. Ang pagpapatakbo ng masinsinang mga aplikasyon ng graphics mula sa isang baterya ay nangangahulugan na ang mas mababang mga sangkap ng lakas at mahusay na paggamit ng enerhiya ay kinakailangan upang mapanatili ang buhay ng baterya. Bilang karagdagan, ang kalapitan ng pagproseso ng hardware sa nagsusuot ay nangangahulugan na ang thermal budget ay hindi maaaring itulak kahit na mas mataas. Para sa paghahambing, ang mobile ay karaniwang tumatakbo sa loob ng isang limitasyong sub-4 wat, habang ang isang desktop VR GPU ay madaling kumonsumo ng 150 watts o higit pa.

Malawakang kinikilala na ang mobile VR ay hindi tutugma sa desktop hardware para sa hilaw na kapangyarihan, ngunit hindi nangangahulugan na ang mga mamimili ay hindi hinihingi ang mga nakaka-engganyong karanasan sa 3D sa isang malulutong na resolusyon at may mataas na mga rate ng frame.

Malawakang kinikilala na ang mobile VR ay hindi tutugma sa desktop hardware para sa hilaw na kapangyarihan, ngunit hindi nangangahulugang ang mga mamimili ay hindi hihilingin ang mga nakaka-engganyong karanasan sa 3D sa isang malulutong na resolusyon at may mataas na mga rate ng frame, sa kabila ng mas limitadong kapangyarihan badyet. Sa pagitan ng panonood ng 3D na video, paggalugad ng mga lokasyon na may likas na antas ng 360 degree, at kahit na sa paglalaro, mayroong maraming mga kaso ng paggamit na angkop sa mobile VR.

Sa pagtingin sa iyong tipikal na mobile SoC, lumilikha ito ng mga karagdagang problema na hindi gaanong pinahahalagahan. Bagaman ang mga mobile SoC ay maaaring mag-pack sa isang disenteng pag-aayos ng octa-core na CPU at ilang mga kilalang GPU na kapangyarihan, hindi posible na patakbuhin ang mga chips na ito sa ganap na ikiling, dahil sa parehong pagkonsumo ng kuryente at mga thermal constraints na nabanggit dati. Sa katotohanan, ang CPU sa isang mobile na halimbawa ng VR ay nais na tumakbo nang kaunting oras hangga't maaari, na pinapalaya ang GPU upang ubusin ang karamihan sa limitadong badyet ng kuryente. Hindi lamang nililimitahan nito ang mga mapagkukunan na magagamit para sa logic ng laro, mga kalkulasyon ng pisika, at kahit na ang mga mobile na proseso ng mobile, ngunit naglalagay din ng isang pasanin sa mga mahahalagang gawain ng VR, tulad ng pagguhit ng mga tawag para sa stereoscopic rendering.

Nagsusumikap na ang industriya sa mga solusyon para dito, na hindi lamang nalalapat sa mobile. Ang pag-render ng Multiview ay suportado sa OpenGL 3.0 at ES 3.0, at binuo ng mga nag-aambag mula sa Oculus, Qualcomm, Nvidia, Google, Epic, ARM, at Sony. Pinapayagan ng Multiview para sa stereoscopic rendering na may isang solong tawag na draw, sa halip na isa para sa bawat punto ng view, binabawasan ang mga kinakailangan sa CPU at pag-urong din ng trabaho ng GPU vertex. Ang teknolohiyang ito ay maaaring mapabuti ang pagganap sa pagitan ng 40 at 50 porsyento. Sa mobile space, Multiview ay sinusuportahan ng isang bilang ng mga ARM Mali at Qualcomm Adreno na aparato.

Ang isa pang pagbabago na inaasahan na lilitaw sa paparating na mga produktong VR ng mobile ay nagbigay ng pag-render. Ginamit kasabay ng teknolohiya sa pagsubaybay sa mata, ang pag-render ng veveated ay nagpapagaan sa pag-load sa isang GPU sa pamamagitan lamang ng pag-render ng eksaktong focal point ng gumagamit sa buong resolusyon at bawasan ang paglutas ng mga bagay sa peripheral vision. Ang mga pandagdag sa sistema ng paningin ng tao nang mabuti at maaaring makabuluhang bawasan ang pag-load ng GPU, sa gayon mai-save ang kapangyarihan at / o pag-freeze ng higit na kapangyarihan para sa iba pang mga gawain sa CPU o GPU.

Bandwidth at mataas na resolusyon

Habang ang kapangyarihan sa pagproseso ay limitado sa mga sitwasyon ng mobile VR, ang platform ay nakikita pa rin sa parehong mga kinakailangan tulad ng iba pang mga virtual reality platform, kabilang ang mga hinihingi ng mababang latency, mga high panel na display panel. Kahit na ang mga tumitingin sa mga display ng VR na ipinagmamalaki ang isang resolusyon sa QHD (2560 x 1440) o ang resolusyon ng 1080 × 1200 na Rift headset bawat mata ay marahil ay medyo hindi natagalan ng kaliwanagan ng imahe. Ang paghihiwalay ay lalo na may problemang ibinibigay na ang aming mga mata ay napakalapit sa screen, na may mga gilid na lumilitaw lalo na magaspang na naghahanap o mahilig sa paggalaw.

Ang solusyon sa brute na puwersa ay upang madagdagan ang paglabas ng resolution, na may 4K na ang susunod na lohikal na pag-unlad. Gayunpaman, ang mga aparato ay kailangang mapanatili ang isang mataas na rate ng pag-refresh anuman ang resolusyon, na itinuturing ng 60Hz ang pinakamababang ngunit 90 o kahit na ang 120Hz ay mas lalong kanais-nais. Naglalagay ito ng isang malaking pasanin sa memorya ng system, kung saan saan mula dalawa hanggang walong beses na higit pa kaysa sa mga aparato ngayon. Ang bandwidth ng memorya ay mas limitado sa mobile VR kaysa sa mga produkto sa desktop, na gumagamit ng mas mabilis na nakatuon na memorya ng graphics sa halip na isang nakabahaging pool.

Ang mga posibleng solusyon upang mai-save sa mga bandwidth ng graphics ay kasama ang paggamit ng mga teknolohiyang compression, tulad ng pamantayang ARM at Adaptive Scalable Texture Compression (ASTC) o ang format ng pagkawala ng pagkawala ng Texture ng Teksto, pareho sa mga ito ay mga opisyal na extension ng OpenGL at OpenGL ES. Sinusuportahan din ang ASTC sa hardware sa pinakabagong mga Mali GPUs ng ARM, Nvidia's Kepler at Maxwell Tegra SoCs, at pinakabagong integrated GPUs ng Intel, at maaaring makatipid ng higit sa 50 porsyento na bandwidth sa ilang mga senaryo kumpara sa paggamit ng mga hindi naka-compress na mga texture.

Ang paggamit ng compression ng texture ay maaaring mabawasan ang bandwidth, latency at memorya na kinakailangan ng mga aplikasyon ng 3D. Pinagmulan - ARM.

Ang iba pang mga pamamaraan ay maaaring maipatupad din.Ang paggamit ng tessellation ay maaaring lumikha ng mas detalyadong naghahanap ng geometry mula sa mas simpleng mga bagay, kahit na sa pamamagitan ng pag-uutos ng ilang iba pang mga malaking mapagkukunan ng GPU. Ang Deending Rendering at Forward Pixel Kill ay maiiwasan ang pag-render ng mga walang kasamang mga pixel, habang ang mga arkitektura ng Binning / Tiling ay maaaring magamit upang hatiin ang imahe sa mas maliit na grids o tile na bawat isa ay nai-render nang hiwalay, na lahat ay maaaring makatipid sa bandwidth.

Bilang kahalili, o mas mabuti, ang mga developer ay maaaring magsakripisyo sa kalidad ng imahe upang mabawasan ang stress sa bandwidth ng system. Ang density ng geometry ay maaaring isakripisyo o mas agresibong culling na ginamit upang mabawasan ang pagkarga, at ang paglutas ng data ng vertex ay maaaring ibaba sa 16-bit, mula sa tradisyonal na ginamit na 32-bit na katumpakan. Marami sa mga pamamaraan na ito ay ginagamit na sa iba't ibang mga mobile packages, at sama-sama na makakatulong silang mabawasan ang pilay sa bandwidth.

Hindi lamang ang memorya ay isang pangunahing pagpilit sa puwang ng VR ng mobile, ngunit ito rin ay isang malaking kalakal ng consumer din, madalas na katumbas ng pagkonsumo ng CPU o GPU. Sa pamamagitan ng paggawa ng mga matitipid sa memorya ng bandwidth at paggamit, ang mga portable virtual reality solution ay dapat makakita ng mas mahabang buhay ng baterya.

Mababang latency at mga panel ng pagpapakita

Ang pagsasalita tungkol sa mga isyu sa latency, hanggang ngayon ay nakita lamang namin ang mga headset ng VR na nagpapalabas ng mga panel ng display ng OLED at ito ay dahil sa mabilis na mga oras ng paglilipat ng pixel sa ilalim ng isang millisecond. Kasaysayan, ang LCD ay nauugnay sa mga isyu sa ghosting para sa napakabilis na mga rate ng pag-refresh, na ginagawang hindi angkop para sa VR. Gayunpaman, ang napakataas na resolution ng mga panel ng LCD ay mas mura pa rin upang makabuo kaysa sa mga katumbas na OLED, kaya ang paglipat sa teknolohiyang ito ay maaaring makatulong na dalhin ang presyo ng mga headset ng VR sa mas abot-kayang antas.

Ang paggalaw sa laton na latency ay dapat na sub 20ms. Kasama dito ang pagrehistro at pagproseso ng kilusan, pagproseso ng graphics at audio, at pag-update ng display.

Ang mga pagpapakita ay isang partikular na mahalagang bahagi sa pangkalahatang latency ng isang virtual reality system, na madalas na gumagawa ng pagkakaiba sa pagitan ng isang tila at isang sub-par na karanasan. Sa isang mainam na sistema, ang paglipat-sa-photon na latency - ang oras na kinuha sa pagitan ng paglipat ng iyong ulo at pagtugon sa display - ay dapat na mas mababa sa 20 millisecond. Malinaw na ang isang 50ms na display ay hindi maganda dito. Sa isip na ang mga panel ay kailangang maging sub-5ms upang mapaunlakan din ang sensor at pagproseso ng latency.

Sa kasalukuyan mayroong isang trade-off sa pagganap ng gastos na pinapaboran ang OLED, ngunit maaaring magbago ito sa lalong madaling panahon. Ang mga panel ng LCD na may suporta para sa mas mataas na mga rate ng pag-refresh at mababang mga oras ng itim-sa-puting pagtugon na gumagamit ng mga pamamaraan ng paggupit sa gilid, tulad ng mga kumikislap na mga ilaw sa likod, ay maaaring magkasya sa bayarin nang mabuti. Nagpakita lamang ang Japan Display tulad ng isang panel noong nakaraang taon, at maaari naming makita ang ibang mga tagagawa ay nagpapahayag rin ng mga katulad na teknolohiya.

Mga audio at sensor

Habang ang karamihan sa mga karaniwang virtual reality paksa ay umiikot sa kalidad ng imahe, ang nakaka-engganyong VR ay nangangailangan din ng mataas na resolusyon, spatially tumpak na 3D audio at mababang mga sensor ng latency. Sa mobile na lupain, ang lahat ay dapat gawin sa loob ng parehong paghihigpit na badyet ng kuryente na nakakaapekto sa CPU, GPU, at memorya, na nagtatanghal ng karagdagang mga hamon.

Naantig namin ang mga isyu sa latency ng sensor dati, kung saan ang isang kilusan ay dapat na nakarehistro at maiproseso bilang bahagi ng limitasyon ng sub-20 na paggalaw ng galaw ng sub 20ms. Kapag isinasaalang-alang namin na ang mga headset ng VR ay gumagamit ng 6 na degree ng paggalaw - pag-ikot at yaw sa bawat isa sa X, Y, at Z axis - kasama ang mga bagong teknolohiya tulad ng pagsubaybay sa mata, mayroong isang malaking halaga ng palagiang data upang makolekta at magproseso, lahat ay may minimal latency.

Ang mga solusyon upang mapanatili ang latency na ito hangga't maaari medyo magkano ang nangangailangan ng isang end-to-end na diskarte, na may kasamang hardware at software na kapwa maisasagawa ang mga gawaing ito. Sa kabutihang palad para sa mga mobile device, ang paggamit ng mga dedikado na mga processor ng mababang sensor sensor at palaging teknolohiya ay napaka-pangkaraniwan, at ang mga ito ay tumatakbo sa medyo mababang lakas.

Para sa audio, ang 3D na posisyon ay isang pamamaraan na matagal na ginagamit para sa paglalaro at tulad nito, ngunit ang paggamit ng isang function na may kaugnayan sa paglilipat ng ulo (HRTF) at pagproseso ng pagbubuo ng konbolusyon, na kinakailangan para sa makatotohanang pagpoposisyon ng mapagkukunan ng tunog, ay medyo masinsinang mga gawain ng processor. Bagaman ang mga ito ay maaaring maisagawa sa CPU, ang isang dedikadong digital signal processor (DSD) ay maaaring magsagawa ng mga ganitong uri ng mga proseso nang mas mahusay, kapwa sa mga tuntunin ng oras ng pagproseso at din ang kapangyarihan.

Ang pagsasama-sama ng mga tampok na ito sa mga graphics at mga kinakailangan sa pagpapakita na nabanggit na namin, malinaw na ang paggamit ng maraming dalubhasang mga processors ay ang pinaka mahusay na paraan upang matugunan ang mga pangangailangan. Nakita namin ang Qualcomm na gumawa ng maraming nakakapagpalagay na kakayahan ng compute ng punong barko nito at pinakabagong mga mid-tier na Snapdragon na mga mobile platform, na pinagsasama ang iba't ibang mga yunit ng pagproseso sa isang solong pakete na may kakayahang magpahiram nang mabuti sa pagtugon sa marami sa mga pangangailangan ng mobile VR na ito. Marahil ay makikita namin ang uri ng kapangyarihan ng mga pakete sa isang bilang ng mga mobile na VR na produkto, kabilang ang nakapag-iisa portable na hardware.

Mga nag-develop at software

Sa wakas, wala sa mga pagsulong sa hardware na ito ay mahusay na walang software suite, mga engine ng laro, at SDK upang suportahan ang mga developer. Pagkatapos ng lahat, hindi namin maaaring magkaroon ng bawat developer na muling kinoayos ang gulong para sa bawat aplikasyon. Ang pagsunod sa mga gastos sa pag-unlad ay mababa at bilis nang mabilis hangga't maaari ay susi kung nais nating makita ang isang malawak na hanay ng mga aplikasyon.

Ang mga SDK sa partikular ay mahalaga para sa pagpapatupad ng mga pangunahing gawain sa pagproseso ng VR, tulad ng Asynchronous Timewarp, pagwawasto ng lens ng lens, at stereoscopic rendering. Hindi sa banggitin ang kapangyarihan, thermal, at pamamahala sa pagproseso sa mga heterogenous setup ng hardware.

Sa kabutihang palad, ang lahat ng mga pangunahing tagagawa ng platform ng hardware ay nag-aalok ng mga SDK sa mga nag-develop, bagaman ang merkado ay isang medyo fragment na nagreresulta sa isang kakulangan ng suporta sa cross-platform. Halimbawa, ang Google ay mayroong VR SDK para sa Android at isang nakatuon na SDK para sa tanyag na Unity engine, habang ang Oculus ay mayroong Mobile SDK na binuo kasabay ng Samsung para sa Gear VR. Mahalaga, ang grupong Khronos kamakailan ay nagbukas ng kanyang inisyatiba sa OpenXR na naglalayong magbigay ng isang API upang masakop ang lahat ng mga pangunahing platform sa parehong mga layer at antas ng aplikasyon, upang mapadali ang madaling pag-unlad ng platform ng cross. Ang OpenXR ay maaaring makakita ng suporta sa una nitong virtual na aparato ng katotohanan sa ibang pagkakataon bago ang 2018.

Balutin

Sa kabila ng ilang mga isyu, ang teknolohiya ay nasa ilalim ng pag-unlad, at sa ilang mga lawak na narito na, na ginagawang magagawa ang mobile virtual reality para sa isang bilang ng mga aplikasyon. Ang Mobile VR ay mayroon ding bilang ng mga benepisyo na hindi mailalapat sa mga katumbas ng desktop, na magpapatuloy na gawin itong isang platform na karapat-dapat sa pamumuhunan at intriga. Ang kadahilanan ng portability ay gumagawa ng mobile VR ng isang nakaka-engganyong platform para sa mga karanasan sa multimedia at kahit na light gaming, nang hindi nangangailangan ng mga wires na konektado hanggang sa isang mas malakas na PC.

Bukod dito, ang manipis na bilang ng mga mobile device sa merkado na lalong nilagyan ng mga virtual reality kakayahan ay ginagawang platform ng pagpili para maabot ang pinakamalaking target na madla. Kung ang virtual reality ay upang maging isang pangunahing platform na nangangailangan ng mga gumagamit, at ang mobile ay ang pinakamalaking base ng gumagamit sa paligid upang mag-tap.