VR, AR, XR – część 1: Ta następna wielka rzecz?

W 2007 roku Steve Jobs zaprezentował światu pierwszego iPhone’a. Było to urządzenie stosunkowo drogie, dostępne wyłącznie przy umowie na co najmniej dwa lata i w bardzo wysokim abonamencie, a do tego nie obsługiwało niektórych powszechnie stosowanych wówczas funkcji (chociażby wiadomości MMS) oraz wymagało niemalże codziennego ładowania – w czasach, gdy telefony ładowało się raz na tydzień. Szefowie Nokii, ówczesnego niekwestionowanego lidera na rynku telefonów komórkowych, byli przekonani, że iPhone pozostanie urządzeniem niszowym i na pewno nie zagrozi ich pozycji.

Choć iPhone nie był, technicznie rzecz biorąc, pierwszym smartfonem, to właśnie on rozpoczął rewolucję, w wyniku której słowo „telefon” prawie całkowicie zmieniło swe wcześniejsze znaczenie. To nie same komputery, lecz właśnie smartfony, dzięki swej łatwości obsługi, lawinowo upowszechniły Internet ogromnej liczbie osób, niezależnie od ich płci, wykształcenia i wieku – od kilkuletnich dzieci do osób pamiętających śmierć Stalina – odmieniając ludzkość jako taką, w sposób, którego zakresu pewnie do końca jeszcze dobrze nie widać. Smartfony przyzwyczaiły nas do ciągłego dostępu do sieci z dowolnego miejsca, dały do rąk stałą możliwość robienia zdjęć i nagrywania wideo, spopularyzowały nawigację GPS, zmieniły sposób, w jaki utrzymujemy kontakty z innymi, a nawet w jaki znajdujemy partnerów, jak również ukształtowały współczesne media społecznościowe i w efekcie przeorały całą strukturę społeczeństwa, sprawiając, że żyjemy dziś w zupełnie nowym świecie.

Wiele osób zadaje sobie pytanie, co będzie następną The Big Thing – tą kolejną „wielką rzeczą”, która znów zmieni wszystko wokół, wykreuje nowe standardy i osiągnie nieprawdopodobną popularność, zapewniając także ogromne zyski firmom, które zdążą w porę dostrzec kierunek zmian. Jeśli chodzi o samą technologię, pierwszeństwo ma najprawdopodobniej AI, sztuczna inteligencja (lub może raczej: sztuczna „inteligencja”), której dróg rozwoju oraz przyszłego wpływu na praktycznie każdą dziedzinę życia jeszcze nawet do końca sobie nie wyobrażamy. Natomiast jeśli chodzi o same urządzenia – czy na horyzoncie widać coś, co może stać się nowym iPhone’em? 

Niektórzy uważają, że urządzeniem, które zapoczątkuje podobną rewolucję, jak smartfony 15 lat temu, okażą się gogle XR, czyli okulary do rzeczywistości rozszerzonej, umożliwiające albo całkowite zanurzenie się w świecie wirtualnym, albo nakładanie dodatkowych informacji lub nawet całych trójwymiarowych obiektów na otoczenie użytkownika. Za pomocą takiego urządzenia można by nie tylko wcielać się w rolę eksploratora kosmosu czy pogromcy potworów, ale także np. obejrzeć nowe meble we własnej kuchni przed ich zakupem, sprawdzić, jak pasował będzie do nich inny kolor ścian (przechadzając się po danym pomieszczeniu, a nie patrząc na malutki ekran smartfona), oglądać filmy na ogromnym, kinowym ekranie (fizycznie znajdując się w ciasnym fotelu samolotu tanich linii lotniczych), wygodnie pracować na trzech wirtualnych 30‑calowych monitorach (siedząc przy malutkim stoliku w hotelu na Teneryfie), biegać po lesie (nie opuszczając bieżni treningowej w ciasnym mieszkaniu w bloku), uczestniczyć zdalnie w spotkaniach i konferencjach, odwiedzać muzea i wystawy, a także po prostu przewijać Instagrama czy inny serwis społecznościowy, nie obciążając kręgów szyjnych pochylaniem się nad malutkim ekranikiem smartfona.

Na początku 2016 roku świat obiegło zdjęcie Marka Zuckerberga, twórcy Facebooka, przedstawiające uczestników konferencji MWC w Barcelonie z założonymi goglami Gear VR.

Źródło zdjęcia: wpis Marka Zuckerberga na portalu społecznościowym Facebook

Dwa lata wcześniej Mark Zuckerberg kupił za prawie trzy miliardy dolarów firmę Oculus VR – startup założony w 2012 roku przez Palmera Luckeya i Johna Carmacka (twórcę między innymi kultowej gry Doom), finansowany na Kickstarterze – widząc w goglach VR wielki potencjał związany z mediami społecznościowymi.

Wizja Marka Zuckerberga obejmuje metaverse, czyli istniejącą na razie głównie w fazie planów wirtualną przestrzeń, w której użytkownicy spędzaliby czas, pracowali, nawiązywali znajomości, relaksowali się, robili zakupy i konsumowali treści – w tym odpowiednio dobrane reklamy. Facebook (czyli od 2021 roku Meta, zmiana nazwy firmy miała podkreślić skupienie się na tworzeniu owego metawersum) inwestuje w rozwój technologii VR ogromne pieniądze: w samym 2021 roku było to ponad 10 miliardów dolarów.

Zamierzam wkrótce zamieścić na PYM opis kilku urządzeń do rzeczywistości rozszerzonej – w tym pod kątem ich współpracy ze sprzętem Apple – prezentujących nieco różne podejście do tematu: popularnych gogli Quest 2 (i ich zaawansowanej wersji, czyli Quest Pro) oraz produkowanych przez chiński startup okularów Nreal Air (obecnie Xreal Air). Wcześniej jednak warto omówić i uporządkować niektóre terminy związane z tą technologią.

Trochę podstaw VR

Na początek cztery podstawowe, często mylone skróty, czyli AR, MR, XR i VR – co tak naprawdę znaczą? Jakie są między nimi różnice?

AR to rzeczywistość poszerzona (lub rozszerzona), skrót od augmented reality. Użytkownik widzi otaczający go świat rzeczywisty, na który nałożony jest dodatkowy obraz, na przykład informacje o rzeczywistych obiektach – szczegóły dotyczące eksponatów w muzeum, wskazówki nawigacyjne, czy nawet własne notatki na temat poszczególnych osób. Do AR zaliczyć można także wirtualną zmianę kolorów ścian w pokoju lub wyświetlanie modelu nowej szafki. AR niekoniecznie wymaga gogli! Dodatkowe elementy mogą być wyświetlane na ekranie iPhone’a lub iPada i nakładane na obraz z kamery urządzenia.

MR to rzeczywistość mieszana, skrót od mixed reality. Użytkownik widzi połączenie świata rzeczywistego i wirtualnego, w którym obiekty rzeczywiste i wirtualne mogą na siebie oddziaływać. Słowo klucz to „interakcja” – między obiektami rzeczywistymi i wirtualnymi oraz między obiektami wirtualnymi a użytkownikiem. Jeśli możemy naciskać palcem ikony na panelu unoszącym się nad naszym rzeczywistym biurkiem, i możemy podnieść z rzeczywistego biurka wirtualny ołówek, a następnie rysować nim na leżącej przed nami wirtualnej kartce, to jest to właśnie MR.

VR to rzeczywistość wirtualna, skrót od virtual reality. Użytkownik zanurza się w innej rzeczywistości, generowanej przez ekrany w goglach, np. skanuje rośliny na obcej planecie w przepięknej grze No Man’s Sky lub spala nadprogramowe kalorie przecinając klocki mieczami świetlnymi w rytm muzyki z Beat Sabera. O świecie rzeczywistym przypomina sobie dopiero, gdy stanie się głodny, uderzy ręką w ścianę lub nadepnie na kota. Albo gdy zobaczy komunikat o rozładowanej baterii urządzenia.

XR to skrót od extended reality, czyli rzeczywistość rozszerzona. Ten termin jest najbardziej ogólny i obejmuje zarówno rzeczywistość wirtualną (VR), jak i rzeczywistość poszerzoną (AR) oraz rzeczywistość mieszaną (MR).

Czyli, podsumowując, jeśli przed nami stoi sobie rzeczywiste drzewo, to w AR możemy np. zobaczyć także plakietkę z informacją o jego gatunku (nawet przy użyciu iPhone’a, bez żadnych gogli), w MR możemy także zrywać „rosnące” na nim wirtualne jabłka i „karmić” nimi siedzącego obok wirtualnego królika, natomiast w VR tego rzeczywistego drzewa nie widzimy w ogóle, ponieważ właśnie lecimy oglądać pierścienie Saturna.

Sposoby interakcji

Oddziaływanie przez użytkownika na wirtualne obiekty odbywa się przy użyciu specjalnych kontrolerów trzymanych w obu dłoniach. Zależnie od modelu gogli kontrolery te mogą mieć mniej lub więcej różnych elementów sterujących, takich jak przyciski (najczęściej pod kciukiem i palcem wskazującym, zwykle też pod palcem środkowym), powierzchnię dotykową lub joystick.

Quest 2 i Quest Pro obsługują także sterowanie przy użyciu śledzenia dłoni – użytkownik nie musi używać żadnych kontrolerów, może po prostu naciskać palcami wirtualne przyciski lub przewijać zawartość wirtualnych paneli palcem, podobnie jak na rzeczywistym ekranie dotykowym.

Stopnie swobody

Ważnym parametrem gogli XR są „stopnie swobody” (ang. degrees of freedom) – rodzaje ruchów rozpoznawanych przez urządzenie, co przekłada się na stopień zanurzenia w wirtualnym świecie lub wygodę korzystania z elementów AR/MR.

Matematycy mówią o „kątach Eulera”, piloci o pochyleniu statku powietrznego (pitch), odchyleniu (yaw) i przechyleniu (roll) – natomiast w naszym przypadku pochylenie to ruchy głowy w górę i w dół (czyli spoglądanie w niebo i pod nogi), odchylenie to rozglądanie się w lewo i prawo (jak przy przechodzeniu przez jezdnię), a przechylenie to pochylanie głowy wzdłuż osi podłużnej, czyli przekrzywianie jej na boki (jak czasami robi uważnie słuchający pies).

Jeśli gogle rozpoznają wszystkie te trzy ruchy, obsługują 3DOF, czyli trzy stopnie swobody. To jednak może być za mało! Użytkownik nie da rady np. przybliżyć się do wirtualnego obiektu ani wstać i przejść się po wirtualnej przestrzeni. Do tego niezbędne jest 6 stopni swobody, czyli rozpoznawanie przez gogle nie tylko ruchów głowy, ale także poruszania się samego użytkownika. W takiej sytuacji mamy do czynienia ze śledzeniem 6DOF.

Szczególnym przypadkiem jest tryb 0DOF, czyli brak rozpoznawania jakichkolwiek ruchów przez gogle. Wówczas mamy przed oczami obraz jakby na stałe „przyklejony” do twarzy. W trybie 0DOF działają okulary Xreal Air podłączone do iPhone’a lub iPada.

Śledzenie położenia – wygodne i niewygodne

Kolejne przydatne terminy dotyczą dwóch podstawowych metod śledzenia położenia gogli: jest to inside-out tracking, czyli śledzenie ruchów przez same gogle (zakładamy je, działają, jest super), oraz outside-in tracking, czyli śledzenie ruchów przy użyciu zewnętrznych stacji bazowych (przed użyciem gogli musimy rozmieścić w pomieszczeniu zestaw kamer obserwujących ich położenie).

Ta druga metoda nie jest przesadnie przyjazna dla użytkownika, ograniczając grupę odbiorców do wytrwałych entuzjastów, gotowych przystosować jedno pomieszczenie w domu do korzystania z VR, rozmieszczając w jego rogach nawet do czterech stacji bazowych, z których każda musi być podłączona kablem do źródła zasilania.

Śledzenie inside-out 6DOF realizowane jest przy użyciu zestawu kamer zamontowanych w samych goglach i skierowanych na zewnątrz. Kamery te obserwują otoczenie i na tej podstawie określają zmiany położenia gogli. Wymaga to większej mocy obliczeniowej, niż śledzenie outside-in, lecz zapewnia znacznie większą wygodę dla użytkownika.

PCVR

Gogle XR działające autonomicznie, takie jak Quest Pro, nie wymagają używania komputera. Zawierają one zintegrowaną baterię i podzespoły umożliwiające korzystanie z gier i aplikacji. Można jednak połączyć je z pecetem (przewodowo lub bezprzewodowo przez sieć Wi‑Fi), aby grać w bardziej realistyczne gry dzięki wykorzystaniu mocy stacjonarnej karty graficznej, np. potężnej RTX 4090. W takiej sytuacji mówimy o PCVR, czyli wirtualnej rzeczywistości obsługiwanej przez komputer PC.

Kadr z gry Half-Life: Alyx działającej w trybie PCVR

Dzięki obsłudze PCVR posiadacze mocnych pecetów mogą np. eksplorować rozmaite zakątki Ziemi za pośrednictwem Google Earth VR lub zanurzyć się w realistycznie oddanym postapokaliptycznym świecie gry Half‑Life: Alyx, co nie jest obecnie możliwe przy użyciu układów mobilnych zastosowanych w samych goglach. PCVR sprawia, że renderingiem obrazu może zajmować się ciężkie, prądożerne, mocno rozgrzewające się urządzenie stojące na podłodze w kącie pokoju, podczas gdy na głowie użytkownika znajdują się lekkie, wygodne gogle, które mają za zadanie jedynie wyświetlać przesyłany strumieniowo obraz oraz transmitować dane dotyczące zmian położenia.

PCVR nie należy mylić z PSVR, czyli PlayStation VR, goglach VR przeznaczonych do używania wyłącznie z konsolą PlayStation, wymagających niewygodnego podłączania do urządzenia przy użyciu kabla, z zastosowaniem ograniczonym tylko do gier dostępnych na tej platformie.

Skoro jesteśmy przy PCVR, należy wspomnieć także o SteamVR, OpenVR i OpenXR. SteamVR to platforma stworzona przez doskonale znaną wśród graczy firmę Valve, dostępna na komputerach PC, obsługująca różne modele gogli XR, np. Valve Index, HTC Vive czy Quest Pro. OpenVR to wykorzystywane przez tę platformę starsze API (funkcje używane przez programistów), natomiast OpenXR to nowsze, bardziej uniwersalne API, na które SteamVR stopniowo przechodzi. Funkcje oferowane przez OpenVR i OpenXR umożliwiają programistom oddzielenie aplikacji i gier od konkretnego sprzętu, zapewniając ich działanie na goglach XR różnych producentów.

Niestety, granie w gry PCVR przy użyciu Maca nie jest możliwe. W 2020 roku Valve ogłosiło zakończenie wsparcia dla platformy SteamVR w systemie macOS, natomiast starsze Maki z procesorem Intel, na których można zainstalować system Windows, mają zbyt słabe karty graficzne.

Pole widzenia, soczewki, głębia oraz okulary korekcyjne

Istotnym parametrem gogli XR jest FOV (ang. field of view), czyli pole widzenia. Jest to podawany w stopniach obszar, który możemy zobaczyć po założeniu gogli. Im większy FOV, tym bardziej naturalne wrażenie przebywania w wirtualnej przestrzeni. Typowy FOV to 100-110° w poziomie.

Warto w tym miejscu wspomnieć o technicznej stronie zagadnienia – w jaki sposób uzyskujemy szerokie pole widzenia w goglach XR? Nie można przecież po prostu umieścić tak blisko przed oczami użytkownika dużego, zakrzywionego ekranu! Zamiast tego obraz przeznaczony dla każdego oka wyświetlany jest na dwóch malutkich ekranach i powiększany przy użyciu bardzo mocnych soczewek. Konstruują one obraz w odległości około 2 metrów od oczu, więc osoby z krótkowzrocznością nie mogą dać się zwieść kuszącej myśli, że skoro ekran w goglach jest „blisko oczu”, to nie trzeba zakładać okularów czy soczewek kontaktowych. Trzeba – chyba, że widzimy bez nich ostro obiekty znajdujące się w rzeczywistości parę metrów przed nami.

Chwileczkę! Ale jak to: parę metrów? Przecież w wirtualnej rzeczywistości niektóre rzeczy mogą znajdować się blisko, a inne daleko! Broń w ręku nie może być przecież tak samo daleko, jak przeciwnik kryjący się za budynkiem?

I tak i nie. Obraz wyświetlany przez gogle XR zawsze fizycznie konstruowany jest przez układ optyczny w tej samej, stałej odległości. Na tej odległości, dzięki mechanizmowi akomodacji oka, skupia się nasz wzrok. Co ciekawe, podczas korzystania z takich gogli wzrok męczy się nieco mniej, niż w trakcie używania laptopa, bowiem w tym ostatnim przypadku ekran znajduje się znacznie bliżej, zmuszając oczy do dodatkowego wysiłku.

Zastosowanie w goglach XR dwóch ekranów pozwala jednak uzyskać iluzję, że obiekty wirtualne znajdują się w różnych odległościach. To wrażenie powodowane jest przez przemieszczenie tych obiektów względem siebie na obrazie przeznaczonym dla lewego i prawego oka, co nasz mózg interpretuje jako przesunięcie do głębi. Jest to jednak tylko wrażenie – wzrok cały czas fizycznie skupia się na tej samej, stałej odległości.

W goglach XR stosowane są dwa typy soczewek: soczewki Fresnela (czyta się, lub raczej powinno czytać, „frenela”) oraz soczewki typu pancake, różniące się konstrukcją i sposobem załamywania światła. Powierzchnia soczewki Fresnela pokryta jest krzywiznami w kształcie pierścieni, co pozwala uzyskać znacznie mniejszą grubość, niż w przypadku zwykłej soczewki:

Zwykła soczewka

Soczewka Fresnela

Soczewki typu pancake to układ kilku nałożonych na siebie elementów (jak naleśnik, stąd nazwa) działających na zasadzie wielokrotnego odbijania i załamywania polaryzowanego światła, co w efekcie zmniejsza wymaganą odległość między ekranem gogli a układem optycznym.

Soczewki typu pancake

W obu przypadkach konieczność uzyskania dużego powiększenia wymusza nieuniknione kompromisy. Soczewki Fresnela powodują rozmazanie jasnych obiektów na ciemnym tle (tzw. „god rays”), pojawianie się widocznych czasem kątem oka pierścieni oraz zniekształcenie obrazu (które trzeba kompensować programowo, wyświetlając obraz odwrotnie zniekształcony, co dodatkowo obciąża procesor graficzny), natomiast soczewki typu pancake – większe zużycie energii, związane z koniecznością znacznie silniejszego podświetlania ekranu, ponieważ polaryzacja i wielokrotne odbicia powodują utratę nawet 75% światła. Dzięki zastosowaniu soczewek typu pancake gogle mogą być jednak mniejsze i lżejsze, oferując jednocześnie lepszej jakości obraz… pod warunkiem, że użyty zostanie także ekran z bardzo jasnym podświetleniem.

Skoro już mówimy o soczewkach, warto zwrócić uwagę na metasoczewki – nową technologię opracowaną przez naukowców z Uniwersytetu Harvarda, opartą o metamateriały (czyli materiały z naniesionymi mikroskopijnymi strukturami umożliwiającymi zaginanie fal elektromagnetycznych – a więc także świetlnych – o różnej długości). Wykonane z dwutlenku tytanu metasoczewki mają grubość kartki papieru! Ta technologia może w przyszłości zrewolucjonizować fotografię, w tym aparaty w smartfonach (koniec z wystającą „wyspą” obiektywu), a także umożliwić stworzenie znacznie bardziej płaskich gogli XR.

Z opisaną wcześniej koniecznością silnego optycznego powiększania ekranu wiąże się także screen-door effect, w skrócie SDE, czyli efekt siatki między pikselami. Zapewnienie dobrej jakości obrazu w goglach XR jest niezwykle trudne, ponieważ na skutek powiększenia konieczne jest użycie bardzo dużej gęstości pikseli – większej niż na zwykłym wyświetlaczu komputera czy smartfona. Im niższa gęstość pikseli na wyświetlaczu w goglach, tym większa możliwość, że użytkownik będzie widzieć nie tylko poszczególne piksele, ale także siatkę między nimi.

Powyżej znajduje się powiększone zdjęcie Docka wyświetlanego na ekranie Retina iMaca z M1. Mimo stosunkowo dużej gęstości pikseli nawet tu widać SDE.

Renderowanie dołkowe i śledzenie ruchu oczu

Interesującym terminem, który warto zapamiętać, jest foveated rendering, czyli renderowanie skupione lub renderowanie dołkowe. „Dołek” w nazwie odwołuje się do dołka środkowego siatkówki oka, czyli zagłębienia w centrum plamki żółtej zawierającego największą liczbę gęsto ułożonych receptorów odpowiadających za widzenie, co umożliwia najdokładniejsze spostrzeganie szczegółów. Zwróćmy uwagę, że dokładnie widzimy tylko miejsce, w którym skupiony jest nasz wzrok, natomiast obiekty znajdujące się wokoło nie są szczególnie ostre:

Ta cecha naszego wzroku daje możliwość zmniejszenia obciążenia procesora graficznego gogli XR – nie ma potrzeby renderowania całego obrazu w wysokiej rozdzielczości, skoro i tak użytkownik widzi ostro tylko to miejsce, w które aktualnie patrzy. Zapewnia to właśnie renderowanie dołkowe, występujące w dwóch wersjach: stałej i dynamicznej. Stały foveated rendering polega na tym, że obraz w wysokiej rozdzielczości generowany jest na środku ekranu, a im dalej od środka, tym rozdzielczość jest niższa. Ta technika sprawdza się całkiem nieźle, dopóki użytkownik porusza tylko głową, a nie gałkami ocznymi. Jeśli jednak np. spojrzy w lewo nie obracając głowy, zobaczy rozpikselowany obraz. Najlepszym rozwiązaniem jest więc dynamic foveated rendering, obejmujący śledzenie ruchu gałek ocznych i renderowanie obrazu w wysokiej rozdzielczości wszędzie tam, gdzie aktualnie zwrócony jest wzrok użytkownika. Wadą tego rozwiązania jest konieczność użycia w goglach skomplikowanego (i drogiego) systemu czujników, raportujących każdy ruch oczu, rozwiązanie to spotykamy więc jedynie w niektórych modelach.

Czujniki śledzące ruch gałek ocznych przydają się jednak nie tylko do renderowania dołkowego. Umożliwiają one również bardziej realistyczne animacje awatara użytkownika, zwłaszcza w połączeniu z czujnikami rejestrującymi mimikę twarzy. Powyższe zrzuty ekranu przedstawiają postać z aplikacji Aura na goglach Oculus Pro, która naśladuje na żywo mimikę użytkownika. Technologie te mają na celu zapewnienie naturalnego wyrazu twarzy podczas spotkań z innymi osobami w wirtualnej rzeczywistości.

IPD, czyli rozstaw źrenic

Jeśli chcemy widzieć dobrej jakości obraz, musimy ustawić odpowiednią odległość soczewek w goglach, odpowiadającą odległości między naszymi oczami. Niektóre gogle (np. Quest 2) mają możliwość wybrania tylko kilku najczęściej spotykanych rozstawów źrenic, większość umożliwia płynną zmianę w określonym zakresie, a najbardziej zaawansowane modele, takie jak Varjo XR-3, potrafią nawet ustawiać ten rozstaw automatycznie. Rozstaw źrenic określany jest skrótem IPD, czyli interpupillary distance, i mierzymy go w milimetrach.

Wszyscy, którzy mają ochotę pobiec teraz do lustra z linijką, aby zmierzyć swój rozstaw źrenic, mogą spokojnie usiąść i zamiast tego sięgnąć po telefon. iPhone wyposażony w Face ID może zmierzyć nam IPD dosyć dokładnie, wystarczy zainstalować darmową apkę (na przykład PDCheck AR), a podczas pomiaru patrzeć nieruchomo w dal. Wynik, który nas interesuje, to „Far PD”, czyli rozstaw do dali – bo, jak pamiętamy, obraz w goglach XR nie jest wyświetlany tuż przed oczami, lecz parę metrów dalej.

HMD i HUD

Dwa inne skróty, które mogą pojawiać się tu i ówdzie, to HMD i HUD. Ten pierwszy pochodzi od head-mounted display i oznacza wyświetlacz nahełmowy. Określenie to nie jest tożsame z goglami XR – wyświetlacze nahełmowe używane są np. przez pilotów wojskowych w systemach naprowadzania rakiet. Z technicznego punktu widzenia można jednak powiedzieć, że gogle XR to połączenie wyświetlacza nahełmowego z urządzeniem odpowiadającym za śledzenie położenia (jak już wiemy, najlepiej w technologii inside-out), aby zapewnić trzy lub optymalnie sześć stopni swobody (3DOF lub 6DOF). HUD natomiast to skrót od head-up display, oznaczający przezroczysty wyświetlacz prezentujący informacje przed oczami użytkownika bez zasłaniania mu widoku. HUD od HMD różni się tym, że nie ma nic wspólnego z hełmem, a informacje mogą być wyświetlane np. na przedniej szybie pojazdu lub samolotu.

Trochę zastosowań VR

Gogli XR używam praktycznie codziennie od trzech lat – mniej więcej od momentu, gdy rozwój tej technologii umożliwił korzystanie z niej bez konieczności montażu w rogach pokoju kamer śledzących ruchy użytkownika oraz wysięgnika podtrzymującego kabel łączący gogle z komputerem, lub bez ogromnych kompromisów związanych z jakością. Skok, jaki nastąpił w stosunku do platformy Google Cardboard z 2014 roku, złożonej ze specjalnej aplikacji oraz kartonowego pudełka z soczewkami, do którego należało włożyć smartfona pełniącego rolę wyświetlacza, sprawił, że od ciekawostki dla wytrwałych entuzjastów przeszliśmy do urządzeń, które mają dla mnie konkretne, realne zastosowania w życiu codziennym.

Filmy

Okulary Xreal Air sprawiają, że czuję się jak w kinie. Zamiast oglądać filmy i seriale na stosunkowo niewielkim monitorze czy telewizorze, wolę zasiąść, albo jeszcze lepiej: położyć się przed dużym ekranem kinowym. Możliwość ta jest niezastąpiona także podczas długich podróży, zwłaszcza w połączeniu z tłumiącymi dźwięki otoczenia słuchawkami AirPods Pro.

Można w ten sposób oglądać zarówno filmy z oficjalnych źródeł, takich jak Netflix, Amazon Prime czy HBO Max, przez wideo z YouTube’a, aż do własnych plików wideo skopiowanych z Maca na iPada lub iPhone’a. Dość zwyczajny wygląd okularów sprawia, że nikt postronny nie zwraca na nie uwagi, w przeciwieństwie prawdopodobnie do sytuacji, gdybym siedział w miejscu publicznym z założonymi goglami wielkości Questa Pro.

Gry fitnessowe

Autonomiczne gogle Quest 2 lub Quest Pro stanowią świetne narzędzie do zamykania pierścieni aktywności na Apple Watch, zwłaszcza dla osób, które spędzają całe dnie w pozycji siedzącej przy komputerze. Aplikacja Trening na zegarku ma nawet na tę okazję specjalną opcję o nazwie Gry fitnessowe.

Najbardziej znaną grą fitnessową jest Beat Saber – przecinamy w niej w rytm muzyki przelatujące kostki, używając do tego celu mieczy świetlnych. Dla mnie jednak bardziej fizycznie wyczerpująca jest gra Superhot VR, oparta na niecodziennym pomyśle: czas płynie tylko wtedy, gdy gracz się porusza. Jeśli stoi nieruchomo, przeciwnicy nie mogą nic zrobić. Celem gry jest ich wyeliminowanie w dowolny sposób: pięścią, rzuconą popielniczką, strzałem z broni… Można się kłócić, czy Superhot VR jest grą fitnessową jako taką, lecz jedno nie ulega wątpliwości – nawet jedna sesja z nią potrafi zmęczyć.

Dla osób szukających bardziej typowych gier fitnessowych przeznaczony jest FitXR, dostępny w płatnej subskrypcji, co dodatkowo motywuje do ćwiczeń.

Relaks

Wyjątkowo relaksujące jest dla mnie… skanowanie roślin na obcych planetach. No Man’s Sky, gra z proceduralnie generowaną zawartością, wrzucająca gracza w uniwersum złożone z ponad 18 trylionów planet, daje możliwość odkrywania nowych światów pełnych dziwnej fauny i flory, podróżowania statkami kosmicznymi, budowania wymyślnych baz, gromadzenia surowców, walczenia z piratami… lub po prostu oglądania zachodu obcego słońca w cieniu obcych drzew.

Na jednej z mnóstwa planet w grze No Man’s Sky

Dostępnych jest także wiele aplikacji do relaksu i medytacji, przenoszących użytkownika w przyjemne otoczenie, takie jak plaża czy las, oferujących (niestety tylko anglojęzyczne) wskazówki dotyczące oddychania, albo wyświetlających animowane, trójwymiarowe mandale.

Gogle XR pomogły mi też w 2020 roku, kiedy świat ogarnęła panika związana z pandemią COVID‑19. Zamiast ukradkiem przemykać jak kryminalista na spacer do lasu, mogłem mieć wirtualną namiastkę wolności, spokoju i wytchnienia, nie opuszczając mieszkania.

Retrogaming

Niesamowite wrażenie potrafi zrobić nostalgiczny powrót w VR do starych gier, takich jak Doom, Quake, Return to Castle Wolfenstein czy Half Life – tym razem jednak nie z perspektywy gracza odseparowanego od akcji płaskim ekranem, lecz jako uczestnika wydarzeń. Znane, wielokrotnie ogrywane mapy zyskują nowy wymiar, gdy faktycznie możemy w nich stanąć i rozejrzeć się wokoło.

QuestZDoom, czyli Doom z 1993 roku w VR

Nawet mając do dyspozycji bardziej zaawansowane gry, często wracam do klasycznego Dooma i Quake’a 2. Nie wiem, czy to zasługa samej nostalgii, czy może po prostu wyjątkowej grywalności tych tytułów?

Praca

Wbrew początkowym zapowiedziom Marka Zuckerberga, Quest Pro nie nadaje się jako zamiennik monitora do pracy. Gogle są ciężkie, ważą 722 gramy, i choć dzięki lepszemu wyważeniu wydają się być lżejsze od Questa 2, siedzenie w nich przez wiele godzin nie jest wygodne. A szkoda, bo aplikacja Horizon Workrooms, dająca do dyspozycji trzy wirtualne ekrany Maca, rozpoznająca klawiaturę Apple oraz wyświetlająca opcjonalny podgląd rzeczywistego biurka zapowiadała się interesująco.

Przy odrobinie samozaparcia mogę natomiast bez większych problemów pracować cały dzień w okularach Xreal Air, nawet używając ich w trybie 0DOF na Macu mini z Intelem (oryginalne oprogramowanie wyświetlające trzy monitory w trybie 3DOF początkowo działało tylko na Macach z układem scalonym Apple, ale ostatnie uaktualnienie systemu macOS Ventura sprawiło, że nie działa w ogóle, pozostawiając, póki co, tylko tryb 0DOF).

Zdjęcia

Quest Pro przydaje mi się także do oglądania zdjęć panoramicznych z drona. Lubię robić rekreacyjnie fotografie z powietrza, w tym panoramy 360° – te ostatnie można co prawda wyświetlać na Macu, ale zdecydowanie lepiej wyglądają w wirtualnej rzeczywistości, gdzie nie trzeba przesuwać myszką, aby je obejrzeć, wystarczy po prostu się obrócić! Niestety, nie są one trójwymiarowe (aby rejestrować obraz 3D, dron musiałby być wyposażony w dwie kamery), ale i tak robią przyjemne wrażenie.

Inne

Powyżej opisałem moje codzienne zastosowania gogli XR, warto jednak wspomnieć też o rozmaitych innych ciekawych sposobach ich użycia. Chociażby modelowanie 3D – możliwość fizycznego układania i kształtowania brył oraz obracania ich pod dowolnym kątem jest niesamowita! W sklepie Meta znajdziemy także aplikację Vermillion, umożliwiającą malowanie na płótnie oraz realistyczne mieszanie farb przy użyciu tradycyjnej palety malarskiej.

Komputer z dwoma wyświetlaczami zajmuje stosunkowo dużo miejsca na biurku, dodanie trzeciego ekranu wymaga już dosyć pokaźnej przestrzeni – gdy rozwój sprzętu sprawi, że gogle XR będą ważyły niewiele więcej od zwykłych okularów i wyświetlały obraz o wyższej rozdzielczości, wydaje mi się, że dzisiejsze monitory będą używane tylko w stosunkowo rzadkich, specyficznych sytuacjach.

Gogle XR mogą znaleźć także zastosowanie w psychoterapii, umożliwiając np. konfrontację pacjenta z przedmiotem lęku w kontrolowanej sytuacji. Użycie XR w edukacji otwiera nowe możliwości interaktywnej nauki. XR daje również możliwość tworzenia modeli produktów oraz wizualizacji procesów produkcyjnych, a w połączeniu z odwzorowywaniem mimiki i coraz bardziej realistycznymi awatarami urządzenia tego typu będą mogły być także używane do wirtualnych spotkań i telekonferencji.

Trochę problemów VR

Niestety, zarówno gogle Quest Pro, jak i okulary Xreal Air pokazują, że technologii oraz oprogramowaniu nadal jeszcze czegoś brakuje. Problemem jest chociażby waga urządzenia: okulary Xreal Air są lekkie i wygodne, lecz osiągnięto to kosztem małego FPV oraz usunięcia procesora i zasilania – to jedynie dwa wyświetlacze i czujniki ruchu, podłączane przewodem do niezbędnego w tej sytuacji smartfona, tabletu lub komputera generującego obraz. Gogle Quest Pro działają autonomicznie, bez zewnętrznego zasilania i bez konieczności korzystania z komputera, lecz dzieje się to kosztem ich wagi, a więc komfortu podczas dłuższego używania.

Firma Meta intensywnie rozwija alternatywne technologie obsługi urządzenia, obejmujące chociażby sterowanie samymi dłońmi, bez użycia kontrolerów, lecz cały czas system operacyjny Questa pozostawia wiele do życzenia, jeśli chodzi o wygodę użycia. Nawet na najbardziej wydajnych pod względem sprzętowym goglach Quest Pro widać także braki w optymalizacji, rzucające się w oczy zwłaszcza podczas jednoczesnego nawigowania po interfejsie i poruszania głową.

Jak to zwykle bywa z nowymi technologiami, problemem jest również niewielka liczba dobrych aplikacji, w tym gier. Mamy tu do czynienia z pewnego rodzaju błędnym kołem: mała liczba użytkowników sprawia, że deweloperom nie opłaca się inwestować w produkcje wysokobudżetowe (tzw. AAA), takie jak Half Life: Alyx, natomiast posucha wśród gier AAA sprawia, że gracze mniej chętnie patrzą na gogle VR.

Awatar Marka Zuckerberga w Horizon Worlds, źródło: wpis Marka Zuckerberga na portalu społecznościowym Facebook

Nieco wyśmiewana w różnych artykułach jakość awatarów użytkowników Horizon Worlds firmy Meta (niejako wstępnej wersji planowanego metawersu) wynika z ograniczeń wydajności procesora graficznego w działających autonomicznie goglach – mocniejsza karta graficzna mogłaby generować realistyczne postaci, zwiększyłaby jednak koszt urządzenia, jego wagę oraz zużycie energii.

Obraz w goglach XR, nawet używających soczewek typu pancake, nadal ma zauważalnie niższą jakość, niż na wyświetlaczu MacBooka. Różnica ta, mniej istotna w przypadku filmów, ale dająca się we znaki podczas gier i zdecydowanie kłująca w przyzwyczajone do ekranów Retina oczy podczas pracy, również wynika z ograniczeń mobilnego procesora graficznego, ale także wspominanej już wcześniej konieczności stosowania silnych soczewek. Warto również pamiętać, że o ile w przypadku laptopa mamy do czynienia zwykle tylko z jednym wyświetlaczem, gogle XR wymagają generowania dwóch niezależnych obrazów, po jednym na każde oko, aby zapewnić wrażenie głębi, a do tego obraz musi być renderowany dynamicznie i reagować natychmiast na najlżejsze nawet ruchy głowy. Wszystko to wymaga tak dużej mocy obliczeniowej, jaką tylko możemy uzyskać bez wieszania użytkownikowi na głowie ważącej 2 kg karty graficznej i dwukrotnie cięższej baterii – nie wspominając już o odprowadzaniu generowanego przy okazji ciepła.

Osoby po raz pierwszy korzystające z VR (nie AR lub MR), czyli całkowicie zanurzające się w świat wirtualny, mogą w niektórych sytuacjach odczuwać zawroty głowy. Jest to tak zwana „choroba symulatorowa”, a jej objawy występują, gdy płynnie poruszamy się w rzeczywistości wirtualnej, podczas gdy w tej prawdziwej znajdujemy się w jednym miejscu. Wiele gier oferuje możliwość skokowej „teleportacji” lub opcjonalnego wyświetlania winiety ograniczającej pole widzenia na czas ruchu, co niweluje problem, znacząco jednak psując uczucie immersji. Gdy po raz pierwszy uruchomiłem grę Half Life: Alyx z włączonymi płynnymi ruchami, bałem się, że zwymiotuję! Na szczęście uczucie to z czasem mija, po paru tygodniach mogłem już używać płynnego poruszania się bez żadnych problemów. Przyzwyczajenie się do płynnych ruchów określane jest na anglojęzycznych grupach jako „VR legs”. Niektórzy polecają włączenie wentylatora w pokoju na czas przebywania w VR, co podobno pozwala zachować świadomość kontaktu z rzeczywistym światem (czujemy podmuch powietrza stale z jednej strony), inni radzą natomiast, aby przebierać nogami w miejscu, gdy „idziemy” w wirtualnej rzeczywistości. Ja wolałem po prostu powoli przyzwyczajać swój organizm do sytuacji, w której oczy twierdzą, że się porusza, podczas gdy błędnik raportuje co innego, dbając jednocześnie, aby nie przedłużać sesji, gdy zaczynałem czuć się źle, aby uniknąć wyrobienia sobie skojarzenia, że VR = mdłości.

Innym, dość prozaicznym problemem związanym z przebywaniem w wirtualnej rzeczywistości jest możliwość niechcianego i bolesnego kontaktu z jak najbardziej realną szafką, ścianą, telewizorem lub innym obiektem. Gdy używamy gogli VR, w których nie widzimy świata rzeczywistego, nie trudno zapomnieć o prawdziwym otoczeniu. Oprogramowanie gogli pozwala co prawda zdefiniować bezpieczny obszar, w którym nie ma żadnych przeszkód, a gdy zbliżymy się do jego granic, wyświetla ostrzeżenie, jednak w wielu mieszkaniach zwykle trudno o odpowiednio dużą, wolną przestrzeń. 

Waga gogli, zwłaszcza tych autonomicznych, niesie za sobą dodatkowy problem: sposób mocowania ich na głowie wymaga najczęściej obecności szerokiego, poziomego paska, podtrzymującego gogle we właściwej pozycji i ugniatającego wówczas włosy użytkownika. Oczywiście jeśli ktoś nie opuszcza piwnicy lub nie przywiązuje przesadnej wagi do swego wyglądu, zmaltretowane długim ugniataniem włosy nie będą stanowiły problemu, jednak trudno mi sobie wyobrazić poważną panią prezes ze starannie ułożoną, przepłaconą fryzurą, nakładającą tego typu gogle na głowę, aby zapoznać się z wizualizacją inwestycji. Pozytywnie wyróżnia się tu Quest Pro, który takiego paska nie posiada – cała (niemała) waga gogli spoczywa na czole użytkownika, co jednak sprawia, przynajmniej w moim przypadku, że po dłuższej sesji na skórze przez pewien czas pozostaje czerwony ślad.

Trochę cen VR

Realny koszt wybranych gogli XR w Polsce przedstawia się obecnie następująco:

Quest 2 (popularne gogle autonomiczne z 2020 roku): ok. 2000-2200 zł
Quest Pro (gogle autonomiczne z 2022 roku): ok. 5500 zł u producenta, 7000-9000 zł u polskich dystrybutorów
Valve Index (przewodowe gogle PCVR z 2019 roku): ok. 4600-5000 zł
Varjo XR-3 (przewodowe gogle XR do zastosowań profesjonalnych): ok. 40 000 zł plus wymagana subskrypcja
Xreal Air (okulary AR z 2022 roku): ok. 1700 zł

No i?

No dobrze, ale po co w ogóle o tym wszystkim piszę na PYM? Otóż wkrótce zamierzam opublikować tu opis gogli Quest Pro oraz okularów Xreal Air z perspektywy makjuzera – wymiana danych, współpraca z iPhone’em, iPadem i Makiem, a także czy i jak bardzo konieczne jest posiadanie gamingowego peceta.

Nie widzę natomiast sensu analizować rozmaitych krążących w sieci plotek, jakoby Apple miało w tym roku przedstawić własne gogle XR, w każdym razie dopóki są to jedynie plotki. Na pewno jednak wrócę do tematu, jeśli z krainy wirtualnych wyobrażeń przejdą one w rzeczywistość.

(g)

 

 

 

Posted in Ogólne and tagged .