Questi appunti partono dai concetti di Realtà Aumentata e Realtà Virtuale e arrivano fino al Metaverso. Puoi saltare i primi due capitoli se sei già confidente su AR e VR, e passare direttamente al capitolo 3 sul Metaverso.

N.B. Questi appunti vengono periodicamente aggiornati. Essendo apputi potrebbero contenere errori, per dettagli accurati far riferimento alle fonti ufficiali disponibili nella sezione fonti.

Introduzione e cenni storici su Realtà Aumentata

La Realtà Aumentata è un layer digitale intemedio in cui il mondo virtuale e il mondo reale coesistono, interagendo in diversi modi in base alla situazione e ai dispositivi che si usano.

Cenni storici sulla Realtà Aumentata

Le origini di questa tecnologia risalgono al 1901, in letteratura, in un romanzo di Frank L. Baum: “The Master Key”, dove un ragazzino entra in possesso di occhiali modernissimi per l’epoca in grado di capire se le persone fossero buone o cattive attraverso una lettera sul capo della persona che mostrava il tipo di persona; anche se con funzioni differenti, questi occhiali non erano poi così tanto diversi dagli attuali Google Glass.

Dal punto di vista storico lo sviluppo della realtà aumentata, durante il ventesimo secolo, è pressoché il medesimo della realtà virtuale. Le prime differenze tra realtà virtuale e realtà aumentata si hanno all’inizio del ventunesimo secolo, con l’avvento dei wearable computer: ARToolkit , creata da Hirokazu Kato nel 1999, sviluppò la prima applicazione in realtà aumentata all’aperto ARQuake.

ARQuake utilizzava un HMD trasparente posto sulla testa dell’utente, all’interno era presente uno specchio semiriflettente con un display LCD che creava le immagini virtuali.

Combinando questa tecnologia di visualizzazione con un computer indossabile, era possibile per l’utente camminare all’aperto e visualizzare oggetti grafici che, normalmente, non sono visibili.

Dal punto di vista Hardware ARQuake richiedeva requisiti minimi relativamente economici in quanto il software non era molto esoso di risorse. Per i test furono utilizzati un laptop Toshiba 320CDS equipaggiato con LinuxOS, per il pilotaggio un display a colori PAL I-GLASS; collegato al notebook c’era un sensore giroscopico per la navigazione TCM2-80, e un Garmin GPS12XL con D-GPS per la posizione.

Nell’ambito ludico per mobile, una prima applicazione AR-like su un telefono cellulare era il gioco Mosquito Hunt del Siemens SX-1, un telefono prodotto nel 2003, che utilizzava la rivelazione del flusso ottico della fotocamera, per stimare il movimento di rotazione del telefono cellulare e permettere all’utente di mirare e sparare a zanzare virtuali. Lo sviluppo vero e proprio della realtà aumentata avviene dal 2010-2011, grazie soprattutto al mercato degli smartphone. In particolare, le tecnologie markerless per la realtà aumentata hanno permesso lo sviluppo di applicazioni sempre più complesse fino all’elaborazione anche di più di 25 fotogrammi al secondo.

Il 2010 è stato anche l’anno della nascita di Word Lens (creata dall’azienda Quest Visual), applicazione per il riconoscimento del testo in realtà aumenta attraverso la fotocamera dello smartphone.

Word Lens è un’applicazione in AR il cui obiettivo è quello di tradurre testo, in diverse lingue in tempo reale utilizzando la fotocamera dello smartphone, e sostituire il testo in lingua originale in testo tradotto all’interno del display dello smartphone; l’applicazione è stata resa disponibile a partire da dicembre 2010 per Android 2.3.3 e iOS 6, sarà poi acquistata da Google nel 2013 ed integrata nel sistema Google Translate.

Nel 2013 Google sviluppa i primi occhiali in AR, i Google Glass, dotati di processore autonomo, fotocamera, modulo wifi e modulo bluetooth.

Nel 2015 è il turno di Microsoft con i Microsoft HoloLens (figura 8), i primi occhiali che utilizzano la tecnologia Mixed Reality; sono dotati di un’unità di misura inerziale (IMU) (che include accelerometro, giroscopio e magnetometro) e quattro sensori di “comprensione ambientale” (due su ciascun lato), una fotocamera grandangolare da 120°, un microfono e un sensore di luminosità ambientale ed un modulo connettività formato da IEEE 802.11 AC Wi-Fi e Bluetooth 4.1 a basso consumo energetico (LE). Gli HoloLens sono inoltre i primi occhiali totalmente immersivi che utilizzano riferimenti diretti dell’ambiente esterno per creare oggetti virtuali con applicazioni installabili negli stessi.

Introduzione sulla Realtà Virtuale

La Realtà Virtuale è un layer virtuale che non ha interazioni con il mondo reale, anzi ne è totalmente isolato se non per le interazioni eventuali di un utente reale.

Cenni storici sulla Realtà Virtuale

Fin dalla sua concezione a metà degli anni Novanta, la realtà virtuale ha avuto uno sviluppo continuo e progressivo ed ha avuto la sua massima distribuzione grazie alle Google Cardboard, uno strumento economico e di facile distribuzione che permetteva a chiunque avesse uno smartphone di trasformarlo in uno strumento di realtà virtuale immersiva, creando così un mondo virtuale interattivo a basso costo.

Gli albori di questa tecnologia risalgono al 1962 quando Morton Heilig, regista e direttore fotografico, iniziò a lavorare ad un progetto per una televisione 3D, il Sensorama, un simulatore che permetteva agli utenti di sedersi di fronte ad uno schermo e di vivere un’esperienza extra visiva, con film preregistrati a colori; questa era compresa di suoni stereo, odori e generatori di vibrazioni che davano l’idea di un force-feedback reale.

Dal 1965 si iniziò a pensare alla realtà virtuale come mondo virtuale esterno a quello reale; in particolare Ivan Sutherland, scienziato ed informatico statunitense, pubblicò una ricerca chiamata “The Ultimate Display”, che descriveva la possibilità di un computer in grado di fornire all’utente una finestra sul mondo virtuale ; nel 1968 Sutherland, con Bob Sproull, costruì un sistema di display chiamato “spada di Damocle”. Questo sistema è stato il primo HMD (Head-mounted display) ma, a causa del suo eccessivo peso, doveva essere collegato al soffitto. Spada di Damocle offriva alla visione dell’utente una scena 3D più ampia da sinistra a destra e dall’alto verso il basso; in realtà le immagini erano dei semplici disegni (forme geometriche) e linee non troppo complesse che, in base ai movimenti dell’utente, riuscivano a creare una visione stereoscopica, dando l’idea di tridimensionalità agli oggetti all’interno della scena reale. Con la sua ricerca “The Ultimate Display” ed il suo prototipo “spada di Damocle”, Sutherland è definito comunemente come il padre dei sistemi in realtà virtuale .

Nei primi anni 70, Myron Krueger sperimentò immagini elaborate al computer che rispondessero a gesti dati dall’utente, interpretando e anticipando le azioni. L’utente poteva interagire con disegni (sagome monocromatiche) generati dal computer.

Questo sistema era chiamato Videoplace e Krueger definì questo strumento come un sistema in “realtà artificiale”.

Nel 1978, anticipando di 30 anni Google Street View, venne creata dall’Architecture Machine Group del MIT la prima mappa 3D: la “Aspen Movie Map”. Questa permetteva all’utente di visitare i luoghi e le strade della città di Aspen. Il sistema utilizzava una serie di 50.000 fotografie scattate con quattro telecamere puntate in quattro direzioni diverse, in questo modo l’utente poteva muoversi all’interno della scena. Questo è il primo progetto di interazione virtuale pseudo motoria.

Nei primi anni 80, le tecnologie VR si diffusero sempre di più e furono sviluppate in diversi ambiti:

• VCASS (Visually Coupled Airborne Systems Simulator): sviluppato da Thomas Furness al Medical Research Laboratories della US Air Force Armstrong, era un simulatore di volo per l’addestramento di piloti. Il sistema era formato da un display HMD che offriva al pilota informazioni relative al targeting o informazioni relative al percorso ottimale di volo (figura 2).

• VIEW (Virtual Interface Environment Workstation): era un sistema di visione stereoscopica mediante HMD, nel quale viene mostrato un ambiente artificiale generato dal computer e ritrasmesso a delle telecamere collegate in remoto. L’utente poteva interagire con l’ambiente virtuale mediante particolari guanti: i DataGlove, connessi attraverso una serie di cavi in fibra ottica e sensori che rilevavano qualsiasi movimento delle dita, di chi lo indossa, trasmettendo le informazioni ad un computer host: in questo modo un’immagine generata dal computer della mano si sposterà esattamente quando l’utente muove la mano.

L’utente poteva utilizzare il guanto per interagire con la scena del computer afferrando un oggetto o semplicemente toccandolo. Il sistema comprendeva anche il Datasuite, un abito per la realtà virtuale ancor più preciso, che permetteva al sistema di ricevere dati ancor più accurati sui movimenti dell’utente.

La diffusione meno specifica e più popolare di questa tecnologia avvenne nel 1993, grazie a Mark Pesce, un teorico e studioso del cyberspazio. Pesce sviluppò il VRML (Virtual Reality Model Language), un formato file progettato principalmente per il web, che sfruttava un semplice file testuale per specificare le caratteristiche di un poligono definendo vertici, spigoli, colore della superficie, texture, luminosità ecc. Attraverso il VRML era anche possibile specificare animazioni, suoni, illuminazione ed altri aspetti del mondo virtuale che potevano interagire con l’utente o attivati da eventi esterni come i timer. Uno speciale elemento, detto Script Node, permetteva l’aggiunta di procedure (ad es., scritte in Java o JavaScript). Attualmente il VRML è stato dismesso ma resta comunque il primo precursore di un mondo virtuale sul web che oggi è presente in molti ambiti.

Nel 1992 il famoso produttore di giochi Sega anticipò i tempi e portò sul mercato un prototipo di occhiali VR al Consumer Electronics Show nel 1993. Questi occhiali avevano un doppio display LCD, sistema di tracking e cuffie integrate. Furono prodotti anche 4 giochi compatibili con questo sistema ma a causa delle difficoltà tecniche di sviluppo, questo dispositivo resterà solo un prototipo.

Nel 1995 è Nintendo a portare sul mercato il Nintendo Virtual Boy (originariamente noto come VR-32), una console di gioco 3D. Nonostante le alte aspettative ed un prezzo di lancio non molto elevato (180$) la console non ebbe successo a causa di una mancanza di colore nella grafica (i giochi erano bicromatici: rosso e nero), un basso supporto software e comandi scomodi da utilizzare. L’anno successivo infatti ne è stata interrotta la produzione.

Le prime tracce dell’utilizzo della VR come tecnologia applicata al patrimonio artistico/culturale risale al 1994 con un “walk-through” interattivo di una ricostruzione 3D del Castello di Dudley come appariva nel 1500. Il progetto fu sviluppato dall’ingegnere inglese Colin Johnson e fu presentato nel novembre del 1994 presso il British Museum.

Metaverso

Cos’è e perché si chiama METAVERSO?

Il termine Metaverso è stato coniato nella letteratura futurista/fantascientifica da Neal Stephenson nel romanzo cyberpunk Snow crash (1992), indica uno spazio tridimensionale all’interno del quale persone fisiche possono muoversi, condividere e interagire attraverso personalizzati. Ad oggi il termine metaverso viene utilizzato per definire l’interazione di Internet come un unico mondo virtuale universale e immersivo, facilitato dall’uso di strumenti per la realtà virtuale (VR) e la realtà aumentata (AR).

Il termine metaverso ha soppiantato i termini di realtà virtuale, realtà aumenta o mixed reality a fine 2021 quando la Holding ex Facebook ha ribrandizzato il gruppo con il nome di Meta appunto da metaverso (dove rientrano Facebook, Instagram, Whatsapp, Horizon e altre). L’azienda di punta del gruppo ex Facebook che si occupa di Metaverso è Horizon.

Uno dei limiti del metaverso di Horizon è la necessità do un Hardware dedicato, in particolare del visore di Oculus (un’azienda che produce visori in VR acquistata da Facebook nel 2014), i modelli di visori hanno costi variabili tra 400€ a 2000€; questo crea una barriera digitale enorme per accedere al metaverso, per questo, ad oggi, il metaverso di Facebook/Meta è una realtà che punta al target Gaming/Social e che incentra il suo core business al tipo B2C (Business to Consumer).

Un altro possibile metaverso è quello rappresentato dalla realtà aumentata: sono nel mondo reale e aumento il mondo reale aggiungendo elementi virtuali; in questo l’azienda di punta è Microsoft con i suoi occhiali per la realtà aumentata Hololens. Questa parte di metaverso sposa di più la meccanica del B2B (Business to Business), ad esempio posso fare una call con ingegneri in realtà aumentata e mostrargli elementi tecnici e fare anche formazioni a distanza o addirittura interventi su componenti (ad esempio sono stati fatti interventi chirurgici in realtà aumetata). Ad oggi, Microsoft si sta muovendo con gli Hololens per portare Teams sul metaverso attrverso MESH, una piattaforma interattiva per esperienze virtuali che nasce per rendere più fruibile la tecnologia AR dell’azienda, tra le funzioni c’è la possibilità di creare un avatar virtuale della persona che farà la call su Teams.

Tra diversi anni è facile immaginare una migrazione dei social sul metaverso e sulla realtà virtuale, questo però considerando che i limiti odierni degli hardware utilizzati per il VR sia economici che fisici (persone che soffrono di nausea e giramenti di testa dopo diversi minuti che indossano il visore). Dal punto di vista hardware i visori stanno migliorando sempre di più affiché il ray tracing e la qualità di elaborazione sia sempre più vicina al fotorealismo ma non siamo ancora al punto di avere un hardware così efficiente e performante e soprattutto economicamente accessibile.

Perché si parla di terreni o comunque di opportunità commerciali sul metaverso?

Tramite i metaversi puoi muoverti in un mondo virtuale, giocare, fare esperienze e guadagnare. Può esistere un terreno virtuale che offre delle esperienze virtuali a pagamento, ad esempio un locale/discoteca virtuale dove incontri amici con un tuo avatar, il tutto per vivere l’esperienza virtuale.

Esistono vari tipi di esperienza nel metaverso:

• Negozi per Gaming: L’idea è quella di comprare elementi da gioco, come già esistono in alcuni giochi (es Fortnite, Fifa, ecc.) con la differenza che questi elementi una volta comprati appartengono all’utente.
• Negozi virtuali: l’idea è quella di poter avere dei negozi reali nel mondo virtuali, ad esempio nel metaverso entro in un negozio di abbigliamnento, provo sul mio avatar dei vestiti che poi posso comprare e mettere al mio avatar nel metaverso (e in un secondo momento comprare anche un vestito reale).
• Play to Earn: Posso guadagnare giocando o vivendo nel metaverso, ad esempio compro degli oggetti in un gioco che sono di mia proprietà, questo grazie agli NFT (sotto trovi la nota su cosa sono), quindi anche se l’azienda X che ha prodotto il gioco Y fallisse, comunque, continuerò ad avere gli oggetti (pezzi unici) che ho comprato da quell’azienda, mentre invece ore se dovessi comprare oggetti da Fifa o Fortnite, nel caso improbabile l’azienda fallisca o chiuda il gioco potenzialmente perderei tutto.

Il rischio è che l’illusione di guadagnare porti comunque l’utente a spendere più di quanto guadagnerà, e quasi sicuramente sarà così, però un genitore magari penserà “spendo ora per far giocare mio figlio poi però lui avrà un guadagno maggiore di quanto ho speso” (n.d.r. povero illuso?).

Come posso effettuare pagamenti nel metaverso?

Si parla di Blockchain e criptovalute nel metaverso, ma in che modo posso fare acquisti nel metaverso?

L’idea è quella di avere un token (una moneta virutale) spendibile nel metaverso e in tutti i metaversi; quindi posso comprare un token e spenderlo in un gioco o nell’altro o addirittura in un negozio virtuale, diventando a tutti gli effetti una moneta spendibile ovunque in un sistema di metaversi.

Cosa sono gli NFT e cosa c’entrano con il metaverso?

Il termine NFT sta per Non-Fungible Token, che in italiano vuol dire Gettone digitale non fungibile, non riproducibile. Un elemento non fungibile è un elemento che non può essere sostituito da un altro, a differenza per esempio di un Bitcoin che può essere sostituito con un altro.

Gli NFT sono dei pezzi unici (o almeno dovrebbero esserlo), cioè non replicabili ne sostituibili. Con NFT si intende un modo per identificare in modo univoco, sicuro e senza dubbi un prodotto digitale creato su internet. NFT può essere qualsiasi oggetto digitale: un oggetto 3D, un video, una foto, una GIF, un testo, un articolo o altro.

n.d.r Non mi esprimerò sugli NFT, dove praticamente posso caricare una paperlla creata da me sotto forma di GIF e renderla NFT con la speranza di venderla a 1 Milone di euro a qualche investitore che la vuole comprare.

Limiti del metaverso e perplessità:

1. Il token o moneta virtuale ad oggi non ha una regolamentazione mondiale o quanto meno condivisa dalle economie principali; quindi, manca una demarcazione generale del tema (un po’ come successe anni fa con Bitcoin).
2. Ci sono dei player da mettere d’accordo, ad esempio banche devono autorizzare e investire nei token del metaverso, altimenti è difficile pensare ad un adozione di massa.
3. La presenza di un hardware dedicato solo al metaverso rende molto complessa l’adozione di massa di questa tecnologia.
4. Il rischio che il metaverso, soprattutto quello B2C proposto da Meta, può portare ad un abuso dell’utilizzo oltre che isolamento, come capita già con i vari social dell’azienda.

Come si sviluppa per il metaveso?

Essenzialmente come si sviluppa per realtà aumentata e realtà virtuale:

• i motori di grafica sono quelli più adatti quindi sviluppo in Unity (C#) o Unreal Engine (C++) o altri engine, o linguaggi per sviluppo web per AR/VR;
• graphics designer e modellatori 3D (Blender, 3DS Studio, e altri);
• sound designer;
• altre figure meno tecniche che potrebbero assumere il ruolo di moderatori.

Se ti interessa saperne di più su youtube ci sono diverse esperienze di utenti con Oculus.

N.B. Questi appunti vengono periodicamente aggiornati. Essendo apputi potrebbero contenere errori, per dettagli accurati far riferimento alle fonti ufficiali disponibili nella sezione fonti.

Fonti

Le parti Introduttive su realtà aumentata e realtà virtuale sono stati presi dal mio lavoro di tesi di laurea triennale

1. History and Future of Tracking for Mobile Phone Augmented Reality- Daniel Wagner and Dieter Schmalstieg, Graz University of Technology
2. The Master Key: An Electrical Fairy Tale, Founded Upon the Mysteries of Electricity and the Optimism of Its Devotees - L. Frank Baum
3. ARQuake: The Outdoor Augmented Reality Gaming System – Wayne Piekarski & Bruce Thomas https://www.researchgate.net/publication/220427063_ARQuake_The_Outdoor_Augmented_Reality_Gaming_System. Google Glass [Resources Tools] - Rod Furlan by IEEE Spectrum
4. The sights and scents of the Sensorama Simulator - Jon Turi
5. Stepping into Virtual Reality - Mario Gutierrez,F. Vexo,Daniel Thalmann
6. 56Ivan Sutherland and Bob Sproull Create the First Virtual Reality Head Mounted Display System (1968): http://www.historyofinformation.com/expanded.php?id=1087
7. E. Sutherland, “Sketchpad-A Man-Machine Graphical Communication System”, Proceedings of the Spring Joint Computer Conference, Detroit, Michigan, May 1963 (Washington, D.C.: Spartan, 1964)
8. An Architecture for Artificial Realties - Myron W Krueger Artificial Realty Corporation
9. The Virtual Interface Environment Workstation (VIEW), 1990 Partnership with VPL Research, Inc.: https://www.nasa.gov/ames/spinoff/new_continent_of_ideas/
10. Intervista Mark Pesce: http://www.mediamente.rai.it/home/bibliote/intervis/p/pesce.htm
11. Imaging the Past: Electronic Imaging and Computer Graphics in Museums and Archaeology
12. History and Future of Tracking for Mobile Phone Augmented Reality- Daniel Wagner and Dieter Schmalstieg, Graz University of Technology
13. https://www.dandi.media/nft/#:~:text=NFT%20pu%C3%B2%20essere%20qualsiasi%20oggetto,non%20firmate%20con%20un%20NFT.
14. https://www.youtube.com/watch?v=smcOi8GyasY
15. https://www.microsoft.com/en-us/mesh?SilentAuth=1&wa=wsignin1.0