VR Hand Interfaces — Replica di una tecnica di interazione CHI 2022 su Quest 2
Replica della tecnica “Hand Interfaces” (CHI 2022) su 11 oggetti virtuali, portata a termine con una migrazione completa dal deprecato Oculus Integration SDK al Meta XR SDK.
In breve
“Hand Interfaces” permette all'utente di far diventare le proprie mani l'oggetto che sta manipolando — formando la sagoma di uno strumento invece di impugnare un sostituto virtuale. Questo progetto riproduce quella tecnica su hardware Quest 2 e documenta che cosa serve per far girare un risultato di interazione pubblicato su un SDK attuale.
Il problema
Le organizzazioni acquistano extended reality per formazione, riabilitazione e divulgazione al pubblico, e poi scoprono che il contenuto ha vita più breve dell'hardware. Una scuola, un museo, un reparto di riabilitazione o un centro di formazione comunale si impegnano su visori e su una serie di esperienze, e nel giro di due o tre anni l'SDK su cui quelle esperienze erano state costruite viene dismesso.
- Un contenuto costruito su un SDK ritirato non prosegue semplicemente. Prima smette di compilare, poi smette di funzionare, e il programma che gli stava intorno finisce in silenzio.
- Il costo cade dove fa più male: un ente pubblico che ha svolto una gara, speso il budget e formato il personale si ritrova con contenuti inutilizzabili su hardware perfettamente funzionante.
- I controller aggiungono una seconda barriera. Vanno caricati, associati, igienizzati tra un utente e l'altro e azionati fisicamente — cosa che esclude del tutto alcuni utenti anziani o meno sicuri e rende difficili da gestire i contesti ad accesso libero come una biblioteca o un'aula.
Come questo progetto aiuta
Questo progetto è la migrazione, fatta e documentata. Una tecnica di interazione pubblicata a CHI 2022 è stata riprodotta su hardware attuale portando l'intero livello di interazione dal deprecato Oculus Integration SDK al Meta XR SDK v83.0.1 — API di hand tracking, prefab e dati di posa erano tutti riorganizzati tra i due — e la tecnica stessa usa le mani dell'utente invece dei controller.
- Una via d'uscita per i contenuti arenati. Il porting mostra che cosa serve davvero per spostare un'esperienza XR esistente su un SDK supportato, che è la differenza tra conservare un investimento e cancellarlo.
- Niente da distribuire o da ricaricare. L'hand tracking toglie il controller dal percorso, abbassando la barriera per gli utenti che faticano a usarlo ed eliminando la logistica che rende impraticabili le installazioni condivise.
- Scritto per essere riutilizzato. Undici oggetti e un report in dodici sezioni fanno sì che il metodo sia trasferibile ai contenuti di un altro team, non una demo isolata.
La lezione scomoda va detta: qui la maggior parte dello sforzo è finita nella migrazione, non nel design dell'interazione. Qualsiasi organizzazione che pianifichi un programma XR pluriennale dovrebbe mettere a budget quella manutenzione fin dall'inizio, perché tra la tecnica pubblicata e una build funzionante c'è esattamente questo tipo di lavoro.
Ambito della replica
- Tecnica implementata su 11 oggetti virtuali distinti, ciascuno con la propria mappatura della posa della mano.
- Target: Meta Quest 2 con hand tracking al posto dei controller.
- Documentato in un report LaTeX in 12 sezioni che copre metodo e risultati.
La migrazione dell'SDK
La tecnica pubblicata precede gli strumenti attuali di Meta, quindi riprodurla ha significato portare il codice dal vecchio Oculus Integration SDK al Meta XR SDK v83.0.1. API di hand tracking, prefab e dati di posa sono stati tutti riorganizzati tra i due, quindi si è trattato più di una riscrittura del livello di interazione che di un aggiornamento di versione.
Il lavoro di replica tende a essere giudicato sul risultato di interazione, ma qui la maggior parte dello sforzo è andata nella migrazione. È questa la parte che vale la pena conoscere: una tecnica pubblicata su un SDK deprecato non si porta avanti da sola, e il divario tra il paper e una build funzionante è dove sta la vera ingegneria.