Première version du logiciel (Juin 2023)
Détails
- Spatialisation sonore : Steam Audio, Valve
- Framework VR : XR Interaction Toolkit 2, Unity
- Inspiré du logiciel Dear Reality et du casque audio Smyth Realiser A16
Futur refactoring
- Améliorations générales, UX
- Mode compatibilité sans VR avec un tracker de position sur un casque Audio
- XR Interaction Toolkit 3
Expérimentation : sources surround live (Mai 2024)
Les pistes audio individuelles étant rarement accessibles au grand public, j’ai créé une version alternative de mon projet pour écouter du son surround 7.1 en récupérant l’audio du PC.
La spatialisation audio est convaincante mais ce prototype sur Windows est loin de l’expérience utilisateur du Vision Pro, qui intègre cette fonctionnalité dans son OS.
Tous les contenus surround sont ainsi compatibles (musiques, films… La latence d’environ 30 ms peut être compensée, sauf pour les jeux vidéos)
Explications :
- Voicemeeter/VBAudioMatrix récupère l’audio du PC et le diffuse en ASIO
- Jack Router récupère l’ASIO et le place dans son buffer
- Le plugin Jack-Audio-For-Unity récupère chaque canal et le diffuse dans un objet AudioSource
- Un tracker SteamVR placé sur le casque audio de l’utilisateur indique sa position/orientation
- Unity calcule le son binaural avec Steam Audio et le diffuse dans le casque audio
J’ai légèrement modifié le script “JackReceiveMonoSpacial.cs” pour qu’il fonctionne lorsque la sortie Unity est stéréo (sans quoi le projet n’aurait pas d’intêret).
Le but étant de ne pas avoir à porter de casque VR, j’ai réalisé un système pour calibrer l’espace physique du tracker et l’espace virtuel Unity.
Très utile, mon système est devenu un package Unity à part entière.
