En casestudie om design af lyd til fordybende uddannelse

Et kig på, hvordan jeg brugte lyd til information, interaktivitet og nedsænkning i NC State DELTA.

Jeg går videre og argumenterer for, at interaktivitet og lyd vil skelne en VR-applikation fra enhver almindelig fordybende oplevelse. Det er den konklusion, jeg fandt efter at have arbejdet med NC State DELTA-teamet med at udforske 360 ​​videoplatforme til en begivenhedsplanlægningsklasse. Vi tog en udforskende rejse om, hvordan man opretter indhold til VR-briller (nemlig Oculus Go) ved hjælp af en betalt forfatterplatform kaldet CenarioVR (Think Squarespace for VR). Selvom jeg kunne lave en separat blog om, hvordan vi kom til at vælge disse teknologier, vil jeg mest fokusere på strategierne for at bruge design af lyd til disse kommercielle platforme. Lyd er ofte sekundær til design, så jeg vil kaste lys over, hvordan man giver lyd en bedre tilstedeværelse.

Selvom jeg meget gerne vil forklare, hvordan alt fungerer i et to tusind-ord essay, tror jeg, at en gennemgang af en video af en del af det endelige produkt muligvis illustrerer, hvad jeg lige taler om (for dem, der ikke kender 360-video). Indlejringen nedenfor er en skærmoptagelse af mig selv, der går gennem en af ​​de forfattereoplevelser på Oculus Go

Jeg vil kategorisere lyddesign til VR i fire hovedkategorier: Voice-over, sonisk interaktionsdesign, rumlig lyddesign og tilgængelighed. Jeg hævder, at alle disse elementer er nødvendige for en spændende og inkluderende oplevelse for studerende.

Ikon-seerne klikkede på for at høre voice-over

Voice over

Optagelse af instruktørens stemme var en fantastisk måde at levere vejledning til seeren, da tekst i VR virkelig er svært at få ret. Oftere end ikke i undervisningen er vi nødt til at kommunikere meget indhold i løbet af en kort periode, og voice-over er en fantastisk måde, hvor eleven kan udforske en visuel oplevelse, mens den stadig bliver styret af instruktøren. Vi arbejder på en måde at inkludere billedtekst til hørehæmmede, men de fleste platforme (inklusive CenarioVR) understøtter dem ikke endnu.

Jeg vil være den første til at indrømme, at jeg ikke er en ekspert på lydproduktion, men der er en overflod af vidunderlige YouTube-kanaler, der kan hjælpe dig med at starte. Jeg stolede stærkt på råd fra Booth Junkie for at gøre voice-over renere og lettere at forstå. Derefter var det en temmelig ligetil arbejdsgang, indtil du begynder at samle tingene sammen.

Vores største problem var at kondensere længden af ​​voice-over til et gennemsnit på 30-45 sekunder. Længere end det, og du begynder at miste den studerendes interesse, fordi videoen allerede er afsluttet. Du skal huske, at VR ikke er en erstatning for lærebogen - det er mere et kompliment og en berigelse til langvarig skrivning og læsning.

Det andet problem var, da voice-over og optaget lyd fra videoen var i konflikt. Hvis eleven spiller voice-over, mens folk i videoen talte, kan den studerende heller ikke høre det. Som en del af god brugeroplevelse programmerede vi i CenarioVR manglende evne til at afspille både videoen og voice-over på samme tid, hvis der er en samtale i videoen.

Interaktionsdesign

Den 360-platform, vi brugte, CenarioVR, gav os muligheden for let at programmere interaktion med grafik og lyd.

Grafik blev overlejret på hver scene. Men jeg ville være med på det sjove, så jeg brugte det, der kaldes en ørebetegnelse, for at tilføje dybde og interesse for hvert af scenelinkene. En ørebetegnelse er som et ikon, men bruger lyd til at repræsentere eller symbolisere et objekt. Videoen nedenfor viser en demonstration af, hvordan ørestikker fungerer. Hver gang brugeren svæver over et ikon, kan brugeren 'høre' det ikon som bekræftelse. Du vil blive overrasket over de fysiske reaktioner (latter, opmærksomhed og legesygdom), vi fik med dem i vores brugertest.

Jeg brugte Audacity næsten udelukkende til denne del af designet. Det er en platform, jeg er mest fortrolig med, og gjorde det virkelig let og enkelt at prototype nye lyde uden at rodet med smarte plugins.

Et skærmbillede af, hvordan min Audacity-session så ud

Min favorit, som jeg kom på, var 'Replay'-øretelefonen. Ved hjælp af et båndtæppe som en metafor til urentalt at beskrive processen med at starte en scene, brugte jeg indspillede prøver af spole, afspilning og stop.

Rumlig lyd

CenarioVR havde stærke begrænsninger, når det kom til rumlig lyd. Du kan uploade mono-lydfiler til scenen og placere lyden i oplevelsen (som jeg må indrømme, er et godt udgangspunkt for begyndere), men der er ikke en mulighed for at uploade en video med multikanals lyd.

Det var helt klart, at CenarioVR antog meget om deres brugere måske ønsker at bruge rumlig lyd. En god 360-overvågningsplatform, som Showtime VR, vil omfatte support til både First-Order Ambisonics (AmbiX Format) og Facebook 360 Format til lydfeltgengivelse. Vores løsning, med den resterende tid, vi havde, var bare at bruge monolyd til hele oplevelsen. Uden den finkornede kontrol af lydfeltet, som jeg ville, troede jeg ikke, det var værd at komme ind.

Men vent! Hvorfor har du et helt afsnit om rumlig lyd, hvis du ikke engang brugte det til dette projekt? Der er en grund til det:

Du bør ikke bruge stereolyd med 360-video.

Hvis der er noget, du skal fjerne fra dette afsnit, er det, at stereolyd ikke fungerer godt med 360-video, medmindre du ved, hvordan man gør hovedlåst stereo oven på ambisonics. Desværre er der dem, der uploader 360 videoer med bare almindelig stereo (selvom de ved bedre), uden at tænke over, hvad der sker, når du vender dit hoved. Jeg kryber hver gang. Okay, jeg er færdig med mit spil, lad os gå videre.

Tilgængelighed

Der er et par problemer med hensyn til tilgængelighed, som vi adresserede, og andre, der ikke blev behandlet med dette projekt. Disse vil blive inkluderet i det næste projekt. Vi har indtil videre lavet test for at sikre dig, at alt hvad du har brug for at interagere foran dig, så folk med mobilitetsudfordringer ikke behøver at se bagud. Og jeg er sikker på, at grafikken blev testet for rødgrøn farveblindhed.

At have en desktopversion (som CenarioVR gør) er en fantastisk måde at inkludere mennesker, der får bevægelsessygdom. De fleste platforme har også en implementerbar version, som du kan se som en web- eller desktop-applikation. Det er ikke VR i sig selv, især ikke med monolyd, men det er stadig som at spille et 3D-spil.

I fremtidige projekter, når vi kommer til at bruge vores egen brugerdefinerede Unity-platform, har vi muligheden for at implementere tilgængelige indstillinger for 360-fremviseren. Vores planer kan være som følger:

- Et forstørrelsesglas for at se teksten bedre

- Billedtekster

—Justering af kontrast og lysstyrke for personer med lavt syn

- Audio-kun version for blinde

Når feltet udvikler sig vil det være mere og mere vigtigt, at den teknologi, vi skaber, er tilgængelig, så det er en proces, som alle kan være en del af. Især når det kommer til uddannelse er alle felter, tilgængelighed og brugeroplevelse væsentlige komponenter til design.

Her er min yndlingsvideo om tilgængelighed i VR.

En note til VR-designere: Audio skal have lige fod!

For at pakke tingene op, vil jeg tilføje, at lyd ikke ofte er en primær overvejelse for design til VR-teknologi, selvom det giver omkring halvdelen af ​​oplevelsen. Det bliver lettere at gøre lyd til VR med gratis eller overkommelige værktøjer som Reaper (overkommelig), The Ambisonic Toolkit (gratis), Audacity (gratis) og Zoom H3VR (overkommelig).

Jeg vil også anbefale Immersive Audio Podcast til entusiaster. Det undersøges, hvor teknologien er, og hvor den går i det næste årti.

Hvis du laver pædagogisk indhold, tror jeg, at jo mere mulighed for at verificere med potentielle brugere og instruktører, at det, du laver, fungerer, desto bedre. Brugercentreret design er en metode, som jeg stærkt abonnerer på og håber at blive bedre til.

Hvis du har spørgsmål, kommentarer osv., Er du velkommen til at kontakte jtkuhn3@ncsu.edu