Apple Vision Pro設計解析(第五集)-空間音訊

前言
在前篇文章中,我們介紹了在空間性設計中,要如何更好的結合同播共享(SharePlay)和空間性平台使用角色(Spatial Persona)。而本篇文章,我們將進入空間音訊(Spatial Audio)設計,來打造更具沉浸感的體驗。
Explore immersive sound design
在現實世界中,我們可以通過聲音來辨別物體的位置,聲音經過家具的反射傳到我們的耳朵,因此我們可以通過音源的方向及音量大小來辨別物體的位置。而在空間性設計平台中,系統也可以模擬這樣的聲音表現,因為它知道你現在待在甚麼樣的空間。
在進行更深入的討論之前,依照慣例,我們先為大家整理出本集的主題架構:

本篇文章結合了一些影片來幫助大家更好的了解空間音訊(Spatial Audio)建議大家戴上耳機感受喔!
Spatial Audio
在談論如何設計空間音訊(Spatial Audio)之前,我們需要先了解甚麼是空間音訊。根據音源擺放的位置不同,聲音會有不同的表現,舉例來說,這個是杜比環繞聲測試的影片:
在影片中我們可以“看到”聲音從不同的方向傳過來,同時我們會從耳機中的左右聲道聽到不同的音量大小,這種空間性聲音技術能讓我們的體驗更有沉浸感,並且已經被廣泛應用於音樂、電影、或是遊戲等等。
而 Apple Vision Pro 則帶來一種更近一步的體驗,因為系統能夠辨識並模擬周遭的環境,所以帶來的音訊體驗將會更生活化,有別於以往多用於電影、遊戲、音樂等相對平面的媒介中,在未來,我們可以把這種沈浸式的聲音體驗也帶入生活中。
Interaction sounds
通過為互動增加使用者熟悉的音效,我們可以幫助使用者更容易使用空間性設計,舉例來說,當我們在空間性平台中和虛擬鍵盤互動時,會發出鍵盤的聲音,就像是我們在 iPhone 上打字一樣,熟悉的鍵盤聲可以讓使用者更容易理解與使用。
另外,當我們在敲擊鍵盤的時候,會發現每次點擊鍵盤的聲音都會有所不同,這種聲音的隨機性可以協助讓互動更貼近真實世界的狀態。

另一個空間音訊設計的範例是瀏覽照片。當我們在瀏覽照片時,會有幾個地方需要用到音效,從 2D 切換到 3D 觀看模式時和瀏覽相簿的時候。

當我們在設計聲音的時候,我們可以從日常生活中的聲音取材,像是將移動窗戶的聲音作為切換觀看模式的音效,或是使用切換投影片的方式當作瀏覽相簿的音效。

但是這裡就出現了一個問題,這些聲音固然很有趣,卻無法在視覺上和瀏覽、切換等行為配合。當我們在進行空間音訊設計的時候,聲音需要恰到好處,並在正確的時間點提供剛好足夠的資訊。每個音效都需要被精心設計過,讓它可以個符合你的整體使用者介面。
Immersive Apps
接下來,讓我們進入到更具有沉浸感的空間音訊設計。這個是 Vision Pro 中的一個場景 — 美國奧勒岡州胡德山(Mount Hood),這個場景又被分為白天和晚上兩種模式,他們都擁有各自的空間音訊,並且可以被放在不同的應用程式下當作背景音。這些空間音訊的目標是在不干擾使用者的情況下,為他們帶來一個更具沉浸感的體驗。

當我們在設計這些空間音效的時候,第一個會問的問題就是,這些聲音應該要聽起來怎麼樣?然後試著去模擬真實世界中同樣環境下的聲音,但現實往往和我們想像的不同。
舉例來說,當我們看到胡德山的場景時,想像的聲音可能是這樣的,微風徐徐的吹著,水流聲和鳥、昆蟲的聲音和諧的搭配再一起,平靜中帶點自然清新,就像是下面這個影片中一樣。
但理想總是比較美好的,有時候我們到現場實際取材的時候,會發現現實距離我們的理想有點遠,你聽到的聲音可能比較像是以下的音效,風的聲音大到你聽不見其他細微的聲音。
因此當我們在設計的時候,可以重新設計這些聲音,來為整個沉浸式體驗加分,而不是使用容易造成分心的音訊來為體驗扣分。
通常在進行環境音取樣的時候,會使用一系列的麥克風來錄製不同位置的聲音,並且錄製一整天。這麼做的目的是為了讓所有環繞我們的聲音流動都能夠被收錄進去。一般來說,進行取樣的地點都是選在聲音污染較少的地方,而這些基礎的聲音就會是空間性聲音設計中的背景音。當然,現在也有很多高品質的聲音資料庫可以供我們在設計時使用。

那麼要如何設計前景聲音呢?我們可以利用前面提到的空間音訊設計概念來完成我們的設計。簡單來說,就像是在真實世界中我們會從不同的方向和距離聽到這些蟲鳴鳥叫,我們也可以把這些空間音訊資源放在音訊設計的前景和中景,透過將聲音元素放在正確的位置,我們可以重現這些現實生活中的聲音體驗,創造一個具有沉浸感的聲景。

當我們把物件全部都放在前景的時候,會覺得聲音好像太大、太近了。因此我們需要調整一下聲音的距離和音量的大小,把這些物件移動到稍遠處,並將他們調小聲一點。

再來,我們可以在前景放幾隻青蛙,增加一點層次感。噢,但重複、單調的青蛙叫聽起來有點無聊和煩躁,而且一點都不自然。所以在設計空間性聲音的時候,我們可以為這些聲音元件增加一點隨機性,讓聽眾覺得這些聲音來自不同方向,並且由不同隻青蛙發出。

把全部組合再一起,再加上背景音,就會是一幅完整且平衡的聲景。

Best practice
當我們在設計空間性聲音的時候可以注意以下幾點:
Randomization:通過隨機性來讓聲音更自然
Placement:調整聲音元件的擺放位置讓整體更有層次感
Volume:注意聲音元件的音量,維持整體平衡感
這個概念不僅僅可以用於設計環境音,也可以用來設計主要的體驗。像是這個 Onboarding 動畫,我們可以將音源放在動畫處以吸引使用者注意,使用聲音來標註畫面重點。當然,我們也可以運用剛剛學到的空間音訊設計方法來加入周圍環境音,模擬聲音在空間中迴盪的感覺,讓使用者更能夠身臨其境。

結語
本集為大家整理了何謂空間音訊、以及設計空間音訊的一些技巧,隨著技術不斷進步,良好的音訊設計也將為使用者帶來更具沉浸感的空間性平台音訊體驗。
附註
本集原始影片連結:https://developer.apple.com/videos/play/wwdc2023/10271
關於Apple Vision Pro的其他設計重點介紹與更多數位設計相關文章,歡迎至ABLE部落格(https://blog.able.cool)閱讀與分享!