Apple Vision Pro設計解析(第五集)-空間音訊

Cheryl Fang
Able Studio
Published in
Jun 17, 2023

--

前言

在前篇文章中,我們介紹了在空間性設計中,要如何更好的結合同播共享(SharePlay)和空間性平台使用角色(Spatial Persona)。而本篇文章,我們將進入空間音訊(Spatial Audio)設計,來打造更具沉浸感的體驗。

Explore immersive sound design

在現實世界中,我們可以通過聲音來辨別物體的位置,聲音經過家具的反射傳到我們的耳朵,因此我們可以通過音源的方向及音量大小來辨別物體的位置。而在空間性設計平台中,系統也可以模擬這樣的聲音表現,因為它知道你現在待在甚麼樣的空間。

在進行更深入的討論之前,依照慣例,我們先為大家整理出本集的主題架構:

Drawn by Able Studio

本篇文章結合了一些影片來幫助大家更好的了解空間音訊(Spatial Audio)建議大家戴上耳機感受喔!

Spatial Audio

在談論如何設計空間音訊(Spatial Audio)之前,我們需要先了解甚麼是空間音訊。根據音源擺放的位置不同,聲音會有不同的表現,舉例來說,這個是杜比環繞聲測試的影片:

杜比環繞音響測試中,我們可以對比看到的音源和聽到的聲音

在影片中我們可以“看到”聲音從不同的方向傳過來,同時我們會從耳機中的左右聲道聽到不同的音量大小,這種空間性聲音技術能讓我們的體驗更有沉浸感,並且已經被廣泛應用於音樂、電影、或是遊戲等等。

空間音訊已被用於各式各樣的多媒體

而 Apple Vision Pro 則帶來一種更近一步的體驗,因為系統能夠辨識並模擬周遭的環境,所以帶來的音訊體驗將會更生活化,有別於以往多用於電影、遊戲、音樂等相對平面的媒介中,在未來,我們可以把這種沈浸式的聲音體驗也帶入生活中。

Interaction sounds

通過為互動增加使用者熟悉的音效,我們可以幫助使用者更容易使用空間性設計,舉例來說,當我們在空間性平台中和虛擬鍵盤互動時,會發出鍵盤的聲音,就像是我們在 iPhone 上打字一樣,熟悉的鍵盤聲可以讓使用者更容易理解與使用。

另外,當我們在敲擊鍵盤的時候,會發現每次點擊鍵盤的聲音都會有所不同,這種聲音的隨機性可以協助讓互動更貼近真實世界的狀態。

在 Vision pro 中使用鍵盤 captured from WWDC 2023
與 iPhone 相似的按鍵音可以為使用者增加熟悉感

另一個空間音訊設計的範例是瀏覽照片。當我們在瀏覽照片時,會有幾個地方需要用到音效,從 2D 切換到 3D 觀看模式時和瀏覽相簿的時候。

從 2D(左)切換到 3D(右)觀看模式 captured from WWDC 2023

當我們在設計聲音的時候,我們可以從日常生活中的聲音取材,像是將移動窗戶的聲音作為切換觀看模式的音效,或是使用切換投影片的方式當作瀏覽相簿的音效。

瀏覽相片(由左至右)captured from WWDC 2023

但是這裡就出現了一個問題,這些聲音固然很有趣,卻無法在視覺上和瀏覽、切換等行為配合。當我們在進行空間音訊設計的時候,聲音需要恰到好處,並在正確的時間點提供剛好足夠的資訊。每個音效都需要被精心設計過,讓它可以個符合你的整體使用者介面。

Immersive Apps

接下來,讓我們進入到更具有沉浸感的空間音訊設計。這個是 Vision Pro 中的一個場景 — 美國奧勒岡州胡德山(Mount Hood),這個場景又被分為白天和晚上兩種模式,他們都擁有各自的空間音訊,並且可以被放在不同的應用程式下當作背景音。這些空間音訊的目標是在不干擾使用者的情況下,為他們帶來一個更具沉浸感的體驗。

胡德山的景色 captured from WWDC 2023

當我們在設計這些空間音效的時候,第一個會問的問題就是,這些聲音應該要聽起來怎麼樣?然後試著去模擬真實世界中同樣環境下的聲音,但現實往往和我們想像的不同。

舉例來說,當我們看到胡德山的場景時,想像的聲音可能是這樣的,微風徐徐的吹著,水流聲和鳥、昆蟲的聲音和諧的搭配再一起,平靜中帶點自然清新,就像是下面這個影片中一樣。

想像中的場景聲音可能很美好,就像是平台會看到的白噪音影片

但理想總是比較美好的,有時候我們到現場實際取材的時候,會發現現實距離我們的理想有點遠,你聽到的聲音可能比較像是以下的音效,風的聲音大到你聽不見其他細微的聲音。

現實中可能只會聽到風的聲音

因此當我們在設計的時候,可以重新設計這些聲音,來為整個沉浸式體驗加分,而不是使用容易造成分心的音訊來為體驗扣分。

通常在進行環境音取樣的時候,會使用一系列的麥克風來錄製不同位置的聲音,並且錄製一整天。這麼做的目的是為了讓所有環繞我們的聲音流動都能夠被收錄進去。一般來說,進行取樣的地點都是選在聲音污染較少的地方,而這些基礎的聲音就會是空間性聲音設計中的背景音。當然,現在也有很多高品質的聲音資料庫可以供我們在設計時使用。

進行環境取樣時會使用一系列的麥克風來收錄背景音(左)和各種聲音元件(右)captured from WWDC 2023

那麼要如何設計前景聲音呢?我們可以利用前面提到的空間音訊設計概念來完成我們的設計。簡單來說,就像是在真實世界中我們會從不同的方向和距離聽到這些蟲鳴鳥叫,我們也可以把這些空間音訊資源放在音訊設計的前景和中景,透過將聲音元素放在正確的位置,我們可以重現這些現實生活中的聲音體驗,創造一個具有沉浸感的聲景。

聲音元件(左)和背景音訊(右)captured from WWDC 2023

當我們把物件全部都放在前景的時候,會覺得聲音好像太大、太近了。因此我們需要調整一下聲音的距離和音量的大小,把這些物件移動到稍遠處,並將他們調小聲一點。

聲音全部都集中在前景(左)將聲音來源放在遠一點的地方並調小(右)captured from WWDC 2023

再來,我們可以在前景放幾隻青蛙,增加一點層次感。噢,但重複、單調的青蛙叫聽起來有點無聊和煩躁,而且一點都不自然。所以在設計空間性聲音的時候,我們可以為這些聲音元件增加一點隨機性,讓聽眾覺得這些聲音來自不同方向,並且由不同隻青蛙發出。

固定的青蛙發出重複的聲音(左)較多的青蛙發出隨機的聲音(右)captured from WWDC 2023

把全部組合再一起,再加上背景音,就會是一幅完整且平衡的聲景。

將所有元素組合成完整的聲景 captured from WWDC 2023

Best practice

當我們在設計空間性聲音的時候可以注意以下幾點:

Randomization:通過隨機性來讓聲音更自然
Placement:調整聲音元件的擺放位置讓整體更有層次感
Volume:注意聲音元件的音量,維持整體平衡感

這個概念不僅僅可以用於設計環境音,也可以用來設計主要的體驗。像是這個 Onboarding 動畫,我們可以將音源放在動畫處以吸引使用者注意,使用聲音來標註畫面重點。當然,我們也可以運用剛剛學到的空間音訊設計方法來加入周圍環境音,模擬聲音在空間中迴盪的感覺,讓使用者更能夠身臨其境。

為動畫設立焦點(左)並通過增加環境音來為 Onboarding 動畫增加立體感(右)captured from WWDC 2023

結語

本集為大家整理了何謂空間音訊、以及設計空間音訊的一些技巧,隨著技術不斷進步,良好的音訊設計也將為使用者帶來更具沉浸感的空間性平台音訊體驗。

附註

本集原始影片連結:https://developer.apple.com/videos/play/wwdc2023/10271

關於Apple Vision Pro的其他設計重點介紹與更多數位設計相關文章,歡迎至ABLE部落格(https://blog.able.cool)閱讀與分享!

第一集-設計總則

第二集-操作模式

第三集-使用者介面

第四集-共享體驗

第五集-空間音訊

最六集-無障礙設計

--

--

I am a junior UI/UX designer, I love sharing interesting things and am always curious to find something fun! https://www.linkedin.com/in/wanchun-cheryl-fang/