空間音頻是沉浸式體驗的關鍵拼圖之一。盡管現在的耳機設備在實現空間音效方面已經取得了長足的進步，但離真正的空間音效感依然存在距離。在微軟看來，要實現最為契合的音頻體驗，一種解決方案是在物理空間設置多個揚聲器，然后音頻系統中揚聲器的輸出可根據用戶的位置或頭部位置進行調整，從而提供匹配的對象聲音感知。

　　在名為“Mixed reality complementary systems”的專利申請中，微軟描述了一種相關的空間音頻系統。具體來說，在各種實施例中，設備可以通過多個聲音系統來提供逼真的音頻MR體驗。

　　在一個示例中，MR空間音頻系統具有分布在MR空間內的一個或多個揚聲器。MR聲音系統直接向佩戴MR頭顯的用戶提供聲音。代表MR體驗中響應事件的聲音的音頻信號由每個聲音系統播放。在各種實施例中，音頻文件可以通過一個或多個MR設備聲音系統和一個或多個MR空間聲音系統的一個或多個揚聲器進行混合和播放。

　　圖1是數字表示的示例MR空間100。MR空間100可以是要發生MR體驗的房間、結構或其他區域。可以通過最初使用一個或多個MR設備110、115、120掃描MR空間100來創建MR空間的數字表示。如果先前已掃描過空間，則可能已存儲空間數據并簡單地檢索空間數據，以方便MR體驗。

　　空間的數字表示可以以許多不同的方式生成，并且多個空間的數字表示可以用于各種MR體驗�？梢允褂弥T如微軟HoloLens這樣的設備掃描空間。在進一步的實施例中，可以使用多個設備來執行掃描并協作以貢獻幾何體。在進一步的實施例中，可以使用不同的設備，并利用LIDAR或其他測距機制的其他設備。掃描包括幾何體掃描，并且可以由能夠捕獲到空間內的對象和表面的距離并生成包含空間數據的空間的三角形網格表示的任何設備來執行。

　　MR空間聲音系統130的第一聲音系統包括布置在MR空間100內或周圍的多個揚聲器132、134、136、138和140。在各種示例中，揚聲器可以是有線或無線揚聲器。計算系統145用于從MR設備110、115、120接收數據，并為MR體驗提供處理能力。

　　在MR體驗期間，聲音可以通過房間(MR空間)揚聲器或每個單獨的MR設備聲音系統播放。一個實施例中的聲音包括存儲在諸如MR空間聲音系統130的一個或多個聲音系統上以及MR設備110、115、120聲音系統中的每一個的音頻數據文件。每個MR設備聲音系統和MR空間聲音系統可以在共享MR體驗中聯網在一起，并且具有對MR空間和體驗的共享理解，例如MR體驗中發生的事件以及其他數據，例如用戶在MR空間中的位置、用戶偏好、用戶狀態、用戶能力，易于同步以及與MR體驗相關的其他數據。MR空間音響系統和MR設備音響系統根據共享的理解混合音頻數據文件中的聲音。

　　音頻數據文件可在響應事件需要之前進行分發和預緩存。在進一步的實施例中，可以在一個或多個中央系統中執行聲音的混合，并將聲音流式傳輸到空間揚聲器和MR設備揚聲器。在不同的示例中，空間揚聲器可以是有線或無線揚聲器。

　　MR空間聲音系統130可識別每個揚聲器的聲音，以提供更真實的聲音，響應MR空間中虛擬發聲物體的位置。當表示為MR設備110的用戶與全息圖映射155交互時，音頻數據文件中的映射頁面聲音可以定向到揚聲器138。揚聲器138嵌入或以其他方式由桌子支撐，并位于全息圖155附近。因此，可將全息圖聲音感知為由全息圖155發射。

　　MR設備110同時可以具有聲音文件，或者可以選擇接收聲音以在音頻信號中播放。來自桌面全息圖的聲音通過桌面揚聲器播放。可以在MR設備110揚聲器播放環境或聲音重音音頻數據文件(例如用戶耳朵發出的子彈呼嘯聲)。

　　在一個實施例中，一個音頻系統關注來自全息圖的音頻，而另一個音頻系統關注環境/大氣聲音/音樂。這種分割通道方法同時可以應用于任何聲源。例如，基于用戶的MR設備提供的用戶的位置，來自虛擬角色的聲音可以完全從MR設備110聲音系統音頻文件發射，或者可以完全從基于MR空間聲音系統130音頻文件的桌面發射。

　　在一個示例中，MR空間音響系統130是適合播放較深聲音的較大音響系統，而較小的音響系統(MR設備音響系統)播放中高頻聲音。這使聲音更容易同步體驗，因為高頻聲音與低頻聲音的同步比高頻聲音與其他高頻聲音的同步更容易，因為高頻聲音的波長較短�；�本概念類似于將桌上揚聲器用作非本地公共低音炮。

　　其他示例可能包括通過MR空間音響系統播放叢林或海洋聲音。如果虛擬鳥或全息鳥在MR空間飛行，則MR設備音響系統揚聲器可以播放更高頻率的叢林聲，或者可以通過MR空間音響系統播放具有方向效果的叢林聲。兩個音響系統之間的聲音分割可以是基于體驗驅動的，而這在設計MR音頻體驗時提供靈活性。

　　MR空間音響系統130的揚聲器的聲音可以更容易地同步，因為揚聲器可以直接由MR空間音響系統130驅動。在進一步的示例中，MR空間聲音系統130可以實現為計算系統145的一部分。在一個示例中，如果MR空間100中有多個用戶，則可通過MR空間聲音系統130播放爆炸聲及后續音效，例如通過MR設備聲音系統或設備的聲音系統播放玻璃破碎和叮當聲。

　　在一個示例中，事件可能具有包括定時信息和音頻文件標識符的相關音頻信號�；蛘�，MR設備的一個音響系統可以提供音頻信號。每個MR設備音響系統使用這些音頻信號來確定播放哪個音頻文件以及何時播放。音頻文件可以預先存儲在每個MR設備和MR空間聲音系統130上，或者在進一步的示例中甚至可以實時下載。用戶語音同時可以通過MR設備聲音系統在多個用戶之間提供。

　　圖2是示例MR設備200的框圖。MR設備200設計為供用戶佩戴，并且經由顯示器210提供混合現實視圖。顯示器210可以是將全息或虛擬圖像投影到MR空間的透明顯示器。MR設備200用于記錄不同類型的數據，例如慣性運動單元(IMU)數據215。MR設備200同時包括各種數據記錄或文件，例如空間數據220和聲音文件225。IMU數據可由商用MR頭顯中的慣性傳感器提供。

　　MR設備110同時包括處理器230和通信模塊235，用于與計算系統145通信和接收代表MR體驗的共享理解信息，并向其他設備提供數據，例如IMU數據215提供的位置信息。MR設備110還可以由用戶穿戴者配置為基于用戶偏好過濾音頻信號。處理器230可以使用所述偏好以及共享的理解信息來執行MR設備110聲音系統音頻混合功能。

　　MR設備110和計算系統145之間的交互可用于抑制或解鎖由MR設備聲音系統提供的聲音。例如在諸如尋寶之類的游戲中，每個用戶可能有不同的游戲級別。在某種程度上，額外的聲音可以“解鎖”，換句話說，比如對于10級別，鸚鵡的聲音可以解鎖，并作為進入下一關卡的線索。通過每個用戶的MR設備執行音頻文件的選擇和混合，每個用戶可以自己前進，但大家都可以通過空間聲音系統130的揚聲器經由第一聲道音頻提供的背景叢林聲音。

　　如上所述，每個音響系統選擇音頻文件和從音頻文件混合聲音的能力提供了選擇在MR體驗期間如何在MR空間播放和感知聲音的能力。

　　在一個示例算法中，在MR空間音響系統揚聲器上播放低于選定頻率的聲音。高于所選頻率的聲音引導至用戶的MR設備揚聲器。例如，算法可以根據用戶位置和與MR空間內全息圖的交互而變化。所選頻率的選擇可以是完全任意，甚至可以基于每個聲音系統的揚聲器的相對保真度。換言之，不同頻率的聲音引導到聲音系統，以便用戶主觀上會聽到更好的聲音。關于所選頻率范圍放大的個人用戶偏好同時可用于混合聲音，以便聽力受損的用戶能夠更好地聽到相關聲音。

　　在另一個示例中，來自虛擬源的聲音可以通過MR設備聲音系統和MR空間聲音系統進行不同的混合。在叢林MR體驗空間中，可以根據用戶MR設備的位置和全息圖獵豹的位置播放獵豹咆哮。如果在空間中彼此遠離，則只能通過MR空間音響系統播放聲音。如果彼此靠近，低頻聲音可以由附近的MR空間聲音系統130揚聲器播放，而高頻聲音由用戶的MR設備聲音系統播放。較高頻率的聲音可能與較低頻率的聲音同步，給人以獵豹靠近的感覺。

　　MR空間聲音系統130音頻或空間音頻可以在多用戶MR體驗中共享�？臻g音頻的混音可能受用戶位置的影響。例如，假設空間中的一個揚聲器有第一個用戶和第二個用戶。第一個用戶在虛擬獵豹旁邊。第二個用戶在5米之外。MR空間音響系統可以以適合第二用戶聽到的音量播放獵豹聲。靠近揚聲器的第一位用戶的MR音頻系統會混合音頻信號以增加獵豹的聲音，以補償房間揚聲器的音量降低。當第二個用戶移向獵豹時，共享空間揚聲器混音的音量會增加。第一和第二用戶的MR陰癖系統調整其私人混音，以適應房間揚聲器的變化。

　　每個設備的混音也可以基于空間相關音頻執行。例如，想象一個占據一半空間的虛擬龍卷風。如果第一個用戶在龍卷風中，但第二個用戶沒有，揚聲器將需要播放適合第二個用戶的音頻，而第一個用戶的MR設備通過混合音頻進行補償，使第一個用戶聽到他們在虛擬龍卷風中。但如果兩個用戶都在龍卷風中，MR空間音頻系統可以為揚聲器混音，指示其在龍卷風中，并且第一個用戶的設備不再需要補償。

　　圖3是示出在不同聲音系統之間在混合現實體驗中分割聲音的計算機實現方法300的流程圖。在操作310，接收在混合現實空間中的混合現實體驗期間發生的事件的指示。操作320識別與預期用于混合現實空間聲音系統的事件相對應的第一音頻數據。操作330識別與預期用于第一用戶的第一混合現實裝置聲音系統的事件相對應的第二音頻數據。在一個實施例中，第一音頻和第二音頻數據可以包括一個或多個數字音頻數據文件。在操作340處，將第一音頻和第二音頻數據提供給各個混合現實空間聲音系統和第一混合現實設備聲音系統中的揚聲器。

　　在一個實施例中，每個聲音系統可以聯網在一起，并且對關于混合現實空間體驗的信息(包括正在發生的事件)具有共享的理解。聲音系統使用對信息的共享理解來混合來自數字音頻數據文件的聲音，從而為一個或多個用戶提供更好的混合現實音頻體驗。

　　混合現實空間聲音系統基于共享的理解信息混合來自一個或多個第一音頻數據數字音頻數據文件的聲音，這包括一個或多個事件、混合現實空間中的用戶位置、最低用戶音頻電平、共享用戶設置、一個或多個揚聲器的特性，并且易于與第一臺混合現實設備同步聲音。在一個實施例中，可以存在多個混合現實空間聲音系統，每個混合現實空間聲音系統用于一個或多個混合現實空間揚聲器。

　　房間中的用戶位置可能包括與全息圖相關的距離/角度/方向信息。用戶位置還可以指示用戶在具有音頻的特定區域內，例如用戶是否在虛擬龍卷風內。

　　最低用戶音頻電平與房間揚聲器的音量有關。如果用戶聽不到特定的聲音(用戶a在體驗中沒有解鎖小鳥，但其他用戶有)，特定聲音(小鳥歌曲)將不會通過房間音頻播放。如果一個用戶離聲源/聲音觸發區域太遠，則房間揚聲器的聲音將僅在距離最遠的人應該聽到的音量下播放。

　　共享用戶設置和能力\每個音響系統的揚聲器特性同樣可用于混音。

　　在另一個實施例中，與MR設備聲音系統音頻同步的容易程度可以基于由于頻率、聲音特征與短流行音樂或需要最小同步的聲音而導致的匹配的容易程度。

　　第一混合現實設備聲音系統基于共享的理解信息混合來自一個或多個第一音頻數據數字音頻數據文件的聲音，混合來自一個或多個第二音頻數據數字音頻數據文件的聲音，第一用戶偏好、用戶狀態、混合現實設備揚聲器的特性以及與第一混合現實設備的聲音同步的容易程度。其他用戶的其他混合現實設備也這樣做，以便每個用戶都能獲得增強的個性化音頻體驗。

　　用戶在房間中的位置可能包括與全息圖相關的距離/角度/方向，或者如果用戶在音頻的特定區域內，例如是否在虛擬龍卷風內。每個MR設備聲音系統可以使用用戶偏好和用戶狀態來混合適合每個用戶級別的聲音。揚聲器的功能\特性以及與房間音頻的易同步性同時可以類似于MR空間音響系統使用的方式使用。

　　方法300可包括識別與第二混合現實設備聲音系統的事件對應的第三音頻數據的操作350。在操作360，為混合現實空間中的第二用戶向第二混合現實設備聲音系統的揚聲器提供第三音頻數據信號。

　　圖4是示出通常在400處對應于爆炸事件的示例數字音頻數據文件的框圖。多個數字音頻數據文件可按事件類型編制索引。例如，可能存在多種不同類型的爆炸，每種爆炸具有不同的數字音頻數據文件。圖4顯示了三種類型的爆炸：A、B和C。另外可以存在多個不同類型的事件，每個事件與一個或多個數字音頻數據文件關聯。

　　另一個示例可能包括聲音系統在特定時間播放的槍聲音頻文件。MR設備音響系統的音頻文件可包括呼嘯聲MP3文件，用于在MR設備音響系統揚聲器中創建與穿過佩戴者的一顆或多顆子彈相對應的聲音，同時MR空間音響系統在子彈穿過聲音之前播放槍聲。

　　在各種實施例中，所述文件中的每一個可以具有眾多不同的選項。所述選項可以包括不同類型的爆炸，不同類型槍發射的不同數量的子彈，以及子彈在撞擊全息圖對象時發出的不同聲音。

　　圖5是用于實現一個或多個設備的計算機系統500的框圖。在各種實施例中，不需要使用所有組件。

　　名為“Mixed reality complementary systems的微軟專利申請最初在2020年6月提交，并在日前由美國專利商標局公布。