眼動追蹤及相關的注視點渲染越發成為AR/VR頭顯的標配。簡單來說，我們人眼對注視點區域的敏銳度最高，而外圍視場則比較模糊。利用這一特點，我們可以追蹤用戶眼睛的注視點位置，然后集中渲染注視點區域，并降低外圍視場的渲染性能。這可以有效提高能效并幫助實現更高的刷新率。

　　但在使用注視點渲染時，如果眼動追蹤失靈并造成眼動追蹤數據輸入丟失，系統應該如何應對呢?日前美國專利商標局公布了一份名為“Recovery from eye-tracking loss in foveated displays”的蘋果專利申請，而這份文件主要介紹了注視點顯示器應對眼動追蹤輸入數據丟失的緩沖方法，尤其是針對動態注視點渲染。

　　所述發明涉及用于注視點內容(如動態注視點內容)的恢復技術。蘋果解釋道，對于注視點內容，圖像的特定方面(例如細節量、分辨率、圖像質量或亮度)可以基于用戶眼睛注視點之于顯示器的位置進行改變，例如最優化用戶注視區域的圖像質量，并降低外圍區域的圖像質量，從而減少電子顯示器顯示內容的功率量、用于生成內容的計算量以及用于流式顯示內容的帶寬量。

　　對于靜態注視點渲染，對于向用戶顯示的每一幀內容，顯示器固定地為各個區域分配不同的分辨率。對于動態注視點渲染，顯示器將動態地根據用戶注視點的變化而而改變不同區域的分辨率。

　　所以對于動態注視點渲染，在蘋果描述的一個實施例中，電子設備可以包括配置成向用戶顯示內容的顯示器系統，配置成追蹤用戶眼睛注視點的眼動追蹤器系統，配置成確定顯示器高分辨率區域大小和位置的注視點系統，以及用于改變顯示區域圖像質量的處理電路。

　　在一個實施例中，將來自眼動追蹤系統的連續輸入提供給注視點系統，并用于確定顯示器高分辨率區域的大小和位置。這時，處理電路可以響應高分辨率區域的大小和位置致使顯示器執行相應操作，亦即在對應于注視點位置的顯示器區域以高分辨率顯示圖像，并且注視點區域以外的外圍區域以較低分辨率顯示圖像。

　　如果眼動追蹤系統不能確定用戶眼睛的注視點，或者如果與眼動追蹤系統的連接中斷，則動態注視點渲染會失靈，亦即高分辨率圖像顯示區域不能再對應于用戶的眼睛注視，從而可能減損用戶體驗質量。

　　針對這個問題，處理電路可以改變注視點區域的一個或多個方面(例如大小和分辨率等)，以應對眼動追蹤數據的丟失，直到滿足閾值。隨著時間的推移，由于失去了眼動追蹤數據，注視點區域向顯示器的中心區域移動。換句話說，如果出現眼動追蹤數據丟失，系統可以擴大注視點區域，亦即擴大高分辨率顯示區域的大小(甚至整個顯示器完全采取高分辨率顯示)，并且同時將高分辨率顯示區域向顯示器的中心區域移動，以這種方式來暫時應對眼動追蹤數據輸入的丟失，直至眼動追蹤輸入的恢復。

　　圖7A是表示利用靜態注視點渲染的示例。在靜態注視點渲染，電子顯示器的各分辨率區域保持固定的大小和位置。如圖所示，電子顯示器18包括高分辨率區域62、中分辨率區域64和低分辨率區域66。

　　作為一個示例，低分辨率區域66的分辨率可以是約10像素/度(ppd)，中分辨率區域64的分辨率可以是約20 ppd，高分辨率區域62的分辨率可以是約40 ppd。

　　圖7B是動態注視點渲染的示例。圖70包括第一框72、第二框74和第三框76，每個框具有高分辨率區域78、中等分辨率區域80和低分辨率區域82。第一框72、第二框74和第三框76各自可以表示單個內容框的不同部分(即單個圖像的不同部分)，或者各自可以表示連續內容幀的不同內容幀。

　　框72、74、76基于用戶眼睛注視點而移動到電子顯示器18的不同位置。在從第一框72到第二框74的轉換期間，亦即當用戶眼睛注視點從第一框72的位置移動到第二框74的位置時，高分辨率區域78和中分辨率區域80從電子顯示器18的左下角附近移動到電子顯示器18的上中位置，以此類推。

　　圖10A是具有中等分辨率區域102和高分辨率區域104的電子顯示器18。高分辨率區域104和中分辨率區域102位于低分辨率區域100內。高分辨率區域104和中分辨率區域102以用戶眼睛注視點106為中心。

　　圖10B是根據用戶眼睛注視點106在電子顯示器18的移動而移動中分辨率區域102和高分辨率區域104。換句話說，當用戶眼睛注視點106遠離電子顯示器18的中心時，中分辨率區域102和高分辨率區域104各自以箭頭108指示的相同速度在相同方向移動。只要眼睛注視點106保持相同的方向和速度，中等和高分辨率區域102、104將保持相同的方向和速度。如果改變方向或速度，則中分辨率區域和高分辨率區域102、104以改變成相同的方向或速度以基本相同。

　　圖10C是針對注視點追蹤丟失的一個響應示例。為了指示眼動追蹤數據的丟失，圖10C中沒有示出用戶眼睛的注視點106。當發生眼動追蹤丟失時，中等分辨率區域102的大小和高分辨率區域104的大小在注視點106的最后已知位置附近增加。中分辨率區域和高分辨率區域102、104的移動可在注視點106的最后已知位置停止，亦即不再移動。在特定情況下，中分辨率區域102和高分辨率區域104的大小成比例地增加，甚至完全覆蓋顯示器的所有區域。

　　在另一種情況中，為了減少處理量，當發生眼動追蹤丟失時，可以減少高分辨率區域的大小，而轉而增加中分辨率區域的大小，甚至將中分辨率區域的大小完全覆蓋顯示器的所有區域。

　　圖12A是具有布置在低分辨率區域100內的中分辨率區域102和高分辨率區域104的電子顯示器18。高分辨率區域104和中分辨率區域102以電子顯示器18的用戶眼睛注視點106為中心。

　　在圖12B中，眼睛注視點在電子顯示器18沿著箭頭140移動，而中等分辨率和高分辨率區域102、104同樣沿箭頭140的方向移動。中分辨率和高分辨率區域102、104的移動速度可以與注視點106的速度相同。

　　在圖12C中，當發生眼動追蹤丟失時，中分辨率區域102的大小開始增大，而高分辨率區域104的大小或分辨率則開始減小。對于這種方式，盡管處理能力因中分辨率區域的增加而增加，但同時可以通過高分辨率區域104的大小或分辨率減少而減少。

　　相關專利：Apple Patent | Recovery from eye-tracking loss in foveated displays

　　名為“Recovery from eye-tracking loss in foveated displays”的蘋果專利申請最初在2021年2月提交，并在日前由美國專利商標局公布。需要注意的是，這只是一份發明，不確定蘋果是否會或于何時將其應用于頭顯產品。另外，不清楚實際的應用效果。