圍繞人工智能的炒作是無可避免的。雖然人們的注意力一直集中在生成式人工智能(GenAI)的大型語言模型(LLM)和數據中心上，但在物聯網(IoT)的邊緣，整個世界都在迅速發展。在這里，多模態感知和人工智能分析應用于資源受限的環境，以提供情境感知計算，使設備更直觀、更智能、更實用、更易于使用。這些支持人工智能的邊緣設備，如顯示器、音箱、安全系統、筆記本電腦、平板電腦和工業控制系統，幾乎獨立于數據中心運行，利用本地化、低延遲處理來創造這些增強的用戶體驗，同時保護隱私，并節省能源和網絡帶寬。

　　最近一系列以人工智能為重點的個人電腦和智能手機的發布，預示著人工智能的下一次重大轉變——GenAI和邊緣推理在高度優化的物聯網設備上的交集，適用于消費者、企業和工業應用。

　　而這種結合邊緣人工智能的機會，將改變我們與技術的互動方式。

　　物聯網邊緣的人工智能

　　在邊緣設備中實現人工智能，需要我們通過觸摸、音頻、語音、視覺、視頻或其他“現實世界”數據來感知和收集輸入，處理這些數據并連接到另一個設備或網絡。這些操作必須在規模、功耗、成本和計算效率方面做到最好。這是在加入GenAI之前。問題在于，人工智能軟件在邊緣運行的能力遠遠領先;硬件基礎——驅動所需的處理和連接的芯片，正在迎頭趕上。

　　以生成語音轉文本應用為例。這種應用越來越普遍，可通過基于云的連接在具有先進處理硬件的設備中使用，如PC和智能手機。挑戰在于將這種能力遷移到更小的、電池供電的邊緣設備上，這些設備缺乏必要的GenAI計算資源。

　　目前的解決方案主要建議改造其他系統中使用的現有硬件方法，例如CPU、MPU和GPU，并將其安裝到邊緣IoT設備上。這些芯片和電路板不太適合低功耗設備的需求。成本模型具有挑戰性，芯片制造商經常嘗試利用“淘汰”策略來重新利用和限制原本用于其他類型產品的芯片的性能。

　　我們需要一種新的硅片設計方法，這種方法明確針對邊緣AI計算進行了優化。我們稱之為AI原生方法。

　　AI原生：全新硬件類別及更多

　　從硬件角度來看，這種AI-Native方法將可擴展的異構處理元素(CPU、GPU、NPU和DSP)組合在一系列IC中，為各種應用提供合適的計算能力。

　　使應用程序開發人員面臨的挑戰更加復雜的是，邊緣計算和物聯網總體而言是一個比數據中心更加分散的領域，數據中心的標準已經非常完善，主要由芯片供應商和超大規模企業制定。在物聯網中，處理和連接數據的多種專用方法破壞了一致性和可預測性的目標。

　　鑒于此，在物聯網設備中實現人工智能功能雖然誘人，但也增加了復雜性，并可能讓開發人員、客戶和用戶感到沮喪。無論如何，圍繞邊緣人工智能的炒作和FOMO導致了各種特殊和專有解決方案的出現。這些解決方案基于傳統硬件和軟件以及相關的開發環境，無法有效利用人工智能的潛力。

　　除此之外，目前在實施人工智能方面存在著一種停滯狀態，尤其是首次實施時。在某些情況下，企業有數據，但沒有人工智能模型，或者不知道從哪里開始開發它們。那些擁有模型的企業往往面臨著一個令人困惑且不兼容的生態系統，其中包括開發輔助工具、硬件平臺和編程工具來部署它們。很多企業都在觀望，意識到了機會，但不確定如何利用。

　　因此，除了優化的硬件之外，開發人員還需要一種適用于物聯網的“邊緣AI”類型的開發環境。這將包括訪問開源工具和模型，而不僅僅是與一種實施方法綁定的供應商特定產品，，以構建針對工作負載優化的解決方案。

　　基礎牢固

　　好在，在將人工智能應用于視覺、音頻、語音和其他消費物聯網模式方面，已經做了很多工作。然而，專注于為AI工作負載提供合適規模的處理和工具/框架，將能夠在幾乎無限范圍的物聯網應用中實現具有成本效益的情境感知。

　　這種新型AI原生處理器，由支持生態系統、開發工具和真正的AI優先方法支持，將成為解決邊緣情境感知計算和GenAI的基礎。它將加速開發和采用更有用、更有意義的IoT設備，以滿足不受數據中心束縛的用戶不斷變化的AI需求。