上圖是大家整個召回系統的結構框架。通信模塊和存儲模塊集成了一些異步IO通信機制和緩存機制,提升了需要到多個索引庫里面查詢時并發的性能,提升了查詢效率。
另外兩個技術難點的解決主要靠意圖分析和查詢生成器,根據搜索和推薦不同的請求去適配到下游不同的索引庫里面去取內容,同時在系統中的解耦算法和工程方面,提升系統可擴展性和并發工作的效率。
查詢生成過程引入了邏輯層和物理層的概念,物理層即索引池,物理層對外暴露的是異構索引系統的一些具體查詢的API接口,通過這些接口的調用真正完成具體的索引對內容的獲取。而邏輯層更多體現在算法上,通過對查詢的意圖分析,轉化為邏輯層一個或多個從索引中獲取信息的意圖,例如熱點,興趣圖譜等。邏輯層到物理層的映射可以理解類似于搜索引擎里query rewrite的過程,每一邏輯層的意圖被翻譯成若干物理層索引API的調用。
以邏輯層的興趣圖譜為例,通過這個用戶畫像里面的具體興趣,比如,某位用戶對“互聯網思維”感興趣,基于興趣圖譜的獲取,它會把這個興趣點轉化成頻道推薦索引、搜索系統、人工運維的精選池三方面的物理獲取途徑進行查詢,從而召回一些關聯興趣頻道的內容,相關源的內容以及人工需要去展現出的內容。
總之,通過這樣一種把邏輯層和物理層分開的方式,有效分離了算法邏輯設計和實際索引物理訪問之間的耦合,達到了讓二者工作更好并行的效果。
雙模型排序框架滿足搜索+推薦需求
最后和大家快速過一下我們為支持深度融合搜索和推薦,在排序框架和算法產品策略支持方面的一些工作。
在排序框架上,我們現階段主要支持兩種模型更新框架,一是周期性batch更新模型的框架,二是支持online learning的準實時模型更新框架。能夠滿足現有的搜索和推薦方面在排序方面的需求。
工作流服務框架支持算法產品策略靈活調整
在算法產品策略方面,因需求靈活多變、對系統開發效率要求較高,我們引入了一個基于Akka actor model的流式的服務框架,采用全配置驅動的方式動態生成工作流,從而達到對產品邏輯、算法策略方面的快速支持。
今天的分享由于時間原因很快就要結束了,在摸索如何融合搜索引擎和個性化推薦系統我已經走過三四年,這其中有許多我過去的思考以及在一點資訊團隊所做的實踐方面的工作。整個興趣引擎要做的工作還非常復雜且有挑戰性,也非常歡迎對興趣引擎感興趣的同學能夠與我們有一些更多的交流。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
海藝AI的模型系統在國際市場上廣受好評,目前站內累計模型數超過80萬個,涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景,基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機器人市場出貨1,2萬臺,同比增長33%,顯示出品類強勁的市場需求。