當前位置：首頁 > 新聞資訊 > 機器人知識 > 性能超越最新序列推薦模型，華為諾亞方舟提出記憶增強的圖神經網絡

性能超越最新序列推薦模型，華為諾亞方舟提出記憶增強的圖神經網絡

來源：AI科技大本營編輯：創澤時間：2020/6/8 主題：其他 [加盟]

用戶-商品交互的時間順序可以揭示出推薦係統中用戶行為隨時間演進的序列性特征。用戶與之交互的商品可能受到用戶曾經接觸的商品的影響。但是，用戶和商品數量的大量增加，使得序列推薦係統仍然麵臨很多重要問題：（1）對短時用戶興趣建模的困難；（2）捕捉用戶長期興趣的困難；（3）對商品共現模式的建模效率較低。為了應對這些挑戰，本文提出了一個記憶增強的圖神經網絡（memory augmented graph neural network, MA-GNN），以捕捉用戶的長期和短期興趣。

特別地，本文使用圖神經網絡對短期的商品語境信息建模，並使用共享的記憶網絡來捕捉商品之間的長期依賴。另外，本文使用雙線性函數以捕捉相關商品的共現模式。在模型評估上，本文在五個真實場景的數據集上進行了評測，並使用一係列評估指標和多個當前效果最優的模型進行了對比。試驗結果顯示，本文模型在Top-K序列推薦中效果極佳。

介紹

隨著網絡服務和移動設備的快速增加，個性化推薦係統在現代社會中正扮演著越來越重要的角色。個性化推薦係統能夠降低信息負載、滿足多種服務需求，並至少在以下兩方麵起到極大助力：（i）幫助用戶發現上百萬候選產品中的合適商品；（ii）為產品提供商創造增長營業額的機會。

在網絡中，用戶以線性順序訪問商品。用戶在未來查看的商品可能收到曆史瀏覽記錄的影響，這創造了一個具有操作性的應用場景——序列推薦。在序列推薦任務中，除了和通用推薦係統一樣需要捕捉用戶的整體興趣之外，我們認為還有另外三個重要因素需要考慮：用戶短期興趣，用戶長期興趣，商品共現模式。用戶短期興趣描述了用戶在短期內訪問商品的偏好。用戶長期興趣捕捉用戶之前訪問的和未來將訪問的商品之間的長期以來。商品共現模式則對相關商品的共現規律進行闡釋。

盡管目前已有很多序列推薦模型，但我們認為已有模型尚不能完整捕捉前文提到的三個因素。首先，Caser, MARank, Fossil等人僅對用戶短期興趣進行了建模，忽略了商品的長期依賴關係。第二， SARSRec等類似模型沒有對用戶短期興趣進行有效的建模，使得模型難以理解用戶在短期內的興趣變化。第三，GC-SAN，GRU4Rec++等類似模型未能明確捕捉商品序列中的商品共現規律。由於相關商品經常共同出現，推薦模型應當對此因素加以考量。

為將上述三個因素加入序列推薦模型，本文提出了一個記憶增強的圖神經網絡（MA-GNN）。該模型包括一個整體興趣模塊，一個短期興趣模塊，一個長期興趣模塊，以及一個商品共現模塊。在整體興趣模塊中，我們使用矩陣分解對用戶整體興趣建模，該模塊不包含商品對序列變化信息。在短時興趣模塊中，我們使用一個GNN結構加入商品的鄰接關係信息，以構成用戶的短期興趣。

這一結構能夠捕捉較短時期的情境信息和結構。為了對用戶的長期興趣建模，我用使用一個鍵值記憶網絡（key-value memory network）以基於用戶的長期商品序列形成對用戶興趣的表征。通過該方法，在推薦一個商品時，其他具有相似偏好的用戶也會成為影響因素。為了綜合用戶的長期和短期興趣，我們在GNN框架中引入了門機製，和LSTM網絡中的門機製類似。這一機製對長時和短時興趣在模型中的貢獻度進行控製。在商品共現模塊中，我們使用了一個雙線性函數以捕捉商品序列中高度相關的商品。我們在五個真實世界的數據集上對模型進行了評估，並使用一係列評估指標，和多個當前最先進的模型進行了對比。試驗結果顯示了本文模型相較於其他模型在推薦效果上的提升，並展示了上述模塊的有效性。

總體而言，本文的主要共現為：

為了對用戶短期和長期興趣建模，提出一個記憶增強的圖神經網絡，以捕捉短期情境信息和長期依賴；

為了高校融合短期和長期興趣信息，提出了GNN框架中的門機製；

為對商品共現模式進行建模，使用雙線性函數來捕捉商品之間的特征關聯；

在五個真實世界數據集上進行評估試驗，結果顯示MA-GNN的效果顯著由於已有的序列推薦模型。

相關工作

整體推薦

早期的推薦模型主要研究顯性反饋，近期研究則逐漸轉向隱性數據。使用隱性反饋的協同過濾（collaborative filtering, CF）往往被認為是一個Top-K推薦認為，該任務的目標即為用戶推薦一個可能感興趣的商品列表。這一任務更具有實際性和挑戰性，且更適合真實世界的推薦場景。早期的相關工作主要使用矩陣分解技術學習用戶和商品的隱性特征，基於神經網絡的方法也經常被采用。

序列推薦

序列推薦模型將商品序列作為輸入信息。一個經典方法是使用馬爾可夫鏈對數據建模。FPMC, TransREC都屬於此類方法。近期，受自然語言處理中序列學習的啟發，學者們提出了基於（深度）神經網絡的方法，包括基於卷積神經網絡（CNN）、基於循環神經網絡（RNN）等。注意力機製、記憶網絡也在序列推薦模型中得到應用。

本文和已有模型的不同之處在於，模型使用記憶增強的圖神經網絡以捕捉長期和短期興趣。另外，本文加入了一個商品共現模塊，以對高度相關的商品建模。

問題定義

本文考量的推薦任務將序列的隱性反饋作為訓練數據。用戶興趣通過一個用戶-商品的線性序列進行表征，公式如下：

	創澤智能機器人中國智能服務機器人領軍企業，涵蓋商用、家庭、特種等多用途的智能機器人產品體係，十幾年行業應用解決方案提供商