創澤機器人
CHUANGZE ROBOT
當前位置: 首頁> 新聞資訊> 機器人開發> 讓大規模深度學習訓練線性加速、性能無損,基於BMUF的Adam優化器並行化實踐

讓大規模深度學習訓練線性加速、性能無損,基於BMUF的Adam優化器並行化實踐

來源: AI科技大本營編輯: 創澤時間:2020/5/29 主題: 其他[ 加盟]

作為一種自適應步長隨機梯度優化器,自2014年提出以來,Adam 算法便以其卓越的性能風靡深度學習領域。為了提高應用於訓練大規模任務時的效率,該算法通常與同步隨機梯度(Synchronous Stochastic Gradient,SSG)技術相結合,采用數據並行(data parallel)的方式在多台機器上執行。在本文中,我們稱這一方法為 Sync-Adam。

本質上來講,Sync-Adam 通過將一個 minibatch 內樣本的梯度計算分布到多台機器上達到加速目的,因此通信十分頻繁,並且隨著並行機器數目增多,minibatch 內樣本的數量也成比例增加,這種情況下,通常會損害最終得到的模型的性能。為解決基於 SSG 的 Adam 算法可擴展性差的難題,我們把目光投向了逐區塊模型更新濾波(Blockwise Model-Update Filtering, BMUF)框架。

BMUF 是一種通信高效的通用分布式優化算法框架,於2016年由微軟亞洲研究院語音組的研究人員提出並發表。該算法在多個並行工作機之間周期性同步模型更新信息,並與曆史更新信息相結合提升全局模型性能。與基於 SSG 的算法相比,BMUF 具有通信頻率較低、訓練幾乎線性加速、模型性能基本無損的特點。這一算法已經在工業界廣泛用於大規模深度學習模型的訓練。

本文中,我們采用 BMUF 框架並行化 Adam 算法,並在微軟大規模 OCR 和語音產品數據集上進行了測試。實驗結果表明,在大規模 OCR 任務中,BMUF-Adam 在多達64機的並行訓練中幾乎實現了線性加速的同時,基本沒有模型性能損失,在32機大詞彙量連續語音識別任務中也獲得了類似效果。

接下來我們探討如何采用 BMUF 框架賦能 Adam 算法,在大規模深度學習任務上成就不凡。


在基於 BMUF 的訓練框架下,假設我們總共有 N 個並行工作機,一個工作機可以是一塊或多塊 GPU 卡,也可以是一個計算節點。給定一個包含 Nτ 個 minibatch 的訓練數據子集,首先我們將這些數據均勻分布到 N 個並行工作機,每台工作機獲得 τ 個 minibatch。從一個共同的初始模型 θ_(t-τ)^((init)) 開始,N 個工作機獨立更新各自的局部模型 τ 步,得到 {θ_(t,1),θ_(t,2),…,θ_(t,N)},對局部模型取平均得到 θ ?_t。這一過程稱之為數據塊內並行優化(Intra-Block Parallel Optimization, IBPO)。與直接將 θ ?_t 作為全局模型不同,BMUF 技術將曆史更新信息與當前更新信息結合,得到全局模型:






基於深度學習和傳統算法的人體姿態估計,技術細節都講清楚了

人體姿態估計便是計算機視覺領域現有的熱點問題,其主要任務是讓機器自動地檢測場景中的人“在哪裏”和理解人在“幹什麼”

傳統目標檢測算法對比

SIFT、PCA-SIFT、SURF 、ORB、 VJ 等目標檢測算法優缺點對比及使用場合比較

基於深度學習目標檢測模型優缺點對比

深度學習模型:OverFeat、R-CNN、SPP-Net、Fast、R-CNN、Faster、R-CNN、R-FCN、Mask、R-CNN、YOLO、SSD、YOLOv2、416、DSOD300、R-SSD

如何更高效地壓縮時序數據?基於深度強化學習的探索

大型商用時序數據壓縮的特性,提出了一種新的算法,分享用深度強化學習進行數據壓縮的研究探索

滴滴機器學習平台調度係統的演進與K8s二次開發

滴滴機器學習場景下的 k8s 落地實踐與二次開發的技術實踐與經驗,包括平台穩定性、易用性、利用率、平台 k8s 版本升級與二次開發等內容

人工智能和機器學習之間的差異及其重要性

機器學習就是通過經驗來尋找它學習的模式,而人工智能是利用經驗來獲取知識和技能,並將這些知識應用於新的環境

麵向動態記憶和學習功能的神經電晶體可塑性研究

神經形態結構融合學習和記憶功能領域的研究主要集中在人工突觸的可塑性方麵,同時神經元膜的固有可塑性在神經形態信息處理的實現中也很重要

CVPOS自助收銀的挑戰以及商品識別算法工程落地方法和經驗

針對結算收銀場景中商品識別的難點,從商品識別落地中的模型選擇、數據挑選與標注、前端和雲端部署、模型改進等方麵,進行了深入講解

內容流量管理的關鍵技術:多任務保量優化算法實踐

通過分析其中的關鍵問題,建立了新熱內容曝光敏感模型,並最終給出一種曝光資源約束下的多目標優化保量框架與算法

百變應用場景下,優酷基於圖執行引擎的算法服務框架築造之路

優酷推薦業務,算法應用場景眾多,需求靈活多變,需要一套通用業務框架,支持運行時的算法流程的裝配,提升算法服務場景搭建的效率

餓了麼推薦算法的演進及在線學習實踐

餓了麼算法專家劉金介紹推薦業務背景,包括推薦產品形態及算法優化目標;然後是算法的演進路線;最後重點介紹在線學習是如何在餓了麼推薦領域實踐的

拯救渣畫質,馬賽克圖秒變高清,杜克大學提出AI新算法

杜克大學的一種 AI 算法PULSE可以將模糊、無法識別的人臉圖像轉換成計算機生成的圖像,其細節比之前任何時候都更加精細、逼真
資料獲取
機器人開發
==最新資訊==
ChatGPT:又一個“人形機器人”主題
ChatGPT快速流行,重構 AI 商業
中國機器視覺產業方麵的政策
中國機器視覺產業聚焦於中國東部沿海地區(
從CHAT-GPT到生成式AI:人工智能
工信部等十七部門印發《機器人+應用行動實
全球人工智能企業市值/估值 TOP20
必威主頁第十一期上
諧波減速器和RV減速器比較
機器人減速器:諧波減速器和RV減速器
人形機器人技術難點 高精尖技術的綜合
機器人大規模商用麵臨的痛點有四個方麵
青島市機器人產業概況:機器人企業多布局在
六大機器人產業集群的特點
機械臂-高度非線性強耦合的複雜係統
==機器人推薦==
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人開發平台

機器人開發平台


機器人招商Disinfection Robot機器人公司機器人應用智能醫療物聯網機器人排名機器人企業機器人政策教育機器人迎賓機器人機器人開發獨角獸消毒機器人品牌消毒機器人合理用藥地圖
版權所有 必威主頁中國運營中心:北京 清華科技園九號樓5層 中國生產中心:山東日照太原路71號
銷售1: 4006-935-088銷售2: 4006-937-088客服電話: 4008-128-728

Baidu
map