創澤機器人
CHUANGZE ROBOT
當前位置: 首頁> 新聞資訊> 機器人開發> 如何更高效地壓縮時序數據?基於深度強化學習的探索

如何更高效地壓縮時序數據?基於深度強化學習的探索

來源: 阿裏機器智能編輯: 創澤時間:2020/6/4 主題: 其他[ 加盟]

隨著移動互聯網、IoT、5G 等的應用和普及,一步一步地我們走進了數字經濟時代。隨之而來的海量數據將是一種客觀的存在,並發揮出越來越重要的作用。時序數據是海量數據中的一個重要組成部分,除了挖掘分析預測等,如何高效的壓縮存儲是一個基礎且重要的課題。同時,我們也正處在人工智能時代,深度學習已經有了很多很好的應用,如何在更多更廣的層麵發揮作用?本文總結了當前學術界和工業界數據壓縮的方法,分析了大型商用時序數據壓縮的特性,提出了一種新的算法,分享用深度強化學習進行數據壓縮的研究探索及取得的成果。

深度學習的本質是做決策,用它解決具體的問題時很重要的是找到契合點,合理建模,然後整理數據優化 loss 等最終較好地解決問題。在過去的一段時間,我們在用深度強化學習進行數據壓縮上做了一些研究探索並取得了一些成績,已經在 ICDE 2020 research track 發表(Two-level Data Compression using Machine Learning in Time Series Database)並做了口頭彙報。在這裏做一個整體粗略介紹,希望對其它的場景,至少是其它數據的壓縮等,帶來一點借鑒作用。

背景描述

1 時序數據

時序數據顧名思義指的是和時間序列相關的數據,是日常隨處可見的一種數據形式。下圖羅列了三個示例:a)心電圖,b)股票指數,c)具體股票交易數據。

關於時序數據庫的工作內容,簡略地,在用戶的使用層麵它需要響應海量的查詢,分析,預測等;而在底層它則需要處理海量的讀寫,壓縮解壓縮,采用聚合等操作,而這些的基本操作單元就是時序數據 ,一般(也可以簡化)用兩個 8 byte 的值進行統一描述。

可以想象,任何電子設備每天都在產生各種各樣海量的時序數據,需要海量的存儲空間等,對它進行壓縮存儲及處理是一個自然而然的方法。而這裏的著重點就是如何進行更高效的壓縮。

2 強化學習

機器學習按照樣本是否有 groundTruth 可分為有監督學習,無監督學習,以及強化學習等。強化學習顧名思義是不停地努力地去學習,不需要 groundTruth,真實世界很多時候也沒有 groundTruth,譬如人的認知很多時候就是不斷迭代學習的過程。從這個意義上來說,強化學習是更符合或更全麵普遍的一種處理現實世界問題的過程和方法,所以有個說法是:如果深度學習慢慢地會像 C/Python/Java 那樣成為解決具體問題的一個基礎工具的話,那麼強化學習是深度學習的一個基礎工具。

強化學習的經典示意圖如下,基本要素為 State,Action,和 Environment。基本過程為:Environment 給出 State,Agent 根據 state 做 Action 決策,Action 作用在 Environment 上產生新的 State 及 reward,其中 reward 用來指導 Agent 做出更好的 Action 決策,循環往複….

而常見的有監督學習則簡單很多,可以認為是強化學習的一種特殊情況,目標很清晰就是 groudTruth,因此對應的 reward 也比較清晰。

強化學習按照個人理解可以歸納為以下三大類:

1)DQN

Deep Q network,比較符合人的直觀感受邏輯的一種類型,它會訓練一個評估 Q-value 的網絡,對任一 state 能給出各個 Action 的 reward,然後最終選擇 reward 最大的那個 action 進行操作即可。訓練過程通過評估 “估計的 Q-value” 和 “真正得到的 Q-value” 的結果進行反向傳遞,最終讓網絡估計 Q-value 越來越準。

2)Policy Gradient

是更加端到端的一種類型,訓練一個網絡,對任一 state 直接給出最終的 action。DQN 的適用範圍需要連續 state 的 Q-value 也比較連續(下圍棋等不適用這種情況),而 Policy Gradient 由於忽略內部過程直接給出 action,具有更大的普適性。但它的缺點是更難以評價及收斂。一般的訓練過程是:對某一 state,同時隨機的采取多種 action,評價各種 action 的結果進行反向傳遞,最終讓網絡輸出效果更好的 action。

3)Actor-Critic

試著糅合前麵兩種網絡,取長補短,一方麵用 policy Gradient 網絡進行任一 state 的 action 輸出,另外一方麵用 DQN 網絡對 policy gradient 的 action 輸出進行較好的量化評價並以之來指導 policy gradient 的更新。如名字所示,就像表演者和評論家的關係。訓練過程需要同時訓練 actor(policy Graident)和 critic(QN)網絡,但 actor 的訓練隻需要 follow critic 的指引就好。它有很多的變種,也是當前 DRL 理論研究上不停發展的主要方向。

時序數據的壓縮

對海量的時序數據進行壓縮是顯而易見的一個事情,因此在學術界和工業界也有很多的研究和探索,一些方法有:

Snappy:對整數或字符串進行壓縮,主要用了長距離預測和遊程編碼(RLE),廣泛的應用包括 Infuxdb。

Simple8b:先對數據進行前後 delta 處理,如果相同用RLE編碼;否則根據一張有 16 個 entry 的碼表把 1 到 240 個數(每個數的 bits 根據碼表)pack 到 8B 為單位的數據中,有廣泛的應用包括 Infuxdb。

Compression planner:引入了一些 general 的壓縮 tool 如 scale, delta, dictionary, huffman, run length 和 patched constant 等,然後提出了用靜態的或動態辦法組合嚐試這些工具來進行壓縮;想法挺新穎但實際性能會是個問題。

ModelarDB:側重在有損壓縮,基於用戶給定的可容忍損失進行壓縮。基本思想是把維護一個小 buff,探測單前數據是否符合某種模式(斜率的直線擬合),如果不成功,切換模式重新開始buff等;對支持有損的 IoT 領域比較合適。

Sprintz:也是在 IoT 領域效果會比較好,側重在 8/16 bit 的整數處理;主要用了 scale 進行預測然後用 RLC 進行差值編碼並做 bit-level 的 packing。

Gorilla:應用在 Facebook 高吞吐實時係統中的當時 sofa 的壓縮算法,進行無損壓縮,廣泛適用於 IoT 和雲端服務等各個領域。它引入 delta-of-delta 對時間戳進行處理,用 xor 對數據進行變換然後用 Huffman 編碼及 bit-packing。示例圖如下所示。

MO:類似 Gorilla,但去掉了 bit-packing,所有的數據操作基本都是字節對齊,降低了壓縮率但提供了處理性能。











滴滴機器學習平台調度係統的演進與K8s二次開發

滴滴機器學習場景下的 k8s 落地實踐與二次開發的技術實踐與經驗,包括平台穩定性、易用性、利用率、平台 k8s 版本升級與二次開發等內容

人工智能和機器學習之間的差異及其重要性

機器學習就是通過經驗來尋找它學習的模式,而人工智能是利用經驗來獲取知識和技能,並將這些知識應用於新的環境

麵向動態記憶和學習功能的神經電晶體可塑性研究

神經形態結構融合學習和記憶功能領域的研究主要集中在人工突觸的可塑性方麵,同時神經元膜的固有可塑性在神經形態信息處理的實現中也很重要

CVPOS自助收銀的挑戰以及商品識別算法工程落地方法和經驗

針對結算收銀場景中商品識別的難點,從商品識別落地中的模型選擇、數據挑選與標注、前端和雲端部署、模型改進等方麵,進行了深入講解

內容流量管理的關鍵技術:多任務保量優化算法實踐

通過分析其中的關鍵問題,建立了新熱內容曝光敏感模型,並最終給出一種曝光資源約束下的多目標優化保量框架與算法

百變應用場景下,優酷基於圖執行引擎的算法服務框架築造之路

優酷推薦業務,算法應用場景眾多,需求靈活多變,需要一套通用業務框架,支持運行時的算法流程的裝配,提升算法服務場景搭建的效率

餓了麼推薦算法的演進及在線學習實踐

餓了麼算法專家劉金介紹推薦業務背景,包括推薦產品形態及算法優化目標;然後是算法的演進路線;最後重點介紹在線學習是如何在餓了麼推薦領域實踐的

拯救渣畫質,馬賽克圖秒變高清,杜克大學提出AI新算法

杜克大學的一種 AI 算法PULSE可以將模糊、無法識別的人臉圖像轉換成計算機生成的圖像,其細節比之前任何時候都更加精細、逼真

如何搭建一個GPU加速的分布式機器學習係統,遇到的問題和解決方法

能快速將現有算法在實際生產環境落地,並能利用GPU加速實現大規模計算,我們自己搭建了一個GPU加速的大規模分布式機器學習係統,取名小諸葛

ICRA2020論文分享:基於視觸融合感知的可形變物體抓取狀態評估

人類可以通過視覺和觸覺融合感知快速確定抓取可變形物體所需力的大小,以防止其發生滑動或過度形變,但這對於機器人來說仍然是一個具有挑戰性的問題

一種基於層次強化學習的機械手魯棒操作

在底層通過使用基於模型的操作單元,保證了手指與物體之間持續穩定的抓取;在中層使用強化學習進行規劃,從而實現較長和複雜的手內操作流程

移動機器人Wang利用深度強化學習算法和視覺感知相結合的方法完成非結構環境下的移動

中科院沈陽自動化所的Wang利用深度強化學習算法和視覺感知相結合的方法來完成移動機器人在非結構環境下的移動操作
資料獲取
機器人開發
==最新資訊==
ChatGPT:又一個“人形機器人”主題
ChatGPT快速流行,重構 AI 商業
中國機器視覺產業方麵的政策
中國機器視覺產業聚焦於中國東部沿海地區(
從CHAT-GPT到生成式AI:人工智能
工信部等十七部門印發《機器人+應用行動實
全球人工智能企業市值/估值 TOP20
必威主頁第十一期上
諧波減速器和RV減速器比較
機器人減速器:諧波減速器和RV減速器
人形機器人技術難點 高精尖技術的綜合
機器人大規模商用麵臨的痛點有四個方麵
青島市機器人產業概況:機器人企業多布局在
六大機器人產業集群的特點
機械臂-高度非線性強耦合的複雜係統
==機器人推薦==
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人開發平台

機器人開發平台


機器人招商Disinfection Robot機器人公司機器人應用智能醫療物聯網機器人排名機器人企業機器人政策教育機器人迎賓機器人機器人開發獨角獸消毒機器人品牌消毒機器人合理用藥地圖
版權所有 必威主頁中國運營中心:北京 清華科技園九號樓5層 中國生產中心:山東日照太原路71號
銷售1: 4006-935-088銷售2: 4006-937-088客服電話: 4008-128-728

Baidu
map