一、概述
“手勢是人類溝通的最自然的方式。硬件限製是我們不能很好地控製我們的設備的唯一限製”,這裏的硬件限製指的是傳統的手勢識別算法需要額外的深度傳感器。感謝近十多年不斷發展的可適應 AI 和邊緣計算崛起,使得這一切逐漸變為可能。
我們或將在智能手機、平板電腦、台式電腦、筆記本電腦、智能手表和智能電視,IOT 設備中看到更多結合空中手勢來操作的未來功能。在看電視的時候想要換台,想要調整音量,找不到遙控器的時候,直接使用手勢來操作,免去找不到遙控器的抓狂煩惱。
在駕駛汽車,如果你聽到了一首很難聽的歌,希望趕快切掉,如果需要與觸摸屏顯示器進行交互,駕駛員必須將視線從道路上移開,這樣有潛在的危險,使用手勢識別使得駕駛更安全。
在使用 iPad 看劇時,這個時候老板/老婆電話突然進來了,我們對著 iPad 使用靜音手勢操控設備靜音,科技以人為本。
在智能家居場景,使用手勢操作你的電燈,空調,甚至抽油煙機都是可以想象的場景
總結來說:“You are the only interface you need”。
二、我們現在的業務場景
我們所屬天貓精靈 M 實驗室,主要負責跟天貓精靈相關的視覺算法,我們的主要研究方向人機交互視覺算法,包括手勢識別,肢體識別,還有多模態視覺語音交互等。在天貓精靈大屏產品 CC, CCH, CCL 等上線了手勢操控能力。
我們同優酷iPad客戶端的小夥伴一起,在優酷 iPad 版也成功應用了我們的手勢識別能力。
我們在教育領域,我們嚐試了使用手指作為輸入,實現了手指點讀的相關能力,讓小朋友“哪裏不會點哪裏”。
目前我們在跟電視廠商等 IOT 生態廠商合作,實現大屏手勢交互第一步,未來丟掉遙控器將不是夢。
三、無處不在的單點(靜態)手勢
3.1 從天貓精靈到優酷 iPad 手勢識別在看劇的時候,經常有需要跳過某一小段,快進或者快退的時刻,解決不便直接操作的時刻(例如吃飯,手裏不方便等場景)。
在 iPad 場景:1)受設備體積和重量影響,很少手持設備;2)屏幕較大,用戶距離設備通常有一定距離,手勢識別帶來了更為極致的體驗提升。
更遠的距離。智能電視有一塊大屏幕,往往 3-5 米是一個對人較為舒適和健康的觀看距離。在這樣一個距離下,人手在畫麵占比非常小。
更多的人數。可能有多人同時在看電視,因此我們要能及時甄別和響應每一位觀眾的交互需求。
更複雜的背景。不同家庭不同電視的擺放位置千變萬化,我們的算法要在變化中找不變(手勢識別)
有限的算力。雖然智能電視越來越普及,但是它們配置的硬件性能依然非常有限。
四、落地與優化閉環
相信任何一個做過 AI 算法落地的同學,都會遇到各種各樣的實際算法問題,不管是科大訊飛的語音交互,到現在無處不在的人臉識別,甚至穀歌的搜索詞排名算法,基於深度學習的AI算法的非常重要的一個特點就是越用越好,並漸漸形成數據相關壁壘。提出了新的檢測算法,應用了前沿的 Overflow-aware 量化方案,極致算法體驗。
我們接入了 AutoML 助力 AI 應用快速落地,以動態閉環的形式優化我們的算法。
由於其天然基於 heatmap,最終精度與 heatmap 有很大關係,這對小型化不利。
同時,由於 heatmap 的原因,這種方案無法很好的解決同一類物體重疊的情況。
算力:完成 skeleton-based 的一係列操作:手勢檢測+指尖回歸+時序網絡等需要較高算力,在天貓精靈等 IOT 設備上無法達到產品級別的能力。
motion blur:由於手勢運動較快的原因,大部分動態手勢都有運動模糊的情況,對檢測+關鍵點這類算法非常不友好。
|
|
資料獲取 | |
新聞資訊 | |
== 資訊 == | |
» 國標《智慧城市 智慧多功能杆 服務功能與 | |
» 人工智能之數據挖掘2020年第9期 | |
» 噴霧消毒殺菌機器人 | |
» 中國通信學會發布《全球人工智能基礎設施戰 | |
» 創澤集團受邀參加工信部 AI 精準賦能中 | |
» 人工智能案例 依圖科技:不斷崛起的AI | |
» 2020年麵向人工智能新基建的知識圖譜行 | |
» 破解AI工程化難題,AI中台助力企業智能 | |
» 淺析我國消防機器人發展現狀與趨勢 | 山 | |
» 【華為出品】智能體白皮書2020 | |
» “先行示範•智贏未來” 創澤 | |
» 創澤集團牽頭起草的全國首個《應用於滅菌消 | |
» 創澤集團智能機器人新品發布會!多款自主研 | |
» 人工智能人才發展報告:亞太地區創新與招聘 | |
» 創澤集團智能機器人“創創”受邀參加進博會 | |
== 機器人推薦 == | |
服務機器人(迎賓、講解、導診...) |
|
智能消毒機器人 |
|
安防巡檢機器人 |
|
人工智能垃圾站 |
|
== 信息推薦 == | |
|
機器人招商 Disinfection Robot 消毒機器人公司 機器人應用 智能垃圾站 消毒機器人價格 消毒機器人廠家 機器人政策 教育機器人 迎賓機器人 機器人開發 清潔機器人 消毒機器人 講解機器人 安防巡檢機器人 霧化消毒機器人 紫外線消毒機器人 地圖 |