創澤機器人
CHUANGZE ROBOT
當前位置: 首頁> 新聞資訊> 機器人知識> 機器人多模態視覺語言導航技術解析

機器人多模態視覺語言導航技術解析

來源: 算法邦編輯: 創澤時間:2022/4/21 主題: 其他[ 加盟]

計算機視覺(CV)和自然語言處理(NLP)早先是兩個較為獨立的研究領域。CV 重點關注如何用計算機代替人眼對目標完成識別、跟蹤、測量等任務,對圖像進行處理;NLP 則研究計算機如何處理、運用自然語言,包括語言生成、問答、對話等任務。近年來,以深度神經網絡為代表的機器學習和模式識別技術被廣泛應用於 CV 和 NLP 領域,取得了目前最先進的效果。

近年來,研究者們試圖將動作控製也引入到「視覺-語言」任務的框架中。吳琦將此類任務命名為 V3A(Vision, Ask, Answer, Act),在給定視覺輸入後,我們希望機器能夠提出問題、回答問題、並通過和人以及機器之間的語言交流執行某些動作。

例如,「Vision+Ask」的任務包含視覺問題生成、根據問題生成查詢、圖像描述等;「Vision+Answer」的任務包含視覺問答、視覺對話等;「Vision+Act」的任務包含指稱表達、視覺對齊(visual grounding)、語言引導的視覺導航、具身視覺問答、具身指稱表達等。







機器學習框架應用報告:聯邦學習場景應用研究報告2022

對於聯邦學習技術,數據應用推廣的經驗,並深入探討聯邦學習在政務,醫療,金融,廣告,物流的應用價值,以期為數據應用價值的釋放帶來解讀和參考

Deep Tech:2022先進計算七大趨勢

DeepTech通過科研數據分析、專家訪談等方式洞悉先進計算領域發展趨勢,探尋具備技術顛覆性,有商業化前景的先進計算技術,提煉出 2022 年先進計算技術及應用七大趨勢

基於電阻抗和聲學成像的仿生機器皮膚

一種基於水凝膠彈性體混合物的仿生機器皮膚.分為三層結構,中間的水凝膠層構成機器皮膚的主體,可以實現電信號的傳遞,實現靜態和動態觸覺的模態識別

基於康複機器人內部傳感器的運動功能評價方法

基於康複機器人內部傳感器識別記錄訓練過程中的運動學參數,能夠實時定量評估不同的運動模式,還能夠掌握患者是否主動參與訓練等情況

優必選科技副總裁龐建新:麵向智能機器人的視覺感知與理解

智能機器人視覺方麵的工作,主要體現在感知、理解、學習及推理4個方麵,涉及到目標檢測、目標追蹤、人體姿態估計、人臉識別、行為識別、推理等技術

優必選專家丁宏鈺深入講解大型仿人機器人整機構型

從大型仿人機器人整機構型國內外研究現狀入手,圍繞機器人整機構型、關節運動特點、伺服驅動器、減速器、仿真平台等方麵進行深度講解,最後就大型仿人機器人整機構型未來發展趨勢給出自己的見解

個性化的人機交互

HRI的MTL可以使機器人更輕鬆,更智能地與新用戶進行交互,即使使用諸如RL這樣的數據密集型方法,也可以避免社交交互失敗的不利影響。MTL和多模態ML已用於自動識別自閉症譜係障礙(ASD)兒童

淺談服務機器人的潛在危險

服務機器人潛在危險有:電擊、與能量有關的危險、著火、與熱有關的危險、機械危險、輻射、化學危險等

視頻搜索太難了!阿裏文娛多模態搜索算法實踐

視頻搜索是涉及信息檢索、自然語言處理(NLP)、機器學習、計算機視覺(CV)等多領域的綜合應用場景

野外自主農作物探測機器人Robotanist使用擴展卡爾曼濾波器(EKF)方法融合MTI等傳感器信息

驅動係統由4個200W無刷直流電機構成,通過50:1的空心軸減速機可以最高達2m/s的速度在玉米、高粱等農作物的地裏前進

Jupiter由四輪獨立轉向的底盤和UR5機械臂組成通過SSD網絡檢測目標物體

通過2D激光雷達信息采用Hector SLAM實現機器人對地圖的感知和自主導航規劃,通過頂部的RGB-D相機采集目標物體深度和RGB圖像信息

移動式操作機器人平台Personal Robot 2可模擬開門、打台球和畫畫

機器人的學習分為三個部分的軌跡預測包括示教者的手部運動軌跡、示教者的身體移動軌跡以及被操作物體的運動軌跡

仿人操作機器人Cosero配備7自由度機械臂裝有Kinect相機實現對目標環境的3D感知

Cosero是德國波恩大學的Sven Behnke團隊根據家庭環境中的日常操作任務而研製的一款仿人操作機器人基於深度學習方法的目標姿態估計和RGB-D SLAM等感知測量

傳感器麵臨時代新機遇,未來發展將呈現哪些趨勢

機器人、無人機、自動駕駛汽車等加快落地,智慧城市深入建設,更是為傳感器產業帶來了難以估量的龐大機遇

中國移動室內定位白皮書

中國移動聯合產業合作夥伴發布《室內定位白皮書》,對室內定位產業發展現狀及麵臨的挑戰,深入分析了垂直行業的室內定位需求,並詳細闡述了實現室內定位的技術原理, 及室內定位評測體係
資料獲取
機器人知識
==最新資訊==
ChatGPT:又一個“人形機器人”主題
ChatGPT快速流行,重構 AI 商業
中國機器視覺產業方麵的政策
中國機器視覺產業聚焦於中國東部沿海地區(
從CHAT-GPT到生成式AI:人工智能
工信部等十七部門印發《機器人+應用行動實
全球人工智能企業市值/估值 TOP20
必威主頁第十一期上
諧波減速器和RV減速器比較
機器人減速器:諧波減速器和RV減速器
人形機器人技術難點 高精尖技術的綜合
機器人大規模商用麵臨的痛點有四個方麵
青島市機器人產業概況:機器人企業多布局在
六大機器人產業集群的特點
機械臂-高度非線性強耦合的複雜係統
==機器人推薦==
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人開發平台

機器人開發平台


機器人招商Disinfection Robot機器人公司機器人應用智能醫療物聯網機器人排名機器人企業機器人政策教育機器人迎賓機器人機器人開發獨角獸消毒機器人品牌消毒機器人合理用藥地圖
版權所有 必威主頁中國運營中心:北京 清華科技園九號樓5層 中國生產中心:山東日照太原路71號
銷售1: 4006-935-088銷售2: 4006-937-088客服電話: 4008-128-728

Baidu
map