機器人遙操作

機器人遙操作(Teleoperation)，也可以稱為Telerobotics，是指在相關機器人控製中把人類操作包含在控製回路中，任何的上層規劃和認知決定都是由人類用戶下達，而機器人本體隻是負責相應的實體應用。當機器人處理複雜的感知和大量任務時，在快速做出決策和處理極端情況時，遙距操作遠遠優於智能編程。

目前遙操作已廣泛應用在醫療領域、極端環境探索如太空與深海場景、防恐防爆應用場景，及基於工業機械臂的自動化生產中。機器人遙操作可以大致分為基於設備的接觸式遙操作和基於無標記的視覺遙操作兩大類。2009年以前的工作可以參考[1]，下麵就近幾年的遙操作發展進行介紹。本文主要關注服務機器人和工業機器人，不涉及醫療機器人，如對醫療機器人感興趣可參考[2]。

一、接觸式遙操作

接觸式遙操作通常通過遙操作者穿戴或操作不同類型的設備來實現。這些設備有操作杆、類如Apriltag的標記物，慣性測量單元IMU，肌電圖（EMG）信號傳感器，虛擬現實VR/增強現實AR設備以及前景廣闊的觸覺設備等。

1. 基於IMU和EMG的遙操作

基於IMU和EMG的遙操作方法成本低且高效易操作。2017年，清華大學孫富春教授課題組設計了一個集成18個IMU的穿戴手套，並開發了基於擴展卡爾曼濾波器的多模態融合算法用於推算人手臂和手的方向與位置[3]。這種新穎的遙控方案穩定地應用於由SCHUNK手臂和Barrett三指手構成的11DOF機械臂-手係統，以及由UR5和Barrett三指手構成的10DOF機械臂-手係統，其中操作員的手指用於機械手遙控，而手掌的手臂用於機械臂遙控。

2019年，哥倫比亞團隊提出了一種由EMG驅動的非擬人化機器人手遙操作方法，這種方法將人前臂的EMG信號連續映射與遠程操作相關的三個子空間中，然後再從這個子空間映射到機器人手的關節空間[4]。這個方法有效且直觀，使新手操作者更快熟悉操作方案，可以魯棒地完成遠程操作拾取和放置任務。

2. 基於VR/AR的遙操作

基於虛擬現實的機器人遙操作是克服時延的有效方法,具有透明性強、穩定性高的優點,成為當前機器人遙操作的主要方式。漢堡大學團隊使用微軟hololens穿戴式眼鏡，基於混合現實（MR）技術為人機交互（HRI）場景開辟了遙操作的新前景[5]。在MR人機協作係統中，操作員不僅可以看到機器人的真實工作場景，並且其他虛擬信息可以疊加在真實場景的視圖上，實現直觀自然地控製用於抓取和放置任務的機器人。特別是在機器人執行動作之前，操作員可預覽機器人的潛在規劃動作，可以減少損壞係統或傷害操作人員的風險。此外，作者也在多機器人係統的交付服務任務中驗證了這個係統。這些研究為未來VR、AR及MR裝備的設計及虛擬現實在機器人方向上的應用提供了重要的啟示。

3. 融合觸覺反饋的遙操作

觸覺反饋對於接觸豐富的外部操作任務至關重要，觸覺設備已在外科手術機器人中得到廣泛研究，並用於在虛擬現實應用程序中收集訓練數據，如HaptX development kit。一些商業產品CyberGlove、HaptX以物理阻力和空間接觸的形式提供了觸覺反饋，但是這種好處伴隨著成本的增加。HaptX與Converge Robotics Group（由國際公司組成的財團）共同開發了TactileTelerobot遠程機器人，以推動觸覺和機器人技術的發展 [6]。TactileTelerobot是世界上第一個能夠將逼真的觸摸反饋傳輸給位於世界各地的操作員的機器人係統，該係統集成了三個主要產品，每個主要產品都在其類別中處於領先地位：Shadow Robot Hands，SynTouch BioTac傳感器和HaptX Gloves。Tactile Telerobot通過真實無延遲的觸覺反饋實現了多種機械手靈巧操作，如倒水、擰瓶蓋、轉魔方、寫字、開紙盒、幫人帶耳機，甚至人體按摩等。

當然這種昂貴的觸覺設備並不是每個組都可以擁有，因此還有一些雙向遙操作控製設備在[7]中，通過定義一個虛擬的操作對象來捕獲在master側人手的運動及slace側相關的力反饋。

除了使用遙操作技術對機械臂或者機器手的控製，2020年西英格蘭大學的楊辰光團隊提出了一種用於全向移動機器人的EMG與觸覺設備混合控製方法[8]。這種混合共享控製方法基於肌電圖和人工勢場，用以根據排斥力和吸引力避開障礙物，並基於移動平台的力反饋增強人類對遠程環境的感知。這種共享控製方法使遙操作者遠程控製移動機器人的運動並同步實現避障。與傳統的共享控製方法相比，該提議的方法提供了基於肌肉激活的力反饋，並驅動操作者以可預測的方式更新其控製意圖。最終通過各種避障實驗表明這種遙控方法對移動機器人控製的有效性。

二、基於無標記的視覺遙操作

與基於接觸式或可穿戴設備的遠程操作不同，基於無標記的視覺遠程操作具有還原人體四肢自然運動且侵入性較小的優點。特別是針對高自由度的機器手的遙操作，使用穿戴手套的方法必須根據操作者進行定製手套大小，並且手套容易影響的關節自然運動，而基於IMU或EMG的方法通用性和靈活性較低。因此無標記的視覺方法尤其適用於靈巧手的遠程操作，這樣有利於捕獲手指的所有運動。

基於分析視覺的遠程操作分為兩類：基於模型的（model-）方法和基於外觀的（appearance-）方法。基於模型的方法提供連續的解決方案，但計算量大，通常取決於多相機係統的可用性。相反，基於外觀的方法可以識別離散數量的手勢，這些手勢通常對應於該方法的訓練集，而無需高昂的計算成本和硬件複雜性。最近，越來越多的研究人員致力於基於數據驅動的基於視覺的遙操作方法，這些方法首先使用深度卷積神經網絡（CNN）獲得3D手勢或識別手勢類別，然後再映射人的相應位置到機器人上。比如，希臘克裏特大學Antonis Argyros團隊提供了三種基於深度相機的人體位姿估計和跟蹤方法，然後通過逆運動學過程將人體運動映射到NAO人形機器人，從而實現對人性機器人的操作[9]。然而，這類解決方案不僅依賴於手勢估計或分類的準確性，而且增加後處理的時間成本。

2019年，德國漢堡大學張建偉課題組和清華大學孫富春課題組共同提出TeachNet，一個直接從人類手指深度圖獲取機器人關節角度的深度學習網絡[10]。這種方法隻需使用一個深度相機，並實現端到端地控製機器人，是非常直觀和用戶友好的遙操作方法。TeachNet結合了一個一致性損失函數consistency loss，可以處理人手和機器手的外觀和內在結構差異。這個網絡的訓練依賴於一個合成的400K人手-機器手數據集，其中人手數據來自於人手位姿深度圖像數據集BigHand2.0，然後在Gazebo中采集對應每個人手的的機器手深度圖像。最後，作者在5個不同操作者的抓取實驗中證明了TeachNet的穩定性和高效率。但是這種方法僅限於機器手的控製，無法移動機械手使之在可達工作空間內進行抓取。

進一步，2019年，美國NVIDIA研究所和卡梅隆大學共同開發了一種低成本的基於視覺的遠程操作係統DexPilot，該係統允許僅觀察裸手就能完全控製整個23 DOF的機械臂-手係統[11]。DexPilot使操作員能夠執行各種複雜的操作任務如擰瓶蓋、轉方塊、從錢夾取紙幣等，而不僅僅是簡單的抓取和放置操作。作者首先使用一個彩色的織物手套采集了一個人手姿勢先驗數據集，然後使用點雲作為輸入，結合PointNet++獲得人手位姿和關節先驗，然後使用DART和動力學重定向將人手關節角映射到allegro手的關節上。最終通過兩個演示者完成各種任務的速度和可靠性指標，驗證了即使沒有觸覺反饋該係統仍具有高可靠性和高度靈敏性。

然而基於視覺的遙操作方法明顯不能適應於黑暗或者物體被遮擋的情況，因此將視覺與觸覺/力反饋融合，將更好地實現魯棒的遙操作算法。比如，增加機器人抓取時的滑動檢測和力估計，或者操作者非示教部位如胳膊或左手用於感受觸覺反饋，從而減輕用戶的控製負擔並避免機器人的意外碰撞。另一方麵，當人手被遮擋或者抓握其他物體時，如何解決人手角估計是3D人手姿態估計需要解決的一個方向。再者，基於視覺的遙操作使操作者總是限定於固定的相機係統區域，不能實現移動式遙操作。如何將人手跟蹤和人手關節角估計共同應用到機器人的遙操作中也是非常有趣。

	創澤智能機器人 中國智能服務機器人領軍企業，涵蓋商用、家庭、特種等多用途的智能機器人產品體係，十幾年行業應用解決方案提供商