目前跟蹤“手眼腦”協(xié)同的操作流程,主要包括手眼位置標定、基于圖像抓取位姿估計網(wǎng)絡(luò)模型、觸覺感知力反饋調(diào)節(jié)等技術(shù)難點。

1) 如何實時、準確跟蹤末端執(zhí)行器與被操作物體之間的空間距離和位置信息?手眼位 置標定是通過建立機器人末端執(zhí)行器坐標系與相機坐標系之間轉(zhuǎn)換關(guān)系,實現(xiàn)視覺引導(dǎo) 機器人操作的準確性和可靠性。根據(jù)機械臂與相機之間的裝配方式,手眼標定分為Eye to-Hand和Eye-in-Hand。早期的手眼標定技術(shù)主要依靠矩陣關(guān)系(旋轉(zhuǎn)矩陣和平移矩 陣)描述機器人和相機之間的空間關(guān)系。隨著計算機視覺和優(yōu)化算法的發(fā)展,基于圖像 處理和數(shù)學(xué)優(yōu)化的手眼標定方法逐漸成為主流,利用標定板或特征點進行相機標定,再 結(jié)合機器人末端執(zhí)行器的位置數(shù)據(jù)進行標定計算,以實現(xiàn)準確的手眼標定。

Eye-in-Hand;相機固定在末端執(zhí)行器,相機所攝取場景數(shù)據(jù)隨著機械臂移動而發(fā) 生變化,適合對末端操作對象(比如零件)進行G精度局部觀察,也可以靈活調(diào)整 視角,用于精密裝配等應(yīng)用。

Eye-to-Hand:相機固定安裝在人形機器人某個位置(比如頭部),d立于機械臂 運動。相機視角覆蓋整個工作空間,可實現(xiàn)全局觀測,適合監(jiān)控機器人整體運動軌 跡或大范圍場景,標定結(jié)果無需頻繁更新。

2) 如何正確選擇跟交互物體的操作位姿?機器人抓取檢測技術(shù)是機器人領(lǐng)域中的重要 研究方向之一,涉及到機器人在實際操作中獲取Z優(yōu)抓取姿態(tài)和位置的能力,從而實現(xiàn) 有效、穩(wěn)定的抓取動作。抓取檢測技術(shù)的發(fā)展可以分為傳統(tǒng)的解析方法和基于深度學(xué)習 的方法。傳統(tǒng)的解析法是基于機械手爪和目標物體的運動學(xué)和動力學(xué)關(guān)系進行建模,計 算Z優(yōu)抓取位姿,適合非常準確場景控制需求,比如工業(yè)機器人對物體抓取和移動,但 受限于環(huán)境復(fù)雜性和泛化能力不足。傳統(tǒng)方法往往需要復(fù)雜的模型和參數(shù)調(diào)整,無法實 現(xiàn)對各種場景和物體的智能適應(yīng)。

隨著人工智能和機器學(xué)習技術(shù)的不斷發(fā)展,深度學(xué)習抓取策略持續(xù)導(dǎo)入。基于深度學(xué)習 的抓取技術(shù)通過深度神經(jīng)網(wǎng)絡(luò)對大量圖像數(shù)據(jù)進行訓(xùn)練,從而學(xué)習抓取的正確位置和姿 態(tài),具有更好的泛化能力和適應(yīng)性。基于深度學(xué)習的抓取技術(shù)可以分為基于抓取候選框 和基于魯棒性函數(shù)兩類。

基于抓取候選框的方法主要采用滑窗的方法預(yù)先在輸入圖像上生成若干個感興趣的區(qū) 域,通過卷積神經(jīng)網(wǎng)絡(luò)等模型提取圖像特征,預(yù)測抓取位置和姿態(tài)。該方法檢測精度較 G但因會產(chǎn)生大量的候選框而使得檢測算法耗時較長。目前現(xiàn)存一些機器人抓取的任務(wù) 基準數(shù)據(jù)集可以用于抓取位置和姿態(tài)預(yù)測訓(xùn)練優(yōu)化。比如康奈爾大學(xué)創(chuàng)建的Cornel Grasp數(shù)據(jù)集,即使用KinectV1相機在真實場景中采集,涉及240種生活中常見物體 的885張RGB-D圖像和相應(yīng)的三維云點。數(shù)據(jù)特征涵蓋了多樣的對象形狀和大小及帶 有旋轉(zhuǎn)角度的抓取標注框。

基于魯棒性函數(shù)的方法主要通過學(xué)習抓取質(zhì)量函數(shù),評估抓取質(zhì)量,進而確定Z優(yōu)抓取 位置和姿態(tài)。該方法實現(xiàn)端到端訓(xùn)練與預(yù)測,算法運行速度較快。典型地,智元機器人 發(fā)布開源仿真數(shù)據(jù)集AgiBotDigitalWoHdDataset,涵蓋五大類場景、180+品類具體物 品等。平臺基于NVDlA1saac-Sim仿真平合開發(fā)(Sim2Real),可以提供G度逼真的視 覺渲染和準確的物理模擬。仿真過程中,具身智能數(shù)據(jù)生成引擎可以進行豐富的環(huán)境光 照、物體材質(zhì)、物理屬性等隨機變化,同時支持多種操作軌跡增強方式,以生成多樣性 和魯棒性的專家軌跡數(shù)據(jù),增強模型泛化能力。目前AgiBotDigitalWord可建立貫穿 專家軌跡生成、模型訓(xùn)練、基準測試、部署驗證的完整評估流程,支持對機器人的端到 端模型進行多面測試。