基準(zhǔn)測(cè)試和數(shù)據(jù)集對(duì)于研究和科學(xué)進(jìn)步非常重要，通過競(jìng)技及可量化、可重復(fù)性結(jié)果推動(dòng)關(guān)鍵研究領(lǐng)域進(jìn)步。機(jī)器人操作目前缺乏在同等規(guī)模及重要領(lǐng)域被廣泛接受的基準(zhǔn)，例如計(jì)算機(jī)視覺中的同步定位和映射（SLAM）和目標(biāo)檢測(cè)。曾經(jīng)提出的操作基準(zhǔn)和挑戰(zhàn)需要訪問昂貴的平臺(tái)和專門的環(huán)境（即FetchIt、Amazon Picking Challenge等），使用特有對(duì)象來評(píng)估系統(tǒng)的能力，限制了整個(gè)研究領(lǐng)域的發(fā)展。機(jī)器人操作方面研究在仿真環(huán)境中進(jìn)行具備優(yōu)勢(shì)包括：（1）有助于獲得可重復(fù)的結(jié)果，（2）允許訪問潛在的不可用平臺(tái)，（3）本質(zhì)上是安全的，（4）不會(huì)磨損或損壞物理系統(tǒng)，并且（5）除了并行運(yùn)行許多實(shí)例之外，還可以比實(shí)時(shí)運(yùn)行更快。然而，物理模擬的不足也很明顯，在仿真環(huán)境中生成的控制器在轉(zhuǎn)移到現(xiàn)實(shí)世界時(shí)往往是不可靠的。現(xiàn)實(shí)差距的現(xiàn)象是眾所周知的，但很少有人能量化這一差距。  

近期IEEE ROBOTICS AND AUTOMATION LETTERS發(fā)表了“Benchmarking simulated robotic manipulation through a real worlddataset”, 提出的基準(zhǔn)和附屬數(shù)據(jù)集旨在幫助研究人員和開發(fā)人員量化現(xiàn)實(shí)差距，特別是與機(jī)械臂的物理交互任務(wù)，從而推動(dòng)仿真到現(xiàn)實(shí)（sim2real）的轉(zhuǎn)換，以及物理引擎，模擬器和它們的參數(shù)化方面的進(jìn)展。通過使用仿真和量化指標(biāo)，使基準(zhǔn)測(cè)試能夠通用于許多操作領(lǐng)域，但又足夠具體，能夠提供系統(tǒng)的有關(guān)信息。他們的主要貢獻(xiàn)包括：（1）開發(fā)了一個(gè)將仿真與真實(shí)世界記錄進(jìn)行比較的程序；（2）一個(gè)由機(jī)械手執(zhí)行的地面真實(shí)標(biāo)記操作任務(wù)的數(shù)據(jù)集，該操作任務(wù)使用高精度的運(yùn)動(dòng)捕捉系統(tǒng)進(jìn)行記錄；（3）在再現(xiàn)真實(shí)方面用于描述模擬器成功量的子集（圖1）。作者們希望隨著時(shí)間的推移來擴(kuò)展這個(gè)數(shù)據(jù)集，以覆蓋更多的任務(wù)，并應(yīng)用于更多的機(jī)械手。

1、基準(zhǔn)測(cè)試

操作基準(zhǔn)由三個(gè)部分組成：運(yùn)動(dòng)捕捉任務(wù)的真實(shí)世界數(shù)據(jù)集；定義在選定的模擬環(huán)境中要模擬的任務(wù)；評(píng)估地面真實(shí)性和模擬解決方案之間性能的指標(biāo)。

A.  任務(wù)

該基準(zhǔn)目前由10個(gè)簡(jiǎn)單的任務(wù)組成，這些任務(wù)被選中是因?yàn)樗鼈兲峁┝嘶�本運(yùn)動(dòng)和接觸的良好初始起點(diǎn)。這些任務(wù)演示了如何使用基準(zhǔn)并充當(dāng)更高級(jí)任務(wù)的先驅(qū)。通過調(diào)整模擬器來精確地模擬簡(jiǎn)單的任務(wù)，推斷這些相同的參數(shù)將擴(kuò)展到共享底層關(guān)聯(lián)的更復(fù)雜的場(chǎng)景。基準(zhǔn)將被擴(kuò)展到包括更高級(jí)的任務(wù)，這些任務(wù)與實(shí)際操作場(chǎng)景具有更高的相關(guān)性。表1列出了任務(wù)以及簡(jiǎn)短的描述以及它們包含的子組。

B、數(shù)據(jù)集

數(shù)據(jù)集是在CSIRO的Qualisys運(yùn)動(dòng)捕捉系統(tǒng)中收集的，將其作為實(shí)時(shí)高精度地面真實(shí)數(shù)據(jù)提交。該系統(tǒng)包括24個(gè)攝像頭，安裝在8×8×4米的龍門架上。校準(zhǔn)為<1 mm的殘余值，系統(tǒng)記錄頻率為100 Hz。系統(tǒng)的延遲取決于以下幾個(gè)變量：標(biāo)記數(shù)、攝像機(jī)數(shù)和計(jì)算機(jī)設(shè)置。數(shù)據(jù)從主機(jī)PC（接收延遲小于6毫秒的數(shù)據(jù)）流到運(yùn)行機(jī)器人操作系統(tǒng)（ROS）的第三方PC。手臂配備有Robotiq FT300力扭矩傳感器，安裝在手臂手腕和夾持器之間，使用兩個(gè)如圖2所示的3D打印底座（底座的網(wǎng)格文件可以在基準(zhǔn)網(wǎng)站上找到）。安裝支架采用剛性和輕質(zhì)的ABS塑料進(jìn)行3D打印，這滿足了作為系統(tǒng)最終環(huán)節(jié)的設(shè)計(jì)要求，包括重量小于1.2 kg的夾持器。在記錄數(shù)據(jù)集之前，Robotiq FT300用Kinova夾具進(jìn)行了校準(zhǔn)。該數(shù)據(jù)集的目的是在未來通過一系列的機(jī)器人操作器完成額外的任務(wù)。基準(zhǔn)測(cè)試的用戶不必記錄任務(wù)，目的是用戶應(yīng)用所提供的數(shù)據(jù)集對(duì)其模擬環(huán)境進(jìn)行基準(zhǔn)測(cè)試。

C、模擬器設(shè)置

要使用文中的基準(zhǔn)測(cè)試系統(tǒng)對(duì)模擬器進(jìn)行基準(zhǔn)測(cè)試，必須遵循以下準(zhǔn)則。任何未列為受控變量的參數(shù)都可以用來改進(jìn)仿真。一般來說，場(chǎng)景、機(jī)器人和機(jī)器人的控制都設(shè)置為不可變，而大多數(shù)其他參數(shù)都是用戶可定義的。文中的基準(zhǔn)適用于任何模擬器。制造商統(tǒng)一機(jī)器人描述格式（URDF）與網(wǎng)格文件可以一起在基準(zhǔn)的網(wǎng)站上下載，作為機(jī)器人機(jī)械手的描述。如果模擬器本身不支持URDF，則機(jī)器人可以按照URDF或制造商規(guī)范導(dǎo)入剛體網(wǎng)格，在選定的仿真環(huán)境中進(jìn)行組裝。

D、性能指標(biāo)

沒有一個(gè)指標(biāo)能夠客觀地評(píng)估模擬器在所有任務(wù)中的性能，因此提出了一系列的指標(biāo)。在推導(dǎo)合適的性能指標(biāo)時(shí)，注意到平均一個(gè)具有相同起點(diǎn)和終點(diǎn)的對(duì)象的軌跡是可能的，特別是對(duì)于遵循相同控制軌跡的對(duì)象，如機(jī)械手。然而，對(duì)于具有不同末端姿態(tài)的物體，求其軌跡的平均值不是一個(gè)有效的計(jì)算方法，因此建議分析這些物體末端姿態(tài)的分布。由于在遵循物理原理的同時(shí)，由于從一個(gè)共同的開始姿勢(shì)到結(jié)束姿勢(shì)的過程中，可行方法是有限的，通過分析可操縱物體的末端結(jié)構(gòu)，我們發(fā)現(xiàn)這是一個(gè)有效的度量標(biāo)準(zhǔn)。此外，還使用進(jìn)一步的度量來表征這些對(duì)象的運(yùn)動(dòng)。

圖3 二元正態(tài)分布概率密度函數(shù)的三維繪圖

E、報(bào)告績(jī)效

組合基準(zhǔn)和數(shù)據(jù)集的網(wǎng)站旨在托管基準(zhǔn)用戶的結(jié)果。由于包含可操作對(duì)象的任務(wù)有23個(gè)度量（不包含對(duì)象的任務(wù)有15個(gè)度量），因此有太多的度量無法公開顯示和比較，因此可能會(huì)使用錯(cuò)誤。任務(wù)根據(jù)主題劃分為多個(gè)子組，并報(bào)告子組的結(jié)果。子組的報(bào)告結(jié)果顯示更具有針對(duì)性比完成所有任務(wù)和只報(bào)告單個(gè)任務(wù)更有效率。

2、模擬器性能示例及結(jié)論

文中應(yīng)用了兩個(gè)符合機(jī)器人性能的模擬器V-Rep和PyBullet。它們也是機(jī)器人領(lǐng)域常用的模擬器。運(yùn)行此基線的代碼可以在基準(zhǔn)網(wǎng)站上找到。V-Rep有一系列物理引擎，可以通過抽象層應(yīng)用，因此能夠?qū)σ韵履�擬器和物理引擎組合進(jìn)行基準(zhǔn)測(cè)試。仿真機(jī)器人操作基準(zhǔn)通過在仿真和地面真實(shí)數(shù)據(jù)集之間繪制度量來驗(yàn)證仿真環(huán)境。23個(gè)指標(biāo)全面描述了現(xiàn)實(shí)差距造成的差異，并有助于對(duì)仿真環(huán)境的結(jié)果進(jìn)行基準(zhǔn)測(cè)試。該數(shù)據(jù)集提供了有價(jià)值的信息，包括6自由度姿態(tài)的運(yùn)動(dòng)捕捉、關(guān)節(jié)扭矩以及在機(jī)械手手腕處的力和力矩。同時(shí)比較了兩種常用的機(jī)器人模擬器V-Rep和PyBullet在一般參數(shù)設(shè)置下的性能，基于度量分析了模擬器在完成數(shù)據(jù)集任務(wù)時(shí)的精度，證明了所選度量的實(shí)用性。