Mobile ALOHA 組裝指南
在輪式底盤上配置 4 支機器手臂、用於遠端操作的雙臂移動操作系統
授權條款
MIT
組裝指南
1. 原專案公開了什麼
請先閱讀。Stanford 的教學是 Mobile ALOHA 唯一的組裝文件。它包含一份物料清單、一個 Fusion360 框架模型與一份簡短的硬體指南。它不是完整的逐步組裝說明,而且組裝出的機器與 AgileX Cobot Magic 版本不同。
1.1 本指南涵蓋的組裝版本
本指南依照 Stanford 教學:兩支 ViperX 300 手臂、兩支 WidowX 250 手臂、一台 Tracer AGV 與一台 Lambda Labs Tensorbook 筆電。
- 原專案只發布了一份組裝文件:Mobile ALOHA Hardware Assembly Tutorial。內容包含物料清單、六個 3D 列印輪式里程計零件的清單,以及分為五部分的硬體指南:安裝 ALOHA 末端執行器、建造機器人框架、安裝機器人與相機、纜線連接,以及輪式里程計。
- 框架只以 Fusion360 模型發布。教學沒有提供框架的文字步驟,也沒有說明完成的框架如何固定到 Tracer 底盤上。因此本指南列出框架零件並指向該模型,不自行編造缺少的步驟。
- 教學把兩項工作交給其他文件:原版 ALOHA 教學的 Part 1(末端執行器與手臂電源),以及 mobile-aloha 儲存庫的 README(軟體)。以下兩者都會用到。
- 軟體已在 Ubuntu 18.04 或 20.04 搭配 ROS 1 noetic 上測試過。README 將 ROS 2 與 Ubuntu 22.04 或更新版本列為仍在測試中,而非可正常運作。
- AgileX 販售一個名為 Cobot Magic 的版本。AgileX 在 2024 年 3 月 8 日自己的貼文中列出:一個 Tracer 底盤、三台 Orbbec Dabai 深度相機、四支描述為經 AgileX 客製的 6 DOF 輕量手臂、一個 7 埠 USB 集線器、一個 4 孔電源延長線、一台 1000W 行動電源站,以及選配的 Jetson Orin Nano Developer Kit (8G) 或 APQ-X7010 工業電腦。AgileX 的模擬模型也顯示一台搭配 Dabai 相機與 PiPER 手臂的 Tracer 2。兩個來源都沒有提供組裝步驟,因此本指南不描述該版本。如果你購買的是 Cobot Magic,請使用 AgileX 自己針對其手臂、相機與電腦的文件。
- 依教學計算,Stanford 零件清單的總價為 $31,757.86。
1.2 全程適用的規則
四台機器人都直接以 USB 連接,不使用集線器或延長線;絕不可讓通電中的機器人在沒有支撐時失去扭矩。
- 將四台機器人直接以 USB 連接到電腦。機器人不要使用延長線或 USB 集線器。
- 相機可以經由 USB 集線器連接,為了維持合理的延遲,每個集線器最多接 2 台相機。
- 如果機器人的馬達扭矩關閉,機器人會垮下來,因為關節中沒有自動啟動的煞車。
- Dynamixel Wizard 不知道機器人的運動學,所以從它送出指令時要小心避免碰撞。
- 執行遠端操作指令前,先將 4 台機器人都放到休眠姿勢,並打開主控機器人的夾爪。
2. 末端執行器與手腕攝影機
Mobile ALOHA 教學要你依照原版 ALOHA 教學的 Part 1 製作主導端與跟隨端機器人的末端執行器,並在兩台跟隨端機器人上安裝手腕攝影機。儲存庫中還有一個改良的夾爪設計,附有自己的組裝文件,見下一章節。
2.1 為兩支 WidowX 手臂裝上握把並拆下原廠夾爪
在每支較小的 WidowX 手臂上,以四顆 M2.5 螺帽與 M2.5 x 10 螺栓裝上兩片握把半件,然後拆下原廠夾爪。
- 所需零件:handle_lower、handle_upper,以及 4 顆 M2.5 螺帽搭配 M2.5 x 10 螺栓。
- 在兩台 WidowX 機器人(較小的手臂)上安裝握把。
- 提示:用鑽頭把孔擴大,讓螺栓容易穿過。對角裝兩顆螺絲可能就夠了;裝四顆更牢固。
- 用六角扳手拆下原廠夾爪。保留所有原廠螺絲與墊圈,並記住各自原本的位置,因為之後會以相同方式再用到。
2.2 組裝並安裝反向驅動單元
Lever1、lever2、兩個滑塊、兩個轉子與四支轉子臂組成這個單元,裝在每支 WidowX 的手腕馬達上。
- 所需零件:lever1、lever2、2 個滑塊、2 個轉子、4 個 rotor_arm。工具:六角扳手。
- 開始前,先確認兩個滑塊都能沿著剛拆下的夾爪滑軌順暢滑動。若不順,用金屬銼刀銼修。
- 視印表機而定,可能需要把孔修圓或擴大,讓零件活動順暢。
- 製作魔鬼氈手指套環時,取一條束線帶,剪成適當長度,再用熱熔膠黏到槓桿上。
- 用 Dynamixel Wizard 連接機器人(請見軟體部分的 README 步驟)。選擇第 9 顆馬達,開啟扭矩,拖曳紅線將 Position 設為 180。
- 馬達軸上的孔位應與教學照片中完全相同。用左右兩側的孔安裝反向驅動單元。
2.3 安裝夾爪滑軌並測試反向驅動單元
舊夾爪滑軌的兩端各以一顆 M3 x 30 螺絲與螺帽固定,並在馬達扭矩關閉的狀態下測試此單元。
- 所需零件:M3 x 30 螺絲與螺帽。工具:六角扳手。
- 每一側:在 M3 x 30 螺絲上套一顆螺帽當作墊圈,將螺絲穿過孔,再鎖上另一顆螺帽固定。
- 再鎖上一顆螺帽,接著鎖上拆解機器人時取下的 T 型螺帽。螺絲應與 T 型螺帽齊平。另一側重複相同步驟。
- 依序將以下零件穿上夾爪滑軌:T 型螺帽、滑塊、滑塊、T 型螺帽。鎖緊螺帽,將滑軌兩端固定。
- 測試:在 Dynamixel Wizard 中關閉馬達扭矩。此時應能輕鬆反向驅動夾爪馬達。
2.4 安裝 3D 列印夾爪手指
使用機器人隨附的兩顆長螺絲,以 Finger1 與 finger2 取代原廠手指。
- 所需零件:finger1、finger2。工具:六角扳手;建議使用裝上六角起子頭的電鑽。
- 安裝前,先確認滑塊能沿夾爪滑軌順暢移動。若機器人隨附的滑塊太緊,請銼修它的孔。
- 以與原廠夾爪相同的方式,用機器人隨附的兩顆長螺絲安裝客製夾爪。鎖入時預期會相當吃力。
- 注意方向:每根手指的直邊應朝上。
2.5 在手指上貼止滑膠帶
在指尖與邊緣貼上止滑膠帶,讓夾爪能夾住薄而滑的物體。
- 先剪一段 1 cm 的止滑膠帶,貼在夾爪尖端。膠帶的末端應位於三角形的尖端。
- 接著貼一段長膠帶(約 10 cm)。先包覆直邊,再包另一側,並修掉多餘部分。確認黏貼緊密。
- 另一個夾爪重複相同步驟。一律先包直邊。
- 選用,適用於把手等圓形物件:每根手指各剪 5 cm、3.5 cm 與 2 cm 三段,依此順序貼上。3.5 cm 與 2 cm 兩段之間不要留接縫或重疊。教學表示,這樣手臂就能舉起一把全尺寸的電鑽。
2.6 在兩台跟隨機器人上安裝手腕攝影機
將拆掉支架的 Logitech 網路攝影機滑入每個 cam_mount,以一顆 M3 x 4 螺絲固定,再以四顆 M2.5 x 8 螺絲將攝影機座裝到機器人上。
- 所需零件:cam_mount、Logitech 網路攝影機、M2.5 x 8 螺絲、M3 x 4 螺絲。工具:六角扳手。
- 先拆下網路攝影機的支架。這也會大幅減輕網路攝影機的重量。
- 接著相機應可輕鬆滑入 cam_mount。再用一顆 M3 x 4 螺絲固定。
- 用 4 顆 M2.5 x 8 螺絲將 cam_mount 裝到機器人上。
- Mobile ALOHA 教學要求在兩台從動機器人上都裝設手腕相機。
3. 改良夾爪(替代設計)
儲存庫的 hardware 資料夾中有一個較新的夾爪設計,附有自己的組裝文件,由 Thinh Nguyen 撰寫(版本 1.0,2023 年 7 月 28 日)。它使用滑軌滑塊、軸承與雷射切割壓克力,比上方的列印手指更複雜。Mobile ALOHA 教學沒有提到它。每支手臂擇一設計,不要兩者並用。步驟圖片在 PDF 中。
3.1 改良版 WidowX 夾爪
一款滑軌式夾爪,附魔鬼氈手指座與握把,以 STEP 檔零件、3 mm 壓克力背板與 McMaster 滑軌滑塊製成。
- 零件與扣件列在 PDF 的 2.0 節(例如 4 根 M2 黃銅支柱、6 顆 3 mm x 6 mm x 2.5 mm 深溝滾珠軸承,以及一條附滑塊的 120 mm 滑軌)。訂購前請先閱讀該清單。
- 將 4 根 M2 黃銅支柱插入 bridge rails support。
- 雷射切割 3 mm 壓克力背板後,如圖所示為孔加工沉頭孔。
- 在轉子臂上安裝 3 個軸承(右側 2 個,左側 1 個)。
- 用螺絲攻在中間的孔攻出 M3 螺紋,深度約 5 mm。
- 用一顆 M3 x 10 mm 沉頭螺絲與一顆防鬆螺帽將轉子與轉子臂組合在一起。
- 將附滑塊的滑軌裝到 bridge 上,兩端用 M2 x 16 mm 沉頭螺絲固定。中間的孔使用 M2 x 10 mm 沉頭螺絲與螺帽。
- 用滑軌隨附的 8 顆圓頭螺絲(6 mm)搭配小外徑平墊圈,將 finger adapter 裝到滑塊上。
- 用 M3 x 20 mm 沉頭螺絲將轉子連桿裝到 finger adapter 上。
- 用 M2 x 10 mm 螺絲將背板裝到 bridge 上,沉頭孔朝前。確認大孔的中心與兩條滑軌的中心對齊。
- 用魔鬼氈裝上手指座。
- 將 finger adapter 開合移動,確認轉子轉向正確(閉合為順時針,打開為逆時針)。
- 將墊片轉子裝入馬達。
- 用一顆 M2 x 6 mm 螺絲與墊圈將轉子固定到馬達舵盤上。用 M2.5 x 16 沉頭螺絲將夾爪固定到馬達上,方向須符合你的配置。
- 將握把裝到馬達上,兩側用 M2.5 x 8 mm 螺絲鎖緊。
- 將手指座開合移動,確認動作順暢。夾爪組裝到此完成。
3.2 改良版 ViperX 夾爪
相同的滑軌設計,搭配布片式手指與 150 mm 滑軌。
- 零件與扣件列在 PDF 的 2.0 節(例如 4 根 M2 黃銅支柱、6 顆 3 mm x 6 mm x 2.5 mm 深溝滾珠軸承,以及一條附滑塊的 150 mm 滑軌)。訂購前請先閱讀該清單。
- 將 4 根 M2 黃銅支柱插入 bridge rails support。
- 雷射切割 3 mm 壓克力背板後,如圖所示為孔加工沉頭孔。
- 在轉子臂上安裝 3 顆軸承(左側 2 顆、右側 1 顆)。
- 用螺絲攻在中間的孔攻出 M3 螺紋,深度約 5 mm。
- 用一顆 M3 x 10 mm 沉頭螺絲與一顆防鬆螺帽將轉子與轉子臂組合在一起。
- 將附滑塊的滑軌裝到 bridge 上,兩端用 M2 x 16 mm 沉頭螺絲固定。中間的孔使用 M2 x 10 mm 沉頭螺絲與螺帽。
- 用滑軌隨附的 8 顆圓頭螺絲(6 mm)搭配小外徑平墊圈,將 finger adapter 裝到滑塊上。
- 用 M3 x 20 mm 沉頭螺絲將轉子連桿裝到 finger adapter 上。
- 用 M2 x 10 mm 螺絲將背板裝到 bridge 上,沉頭孔朝前。確認大孔的中心與兩條滑軌的中心對齊。
- 將 finger adapter 開合移動,確認轉子轉向正確(閉合為順時針,打開為逆時針)。
- 將布質拉片裝到手指上。
- 將 finger-to-finger adapter 滑入定位,並用 M2 x 20 mm 螺絲固定。
- 將墊片轉子裝入馬達。
- 用一顆 M2 x 6 mm 螺絲與墊圈將轉子固定到馬達舵盤上。用 M2.5 x 16 沉頭螺絲將夾爪固定到馬達上,方向須符合你的配置。
- 將手指開合移動,確認動作順暢。夾爪組裝到此完成。
4. 框架、手臂與前方攝影機
原專案以 Fusion360 模型與零件清單提供框架,只有安裝機器人與前方攝影機有書面步驟。
4.1 備齊機架零件
機架為 4040 鋁擠型加上連接件,另有只用於固定機器人的 M6 螺絲與 T 型螺帽。
- 4040 鋁擠型:800 mm x 8、500 mm x 6、400 mm x 2、300 mm x 7。
- 連接件:4040 L 型連接件 x 28、4040 T 型連接件 x 4、4040 45 度角連接件 x 1,以及 4040 角座與 T 型槽滑動螺帽。
- 4040 端蓋,以及安裝機器人用的:M6 20 mm 螺絲與 4040 用 M6 T 型螺帽。
- 教學中的數量欄是要購買的包數,連結文字則標示每包的件數(例如 800 mm 鋁條是 4 包、每包 2 支)。訂購前請將包裝數量與上方的件數核對。
4.2 依 Fusion360 模型組裝機架
教學中關於機架的唯一說明,就是依照其 CAD 模型組裝。
- 依照教學中指名的 CAD 檔案進行。選擇 Model Browser 可查看元件清單,點選元件即可將其標示出來。標籤 4040-50 代表 50 cm 的鋁條。
- 框架其餘部分使用 M8 螺絲。機器人的安裝則改用 M6(下一步)。
- 依教學所述,機器人框架設計也可向 Vention 取得(credit: Robert Shuttleworth)。
- 教學沒有說明框架如何固定到 Tracer 底座上。
4.3 安裝主導臂與跟隨臂
兩種手臂都以 M6 20 mm 螺絲與 4040 用的 M6 T 型螺帽鎖到機架上,主導臂用六顆螺絲,跟隨臂用兩顆。
- 框架其餘部分使用 M8 螺絲,但機器人必須以 M6 安裝(請見物料清單中的 M6 20mm 與 4040 用 M6 T 型螺帽)。
- 主控臂(左):用 6 顆 M6 螺絲將機器人固定到框架上。機器人底板的前緣應與鋁擠型對齊。
- 從動臂(左):以 2 顆 M6 將機器人安裝到框架上。
- 在原版 ALOHA 教學中,較小的 WidowX 手臂是主控臂(master),較大的 ViperX 手臂是從動臂(puppet)。
4.4 安裝前方攝影機
前方網路攝影機以膠帶貼在橫樑上,並以熱熔膠固定角度。
- 安裝前方相機時,先將 Logitech 網路攝影機的底座用膠帶貼在橫樑頂部,再用熱熔膠固定相機角度。
- 教學僅以照片呈現要使用的橫樑以及相機視角範例(前、左、右)。
4.5 選配:主導臂的重力補償
在肩部與手肘的 M2.5 x 20 mm 螺絲上繞橡皮筋,手腕處也加一條橡皮筋。
- 原版 ALOHA 的重力補償對行動使用來說太笨重,因此教學提供了重新設計的版本(部分靈感來自 GELLO)。
- 肩關節:使用 4 顆 M2.5 20 mm 螺絲,並在螺絲上纏繞橡皮筋。肘關節也以相同方式處理。
- 在腕關節加一條橡皮筋,讓它回到原位。教學表示,這對防止關節翻轉 180 度很重要。
- 教學提醒:螺絲可能因長期受力而逐漸彎曲。
5. 電源與 USB 配線
原專案以簡短段落與照片說明電源與 USB 配置。它沒有說明叉型端子配線的電壓或極性;這部分請參考電源供應器本身的手冊。
5.1 電源
底部橫樑上的一組電池為四支手臂共用的 DC 電源與筆電電源供電。
- 將電池組放在底部橫樑上方。
- 為 ALOHA 手臂供電時,請依照原版 ALOHA 教學操作,再將電源供應器直接插到電池組上。
- 原版 ALOHA 教學指出,ViperX 隨附的電源供應器可能不穩定,因此改用一台獨立電源供應器同時為全部 4 台機器人供電,從它拉 4 條線到各機器人。每條線的母頭端剪掉,依電源供應器說明書的描述改接叉型端子。
- 筆電的電源供應器也直接插到電池組上。
- Mobile ALOHA 物料清單列有一台 600W 直流電源供應器、5 條 12V 直流電源線,以及叉型端子。
5.2 USB 連接
Tracer 底盤透過其隨附的轉換器連接,其他所有裝置則透過兩個集線器或直接接到連接埠。
- 將 Tracer 底盤連接到筆電時,請使用底盤隨附的 USB-CAN 匯流排轉換器。
- 教學使用兩個 USB 集線器。集線器 1:機器手臂的 USB 線、Tracer 底盤的 1 條 USB,以及 1 台前方相機。集線器 2:2 台手腕相機。兩個集線器分別插在筆電的左右兩側。
- WidowX 或 ViperX 隨附的 Micro-B 轉 USB-A 線可能太短。原版 ALOHA 教學改用 10 ft 的線,並表示原廠線加上 USB 延長線是行不通的。
- README 指出四台機器人不要使用延長線或 USB 集線器,原版 ALOHA 教學也這麼說。這與上述的集線器 1 不一致:請依照 README,將四台機器人直接插到筆電上,只讓相機(每個集線器最多 2 台)與 Tracer 轉換器經過集線器。
- 原版 ALOHA 教學指出,電腦至少需要 6 個 USB 埠:4 個給機器人,2 個給相機。
- 依教學所述,到這一步,軟體設定完成後就應該能遠端操作兩支手臂。
6. 車輪里程計
Tracer 本身的車輪讀數無法用於錄製,因為只要通電,它的車輪就會被施加扭矩鎖住。Stanford 在底座兩側各加了一個獨立的里程計單元。教學提供了零件清單與配線,但這些單元如何裝到底座上只以照片呈現,而它的最後一步提到儲存庫 README 中的馬達設定,README 中卻沒有這段內容。
6.1 列印六個里程計零件
以教學中連結的檔案列印兩個輪子、兩個安裝座與兩個外殼。
- 總共列印 6 件:Wheel(2)、Mount(2)、Housing(2)。教學中提供這些檔案的 STL、STEP 與 Fusion360 格式連結。
- 輪式里程計用於在遠端操作收集資料時記錄底盤速度。Tracer 的輪子通電後會自動施加扭矩,因此會關閉底盤,改用這個單元取得資料。
6.2 準備兩顆 DYNAMIXEL XL430-W250-T 馬達
拆下馬達軸旁的齒輪,讓馬達可自由轉動,只作為編碼器使用。
- Dynamixel 純粹用來讀取底盤速度,作用就像編碼器。齒輪的摩擦可能讓輪子在地面打滑,因此要將轉軸與內部的直流馬達斷開。
- 依照 DYNAMIXEL X-Series Horn Disassembly 指南取下舵盤,或直接用蠻力拆下。
- 依照 DYNAMIXEL Gear Replacement (AX-Series) 影片打開 Dynamixel 外殼,看到 0:41 為止。影片中使用的馬達與 XL430 不同,但結構相似。
- 取出最靠近馬達軸的齒輪,然後將所有零件裝回。
6.3 在底盤兩側各裝一個單元
每一側有一顆 XL430-W250-T、一個輪子、一個安裝座與一個外殼,輪子貼上止滑膠帶,上方加上配重。
- 在底盤兩側安裝這個單元。每一側需要 1 個 DYNAMIXEL XL430-W250-T、1 個輪子、1 個 mount 與 1 個 housing。
- 為減少輪子與地面之間的打滑,在輪子上纏繞止滑膠帶,並在 housing 上方加配重。
- 教學沒有提供將 mount 固定到 Tracer 上的文字說明。請參考其照片。
6.4 將里程計馬達接到筆電
兩顆馬達接到一組 U2D2 Power Hub Board Set,再接到一個 U2D2,然後以 USB 直接接到筆電。
- 用馬達隨附的線材與跳線,將兩顆馬達連接到 U2D2 Power Hub Board Set。
- 將 U2D2 Power Hub Board Set 連接到 U2D2。
- 用 USB 將 U2D2 直接連接到筆電。
- 在 12V 電源供應器上再加一條 12V 直流電源線,插到 U2D2 Power Hub Board Set 上。
- 教學的最後一步說要依照 Mobile ALOHA 儲存庫中的教學設定兩顆馬達。但所閱讀版本的 README 中並沒有這一節。
7. 軟體與初步檢查
以下全部取自儲存庫 README。測試過的配置是 Ubuntu 18.04 或 20.04 搭配 ROS 1 noetic。
7.1 安裝 ROS 與儲存庫
Trossen 的 interbotix 軟體會建立工作區,儲存庫就複製到這個工作區中。
- 依照 Trossen Robotics 的 interbotix_xsarms 文件安裝 ROS 與 interbotix 軟體。這會建立目錄 ~/interbotix_ws,其中包含 src。
- 在 ~/interbotix_ws/src 中複製 mobile-aloha 儲存庫。
- 執行:source /opt/ros/noetic/setup.sh && source ~/interbotix_ws/devel/setup.sh
- 執行:sudo apt-get install ros-noetic-usb-cam && sudo apt-get install ros-noetic-cv-bridge
- 在 ~/interbotix_ws 中執行 catkin_make,並確認建置成功。
- 前往 ~/interbotix_ws/src/interbotix_ros_toolboxes/interbotix_xs_toolbox/interbotix_xs_modules/src/interbotix_xs_modules/arm.py,找到函式 publish_positions。將 self.T_sb = mr.FKinSpace(self.robot_des.M, self.robot_des.Slist, self.joint_commands) 改為 self.T_sb = None。這樣程式就不會在每一步都計算正向運動學,避免拖慢遠端操作。
7.2 找出四台機器人並為每台指定固定的連接埠名稱
以 Dynamixel Wizard 確認每台機器人,再以 udev 規則將每台綁定到固定名稱。
- 用 USB 將 4 台機器人連接到電腦並開啟電源。不要使用延長線或 USB 集線器。
- 安裝 Dynamixel Wizard。開啟後進入 options 並選擇:Protocol 2.0、All ports、1000000 bps、ID range 0-10。每次掃描前都要重複這個設定。
- 按下 Scan。應該會出現 4 個裝置,每個裝置有 9 顆馬達。
- 每台機器人綁定的連接埠可能會隨時間改變(例如 ttyUSB0 可能變成 ttyUSB5),因此要將每台綁定到固定的符號連結:ttyDXL_master_right、ttyDXL_puppet_right、ttyDXL_master_left、ttyDXL_puppet_left。master 是操作者手持的機器人;puppet 是執行任務的機器人。
- 對每台機器人:找出它目前的連接埠,例如 ttyUSB0。執行:udevadm info --name=/dev/ttyUSB0 --attribute-walk | grep serial。使用第一個出現的序號(格式類似 FT6S4DSP)。
- 執行:sudo vim /etc/udev/rules.d/99-fixed-interbotix-udev.rules,加入下面這一行,並填入你的序號與該機器人的符號連結名稱:SUBSYSTEM=="tty", ATTRS{serial}=="<serial number here>", ENV{ID_MM_DEVICE_IGNORE}="1", ATTR{device/latency_timer}="1", SYMLINK+="ttyDXL_master_right"
- 對另外 3 台機器人重複以上步驟,然後執行:sudo udevadm control --reload && sudo udevadm trigger
- 若設定成功,/dev 中會出現 ttyDXL* 項目。
7.3 限制 puppet 手臂夾爪馬達的電流
將 puppet 手腕馬達的電流上限設為 300,可避免過載錯誤。
- 在 Dynamixel Wizard 中選擇 puppet 手臂的手腕馬達。它的名稱是 [ID:009] XM430-W350。
- 提示:機器人與 Dynamixel Wizard 通訊時,機器人底座上的 LED 會閃爍,由此可看出選中的是哪一台機器人。
- 找到 38 Current Limit,輸入 300,再按下底部的 save。
- 對兩台 puppet 機器人都重複此步驟。這會限制流經夾爪馬達的最大電流,避免過載錯誤。
7.4 為三台攝影機指定固定名稱
每台攝影機都會有一個 udev 符號連結,讓它保持相同的名稱。
- 相機可以使用 USB 集線器,但為了維持合理的延遲,每個集線器最多接 2 台相機。
- 相機預設會綁定到 /dev/video0、/dev/video1 等。需要的符號連結為 CAM_RIGHT_WRIST、CAM_LEFT_WRIST 與 CAM_HIGH。
- 以 CAM_RIGHT_WRIST 為例,若它位於 /dev/video0,執行:udevadm info --name=/dev/video0 --attribute-walk | grep serial。使用第一個出現的序號(格式類似 0E1A2B2F)。
- 執行:sudo vim /etc/udev/rules.d/99-fixed-interbotix-udev.rules,並加入:SUBSYSTEM=="video4linux", ATTRS{serial}=="<serial number here>", ATTR{index}=="0", ATTRS{idProduct}=="085c", ATTR{device/latency_timer}="1", SYMLINK+="CAM_RIGHT_WRIST"
- 對 CAM_LEFT_WRIST 與 CAM_HIGH 重複以上步驟,然後執行:sudo udevadm control --reload && sudo udevadm trigger
- 若設定成功,/dev 中會出現 CAM_RIGHT_WRIST、CAM_LEFT_WRIST 與 CAM_HIGH。
7.5 為電腦設定 Tracer 底盤
底盤以原廠的 CAN 轉 USB 纜線連接,並以 can0 啟用。
- 用原廠的 CANBUS 轉 USB 線將底座連接到電腦,並打開電源。
- 安裝 AgileX SDK:pip3 install pyagxrobots
- 啟用 gs_usb 核心模組:sudo modprobe gs_usb
- 啟用 CAN 裝置:sudo ip link set can0 up type can bitrate 500000
- 若沒有錯誤,可用以下指令看到 can 裝置:ifconfig -a
- 安裝 can-utils 以測試硬體:sudo apt install can-utils
- 用以下指令接收 can0 的資料:candump can0
7.6 啟動機器人與攝影機
一個啟動檔即可啟動 4 台機器人與 3 台攝影機。
- 開啟新的終端機。若預設會啟用 conda,請執行:conda deactivate
- 執行:source /opt/ros/noetic/setup.sh && source ~/interbotix_ws/devel/setup.sh
- 執行:roslaunch aloha 4arms_teleop.launch
- 若沒有出現錯誤訊息,表示電腦已連上全部 3 台相機、全部 4 支機器手臂以及機器人底盤。
- 疑難排解:確認 Dynamixel Wizard 已中斷連線,且沒有應用程式正在使用網路攝影機串流。兩者任一都會讓 ROS 無法連接這些裝置。
7.7 安裝 Python 環境
一個名為 aloha、使用 Python 3.8.10 的 conda 環境。
- 執行:conda create -n aloha python=3.8.10
- 執行:conda activate aloha
- 接著用 pip install 逐一安裝:torchvision、torch、pyquaternion、pyyaml、rospkg、pexpect、mujoco、dm_control、opencv-python、matplotlib、einops、packaging、h5py、tqdm、wandb。
- mobile-aloha 儲存庫沒有 requirements.txt,也沒有 catkin_ws;工作區是 ~/interbotix_ws。
7.8 測試遠端操作
每隻手各有自己的終端機,主導臂夾爪合上時即開始遠端操作。
- 執行這些指令前,先將 4 台機器人都放到休眠姿勢,並打開主控機器人的夾爪。所有機器人會升到便於遠端操作的高度。
- ROS 終端機:conda deactivate,接著 source /opt/ros/noetic/setup.sh && source ~/interbotix_ws/devel/setup.sh,然後 roslaunch aloha 4arms_teleop.launch
- 右手終端機:conda activate aloha,接著 cd ~/interbotix_ws/src/aloha/aloha_scripts,然後 python3 one_side_teleop.py right
- 左手終端機:同上,改用 python3 one_side_teleop.py left
- 主控側夾爪閉合時,遠端操作即開始。
7.9 錄製、檢視與重播片段
record_episodes.py 需要一個存在於 constants.py 中的任務名稱,並會儲存到該任務的資料夾。
- 在新的終端機執行:conda activate aloha,然後 cd ~/interbotix_ws/src/aloha/aloha_scripts
- 用以下指令錄製一個 episode:python3 record_episodes.py --task_name aloha_mobile_dummy --episode_idx 0
- 此版本的腳本必須指定 --task_name,並可選擇性指定 --episode_idx。它會從 constants.py 中對應的項目讀取儲存資料夾、episode 長度與相機。aloha_mobile_dummy 是其中一個項目,會儲存到 ~/data/aloha_mobile_dummy。README 中使用 --dataset_dir 的範例與腳本不符。
- episode 會存成 hdf5 檔案。要變更 episode 長度與其他設定,請直接編輯 constants.py。
- 視覺化一個 episode:python3 visualize_episodes.py --dataset_dir <data save dir> --episode_idx 0
- 以實體機器人重播一個 episode:python3 replay_episodes.py --dataset_dir <data save dir> --episode_idx 0
- 在例如切斷電源之前,降下 4 台機器人:python3 sleep.py
- 訓練模仿學習策略方面,README 指向獨立的 act-plus-plus 儲存庫中的 ACT for Mobile ALOHA。