由意法半導體和Leopard Imaging開發的多模態視覺模塊將綜合感測能力整合到一個先進機器人平臺。該模塊集成了多種感知技術，并直接連接英偉達的機器人生態系統。

機器人感知的綜合傳感

此次發布的核心是一款多模態視覺模塊，將二維成像、三維深度感測和運動追蹤集成于一體中。該系統將ST的成像傳感器、慣性測量能力和飛行時間激光雷達與NVIDIA的全息掃描傳感器橋接整合，利用以太網連接實時向Jetson平臺流式多千兆傳感器數據。

該裝置設計符合典型的人形機器人尺寸、重量和功率限制，傳感器整合至關重要。通過將多個傳感功能整合到一個模塊中，開發者可以減少對離散組件的需求，簡化跨傳感領域的校準和同步。

意法半導體模擬動力微機系統與傳感器市場副總裁Marco Angelici表示：“類人機器人正超越研究項目和演示，為制造和汽車工廠、物流和倉儲，以及零售和客戶服務等多個崗位提供強大的新機器。”“我們與Leopard Imaging的合作，將市場領先的ST傳感器和執行器無縫集成進NVIDIA機器人生態系統，加速具備類人感知的物理AI應用的部署。”

與NVIDIA機器人生態系統的契合

基于NVIDIA全息掃描傳感器橋構建的多模態視覺模塊也被NVIDIA Isaac機器人框架支持，該框架提供AI模型、仿真工具和開發庫。

這一整合有助于解決機器人開發中持續面臨的挑戰之一，彌合仿真與實際部署之間的鴻溝。據Leopard Imaging稱，標準化傳感器數據流水線的訪問可能幫助開發者簡化數據收集和培訓工作流程。

Leopard Imaging首席執行官Bill Pu表示：“直接在生態系統內訪問ST傳感器和執行器，使我們能夠標準化并簡化了HSB界面上人形機器人視覺的數據采集和記錄。”“機器人制造者可以使用我們的多感應視覺模塊配合Isaac工具，加速學習，快速彌合'模擬與現實'的差距。”

模塊底層的傳感器技術

該模塊整合多項意法半導體傳感技術，包括：

• 510 萬像素 RGB-IR 圖像傳感器：支持卷簾快門與全局快門雙模式

• 6 軸慣性測量單元（IMU）：內置機器學習能力

• 直接飛行時間（dToF）激光雷達傳感器：可生成最高 2300 個區域的深度圖

激光雷達組件測距范圍達 9 米，具備寬視場角，幀率最高 100fps，適配需要實時感知的動態環境。