簡(jiǎn)介

黑芝麻智能推出的 SesameX 多維具身智能計(jì)算平臺(tái)，構(gòu)建了業(yè)界首個(gè)從硬件、軟件、工具鏈到模型生態(tài)的全棧機(jī)器人全腦體系 "。其中，SesameX Aura是專(zhuān)為多足機(jī)器人等復(fù)雜場(chǎng)景設(shè)計(jì)的高性能異構(gòu)計(jì)算模組，具備 70 TOPS 算力與多模態(tài)同步采集能力，支持多攝像頭輸入、IMU 同步等高速接口，能精準(zhǔn)實(shí)現(xiàn)環(huán)境感知、智能決策與運(yùn)動(dòng)控制的協(xié)同優(yōu)化，讓機(jī)器人 "看懂世界，精準(zhǔn)行動(dòng)"。

產(chǎn)品介紹

SesameX 的目標(biāo)并非構(gòu)建一個(gè)封閉的全棧系統(tǒng)，而是面向產(chǎn)業(yè)伙伴提供一套開(kāi)放、可擴(kuò)展、可量產(chǎn)的機(jī)器人智能計(jì)算底座，幫助機(jī)器人從 “可運(yùn)行” 走向 “可成長(zhǎng)”，從單點(diǎn)能力展示邁向長(zhǎng)期商業(yè)化落地。

SesameX 在平臺(tái)設(shè)計(jì)的早期階段，就將可成長(zhǎng)性作為核心目標(biāo)之一。所謂成長(zhǎng)，并非簡(jiǎn)單依賴(lài)模型規(guī)模擴(kuò)大，而是系統(tǒng)能夠在真實(shí)環(huán)境中持續(xù)穩(wěn)定運(yùn)行，并在反饋中逐步優(yōu)化行為表現(xiàn)。

傳統(tǒng)機(jī)器人系統(tǒng)往往以任務(wù)為中心進(jìn)行設(shè)計(jì)，感知、規(guī)劃、控制彼此分離，模型部署完成即進(jìn)入長(zhǎng)期靜態(tài)運(yùn)行狀態(tài)。一旦環(huán)境變化或任務(wù)復(fù)雜度提升，系統(tǒng)需要重新設(shè)計(jì)、重新標(biāo)定，難以支撐規(guī)模化落地。

SesameX 通過(guò)在平臺(tái)層面引入統(tǒng)一的計(jì)算結(jié)構(gòu)、任務(wù)表達(dá)方式和執(zhí)行調(diào)度機(jī)制，使機(jī)器人在架構(gòu)上具備持續(xù)演進(jìn)的基礎(chǔ)條件。不同來(lái)源的感知模型、規(guī)劃算法和控制策略可以在同一平臺(tái)內(nèi)協(xié)同運(yùn)行，并在系統(tǒng)運(yùn)行過(guò)程中形成穩(wěn)定的閉環(huán)反饋，從而支持機(jī)器人能力隨時(shí)間逐步提升。這種設(shè)計(jì)，使機(jī)器人首次在工程層面具備了從 “任務(wù)執(zhí)行型” 向 “認(rèn)知理解型” 再向 “全腦協(xié)同型” 演進(jìn)的現(xiàn)實(shí)路徑。

一套“從端側(cè)模組到全腦智能的體系化計(jì)算的全棧自研平臺(tái)”

SesameX 多維具身智能計(jì)算平臺(tái)提供了一套從硬件模組到系統(tǒng)軟件的完整計(jì)算體系，其目標(biāo)并非替代行業(yè)生態(tài)，而是為機(jī)器人廠商和算法伙伴提供一個(gè)可靠、可擴(kuò)展的基礎(chǔ)平臺(tái)。平臺(tái)通過(guò)模塊化設(shè)計(jì)、統(tǒng)一接口和兼容主流生態(tài)的方式，幫助合作伙伴降低系統(tǒng)集成復(fù)雜度，加速產(chǎn)品從研發(fā)走向量產(chǎn)。

• 計(jì)算平臺(tái)層 Module

SesameX 的計(jì)算系統(tǒng)由我們自主研發(fā)的三款計(jì)算模塊 Kalos、Aura 和 Liora 構(gòu)成，分別面向不同類(lèi)型與復(fù)雜度的機(jī)器人算力需求。在計(jì)算平臺(tái)這一層，我們提供的不僅是三款單獨(dú)的模組，而是一套完整的計(jì)算平臺(tái)體系。模組內(nèi)部已高度集成 SoC、內(nèi)存、電源、電源管理與時(shí)鐘等復(fù)雜設(shè)計(jì)，并可兼容主流底板接口，支持豐富的 I/O，包括 MIPI、CAN-FD、以太網(wǎng)、USB、SPI 與 I2C 等，從而讓開(kāi)發(fā)者可以直接面向系統(tǒng)級(jí)方案進(jìn)行設(shè)計(jì)。

平臺(tái)具備從實(shí)時(shí)控制到大模型推理均能穩(wěn)定輸出的可靠性能，同時(shí) Kalos 與 Aura 擁有緊湊小巧的體積（分別為 69×55mm 與 82×54mm），非常適合部署于敏感空間或移動(dòng)場(chǎng)景。借助這一平臺(tái)化設(shè)計(jì)，開(kāi)發(fā)者只需進(jìn)行底板設(shè)計(jì)即可完成整機(jī)規(guī)劃，大幅降低研發(fā)門(mén)檻。

整體而言，這一層的價(jià)值在于為機(jī)器人提供可量產(chǎn)級(jí)的堅(jiān)實(shí)硬件基礎(chǔ)，幫助不同形態(tài)的機(jī)器人以最低成本快速進(jìn)入功能調(diào)試與商業(yè)測(cè)試階段。

• 計(jì)算平臺(tái)層 Network

SesameX Network 作為系統(tǒng)級(jí)通信與數(shù)據(jù)編排層，負(fù)責(zé)在機(jī)器人內(nèi)部將不同計(jì)算模組、異構(gòu)算力單元以及各類(lèi)外設(shè)構(gòu)建為一個(gè)統(tǒng)一的實(shí)時(shí)協(xié)同體系，并同時(shí)支撐機(jī)器人與邊緣節(jié)點(diǎn)、云端之間的穩(wěn)健無(wú)線互聯(lián)。

在該層中，網(wǎng)絡(luò)子系統(tǒng)基于確定性以太網(wǎng)（TSN）構(gòu)建內(nèi)部主干，使感知→算力→控制鏈路具備可預(yù)測(cè)的端到端延遲與帶寬保障；通過(guò)集成多路高帶寬數(shù)據(jù)通道，可同時(shí)承載高分辨率 MIPI 視頻流、10GbE 數(shù)據(jù)交換以及跨單元共享 SRAM 的高速訪存，實(shí)現(xiàn)視覺(jué)、SLAM 與推理任務(wù)的并行數(shù)據(jù)供給。

系統(tǒng)還實(shí)現(xiàn)了面向 WiFi7/5G 的低時(shí)延無(wú)線協(xié)同協(xié)議，使機(jī)器人在與邊側(cè)節(jié)點(diǎn)進(jìn)行分布式推理、任務(wù)共享時(shí)維持毫秒級(jí)鏈路抖動(dòng)。底層數(shù)據(jù)管線采用 Zero-copy 通路設(shè)計(jì)，使來(lái)自 ISP/DSP 的感知流可直接進(jìn)入 NPU/CPU 的推理路徑，避免多級(jí)緩存拷貝帶來(lái)的額外延遲與功耗開(kāi)銷(xiāo)。借助上述通信機(jī)制，SesameX Network 為機(jī)器人構(gòu)建起可擴(kuò)展的實(shí)時(shí)協(xié)同計(jì)算結(jié)構(gòu)，使其能夠在單機(jī)、集群與邊云協(xié)同環(huán)境下保持一致的實(shí)時(shí)性和數(shù)據(jù)一致性。

• 計(jì)算平臺(tái)層 OS

在操作系統(tǒng)層，SesameX 計(jì)算平臺(tái)提供了統(tǒng)一的軟件運(yùn)行環(huán)境，支持 Ubuntu、ROS 2 以及自研的 SesameX-RTOS，從而在通用開(kāi)發(fā)生態(tài)與實(shí)時(shí)控制需求之間實(shí)現(xiàn)兼容與平衡。平臺(tái)原生集成 ROS 2，能夠與行業(yè)主流算法框架無(wú)縫對(duì)接；同時(shí)通過(guò) RTOS 與 Linux 的協(xié)同調(diào)度機(jī)制，使高頻控制環(huán)與大模型推理任務(wù)之間具備確定性時(shí)間片分配與干擾隔離能力。系統(tǒng)級(jí)安全隔離能力支持不同任務(wù)、不同權(quán)限在內(nèi)核與用戶(hù)態(tài)之間實(shí)現(xiàn)強(qiáng)隔離，確保運(yùn)行安全性與可驗(yàn)證性。

此外，OS 層提供統(tǒng)一的軟件抽象，使 Kalos、Aura 和 Liora 等多款模組可在同一套系統(tǒng)架構(gòu)中保持一致運(yùn)行體驗(yàn)。作為機(jī)器人系統(tǒng)的 “基礎(chǔ)生命層”，這一層決定了整機(jī)的可靠性、實(shí)時(shí)性與可擴(kuò)展性，是支撐上層感知、規(guī)劃與控制能力的根本。

• 中間件層

SesameX 中間件層由調(diào)度引擎、工具鏈和 Runtime 三大核心模塊構(gòu)成，共同形成機(jī)器人系統(tǒng)的 “中樞神經(jīng)網(wǎng)絡(luò)”。其中，SesameX 調(diào)度引擎負(fù)責(zé)跨模型、跨任務(wù)及跨算力單元的協(xié)同調(diào)度，通過(guò)優(yōu)先級(jí)機(jī)制與任務(wù)隔離確保關(guān)鍵任務(wù)不被資源爭(zhēng)搶?zhuān)踩蛉蝿?wù)在系統(tǒng)中獲得最高級(jí)別的實(shí)時(shí)執(zhí)行權(quán)。工具鏈組件提供并行編譯、混合精度加速、Transformer 結(jié)構(gòu)優(yōu)化、自動(dòng)量化與算子級(jí)優(yōu)化等能力，使模型在 Kalos、Aura、Liora 等不同模組上都能獲得最優(yōu)延遲與算力利用率。SesameX Runtime 則對(duì) CPU、DSP、NPU 與 MCU 進(jìn)行異構(gòu)融合調(diào)度，通過(guò)模型沙箱化、實(shí)時(shí)自調(diào)優(yōu)和故障隔離，實(shí)現(xiàn)多模型并行執(zhí)行與多單元算力的動(dòng)態(tài)分配。

借助中間件層的統(tǒng)一抽象和調(diào)度體系，機(jī)器人智能從 “分散式算力塊” 演進(jìn)為 “統(tǒng)一調(diào)度的大腦結(jié)構(gòu)”，從而獲得更平滑的動(dòng)作生成、更低抖動(dòng)的實(shí)時(shí)響應(yīng)與更高的系統(tǒng)魯棒性。

• 原子應(yīng)用層

SesameX 原子應(yīng)用層通過(guò)將復(fù)雜任務(wù)分解為最小可復(fù)用的原子技能（Atom Skills），并進(jìn)一步抽象為可組合的原子模型（Atom Models），構(gòu)建出可動(dòng)態(tài)編排的智能行為體系。該層基于任務(wù)模型（Task Model）實(shí)現(xiàn)運(yùn)行時(shí)的技能組合，使機(jī)器人能夠在無(wú)需硬編碼流程的情況下，根據(jù)環(huán)境與目標(biāo)在線生成行為序列。核心能力包括：

覆蓋視覺(jué)、定位、融合、規(guī)劃、控制、語(yǔ)言與多模態(tài)等多類(lèi)別的原子技能庫(kù)；基于 Skill Graph 的任務(wù)圖生成機(jī)制，通過(guò)結(jié)構(gòu)化圖模型而非傳統(tǒng)代碼邏輯驅(qū)動(dòng)機(jī)器人行為；跨機(jī)器人平臺(tái)的模型復(fù)用能力，使不同機(jī)器人可共享如 VSLAM、目標(biāo)檢測(cè)、軌跡生成等原子模型；以及支持實(shí)時(shí)任務(wù)編排的動(dòng)態(tài)行為組合，使機(jī)器人能夠根據(jù)情境變換重構(gòu)任務(wù)執(zhí)行鏈路。借助這一層，機(jī)器人首次具備類(lèi)似 “思維積木” 的智能能力，智能行為從固定邏輯轉(zhuǎn)變?yōu)榭山M合、可擴(kuò)展、可實(shí)時(shí)演化的任務(wù)體系。

系統(tǒng)安全層

系統(tǒng)安全層構(gòu)建的是一個(gè) “由下而上、多級(jí)聯(lián)動(dòng)” 的安全體系，從物理行為開(kāi)始守護(hù)，一直向上延伸到?jīng)Q策安全、主動(dòng)預(yù)警和數(shù)據(jù)安全。這種設(shè)計(jì)保證了只要系統(tǒng)啟動(dòng)，安全就始終在線，貫穿機(jī)器人生命周期的全部環(huán)節(jié)。

L0 | 本能反射層：最底層的機(jī)械與電氣保護(hù)。安全從最根部開(kāi)始：電機(jī)斷電、STO、限位、限扭、急停等機(jī)制構(gòu)成機(jī)器人的 “本能反射”，確保即使在最極端的情況下也不會(huì)造成物理傷害。這是所有安全的地基。

L1 | 動(dòng)作審查層：實(shí)時(shí)運(yùn)動(dòng)安全約束。再往上一層，是由 MCU/R5F 等實(shí)時(shí)控制單元構(gòu)建的動(dòng)作審查系統(tǒng)。它以毫秒級(jí)速度監(jiān)測(cè)速度、加速度、力矩和關(guān)節(jié)狀態(tài)，阻止任何不合理動(dòng)作的發(fā)生。安全開(kāi)始從 “物理兜底” 進(jìn)入 “實(shí)時(shí)保護(hù)”。

L2 | 安全軌跡層：計(jì)劃級(jí)的行為兜底。在控制安全之上，是規(guī)劃與軌跡層的安全機(jī)制。即使決策模型輸出異常，也會(huì)自動(dòng)降級(jí)為 “安全軌跡”，防止機(jī)器人進(jìn)入風(fēng)險(xiǎn)區(qū)域。AI 出錯(cuò)≠執(zhí)行危險(xiǎn)動(dòng)作。

L3 | 策略防護(hù)層：約束高層意圖，避免錯(cuò)誤策略落地。再向上，是高層行為與策略的安全約束。所有任務(wù)、計(jì)劃和策略在下發(fā)前都要經(jīng)過(guò)校驗(yàn)，確保不會(huì)突破安全邊界。決策層面具備 “自我約束能力”。

L4 | 主動(dòng)預(yù)警層：提前 100ms 的危險(xiǎn)預(yù)測(cè)能力。在此之上，是由多模態(tài)感知驅(qū)動(dòng)的主動(dòng)預(yù)警系統(tǒng)。人機(jī)距離、接觸風(fēng)險(xiǎn)、速度趨勢(shì)、傳感器健康狀況等都會(huì)實(shí)時(shí)監(jiān)測(cè)，一旦判斷有風(fēng)險(xiǎn)，會(huì)主動(dòng)觸發(fā)限速、減速、停機(jī)。機(jī)器人第一次具備 “第六感”。

L5 | 數(shù)據(jù)安全層

大腦與隱私的最高級(jí)守護(hù)。安全的最頂層來(lái)自數(shù)字世界：隱私保護(hù)、防攻擊、防入侵。本地推理、數(shù)據(jù)不上云、端到端加密、NOC 防火墻與安全啟動(dòng)機(jī)制共同構(gòu)建機(jī)器人 “大腦的護(hù)城河”。不僅動(dòng)作安全、決策安全，也保障數(shù)據(jù)與模型的完整性。從最底部的 “不傷人”，到中層的 “不做錯(cuò)、不想錯(cuò)”，再到最高層的 “不泄漏、不被攻破”。

系統(tǒng)安全層建立起一個(gè)完整的安全金字塔：

底層 → 身體安全（物理行為層）

中層 → 意圖安全（規(guī)劃與決策層）

頂層 → 大腦安全（隱私與系統(tǒng)完整性）

這種自底向上的安全架構(gòu)，是機(jī)器人從 “小規(guī)模示范走向大規(guī)模落地” 的根本前提，也是SesameX平臺(tái)區(qū)別于業(yè)界的核心價(jià)值。

產(chǎn)品總結(jié)

綜上所述，SesameX 多維具身智能計(jì)算平臺(tái)的核心價(jià)值不在于單一算力的提升，而在于提供了一套從端側(cè)模組到全腦智能、從硬件到底層軟件、從模型到安全的完整系統(tǒng)體系。平臺(tái)通過(guò)六層架構(gòu)實(shí)現(xiàn)了行業(yè)首次的全鏈路統(tǒng)一：

• 硬件層統(tǒng)一：模塊化、高集成、跨形態(tài)適配，覆蓋從移動(dòng)到操作、從服務(wù)到人形的完整場(chǎng)景；

• 通信層統(tǒng)一：TSN、萬(wàn)兆以太網(wǎng)與 WiFi7/5G 組成實(shí)時(shí)神經(jīng)網(wǎng)絡(luò)，支撐感知、推理與控制的確定性協(xié)同；

• OS 層統(tǒng)一：Ubuntu+ROS 2+RTOS 的組合既保證生態(tài)兼容，又滿足工業(yè)級(jí)實(shí)時(shí)性；

• 中間件層統(tǒng)一：調(diào)度引擎、工具鏈與 Runtime 構(gòu)成異構(gòu)算力協(xié)調(diào)的 “大腦操作系統(tǒng)”；

• 智能層統(tǒng)一：原子模型 + 任務(wù)模型 + Skill Graph 讓機(jī)器人智能像積木一樣擴(kuò)展、復(fù)用與重組；

• 安全層統(tǒng)一：六層安全體系自底向上守護(hù)，從物理行為、規(guī)劃、策略到隱私與防攻擊全面覆蓋。

這種高度一體化的系統(tǒng)結(jié)構(gòu)，讓 SesameX 多維具身智能計(jì)算平臺(tái)成為一款真正意義上的 “機(jī)器人全棧智能底座”：它讓機(jī)器人不僅能穩(wěn)定運(yùn)行，更能隨環(huán)境變化持續(xù)成長(zhǎng)；不僅能執(zhí)行任務(wù)，更能具備理解能力；不僅能處理感知與控制，更能實(shí)現(xiàn)全腦協(xié)同的認(rèn)知智能。

SesameX 多維具身智能計(jì)算平臺(tái)的意義不僅在于讓機(jī)器人 “動(dòng)得好、看得懂”，更在于建立起一條從感知到智能、從安全到進(jìn)化的系統(tǒng)級(jí)高速路，為機(jī)器人規(guī)模化落地提供了前所未有的統(tǒng)一基礎(chǔ)。這正是 SesameX 的獨(dú)特價(jià)值：它不是一塊芯片，而是一套讓機(jī)器人真正邁向未來(lái)的系統(tǒng)智能架構(gòu)。

產(chǎn)品合作

SesameX 多維具身智能計(jì)算平臺(tái)從 Kalos、Aura 到 Liora，覆蓋了不同復(fù)雜度與形態(tài)的機(jī)器人需求。這些平臺(tái)并非孤立產(chǎn)品，而是構(gòu)成一套可協(xié)同、可擴(kuò)展的機(jī)器人智能階梯。

黑芝麻智能希望通過(guò) SesameX，與機(jī)器人整機(jī)廠商、算法公司、系統(tǒng)集成商共同構(gòu)建開(kāi)放生態(tài)，讓機(jī)器人在真實(shí)世界中具備長(zhǎng)期穩(wěn)定運(yùn)行與持續(xù)成長(zhǎng)的能力。真正的具身智能，不只屬于算法或算力，而屬于一個(gè)能夠被產(chǎn)業(yè)廣泛采用、不斷演進(jìn)的系統(tǒng)基礎(chǔ)。SesameX 正是為此而生。

黑芝麻智能的 SesameX 多維具身智能計(jì)算平臺(tái)，讓機(jī)器人能夠有 “可信任的安全”，從 “可運(yùn)行” 走向 “可成長(zhǎng)”，從 “可演示” 走向 “量產(chǎn)落地”。讓我們一起推動(dòng)機(jī)器人安全和智能的進(jìn)化，讓機(jī)器人早日成為我們的助手和伙伴。