首页| 论坛| 搜索| 消息
主题:全方位解读黑芝麻智能SesameX多维具身智能计算平台
爱我中华发表于 2025-12-16 13:13
务成功率以及异常触发情况。这些信息不会简单堆积为日志,而是经过结构化整理,用于判断系统在不同场景下的表现差异。
当机器人在新环境中遇到性能下降或异常行为时,平台可以通过对比历史运行数据,定位问题来源:是感知模型对特定光照不敏感,还是规划策略在拥挤环境中过于保守,或是算力资源分配不合理导致延迟波动。这种基于运行数据的分析,为后续优化提供了明确方向。
在优化阶段,SesameX 并不强制限定模型更新方式。合作伙伴可以选择在本地进行模型微调,也可以在云端结合仿真环境进行再训练。平台通过统一接口支持模型更新、参数调整和策略回滚,使优化过程对现场运行影响最小。
当新的模型或策略被部署回机器人后,系统会在受控条件下逐步验证其效果,并继续进入下一轮反馈。这种渐进式的迭代方式,使机器人能力在长期运行中稳步提升,而不会因一次更新带来不可控风险。
通过这一闭环机制,机器人不再是一次性交付的产品,而是具备持续演进能力的系统。随着部署规模扩大,来自不同场景的数据还可以反向促进算法和系统设计的优化,形成技术与应用相互推动的良性循环,为商业化落地提供长期价值。
三、SesameX 多维具身智能计算平台:一套“从端侧模组到全脑智能的体系化计算的全栈自研平台”
SesameX 多维具身智能计算平台提供了一套从硬件模组到系统软件的完整计算体系,其目标并非替代行业生态,而是为机器人厂商和算法伙伴提供一个可靠、可扩展的基础平台。平台通过模块化设计、统一接口和兼容主流生态的方式,帮助合作伙伴降低系统集成复杂度,加速产品从研发走向量产。

1.计算平台层 Module
SesameX 的计算系统由我们自主研发的三款计算模块 Kalos、Aura 和 Liora 构成,分别面向不同类型与复杂度的机器人算力需求。在计算平台这一层,我们提供的不仅是三款单独的模组,而是一套完整的计算平台体系。模组内部已高度集成 SoC、内存、电源、电源管理与时钟等复杂设计,并可兼容主流底板接口,支持丰富的 I/O,包括 MIPI、CAN-FD、以太网、USB、SPI与I2C 等,从而让开发者可以直接面向系统级方案进行设计。
平台具备从实时控制到大模型推理均能稳定输出的可靠性能,同时 Kalos 与 Aura 拥有紧凑小巧的体积(分别为69×55mm与82×54mm),非常适合部署于敏感空间或移动场景。借助这一平台化设计,开发者只需进行底板设计即可完成整机规划,大幅降低研发门槛。
整体而言,这一层的价值在于为机器人提供可量产级的坚实硬件基础,帮助不同形态的机器人以最低成本快速进入功能调试与商业测试阶段。
2.计算平台层 Network
SesameX Network 作为系统级通信与数据编排层,负责在机器人内部将不同计算模组、异构算力单元以及各类外设构建为一个统一的实时协同体系,并同时支撑机器人与边缘节点、云端之间的稳健无线互联。
在该层中,网络子系统基于确定性以太网(TSN)构建内部主干,使感知→算力→控制链路具备可预测的端到端延迟与带宽保障;通过集成多路高带宽数据通道,可同时承载高分辨率 MIPI 视频流、10GbE 数据交换以及跨单元共享 SRAM 的高速访存,实现视觉、SLAM 与推理任务的并行数据供给。
系统还实现了面向 WiFi7/5G 的低时延无线协同协议,使机器人在与边侧节点进行分布式推理、任务共享时维持毫秒级链路抖动。底层数据管线采用 Zero-copy 通路设计,使来自 ISP/DSP 的感知流可直接进入 NPU/CPU 的推理路径,避免多级缓存拷贝带来的额外延迟与功耗开销。借助上述通信机制,SesameX Network 为机器人构建起可扩展的实时协同计算结构,使其能够在单机、集群与边云协同环境下保持一致的实时性和数据一致性。
3.计算平台层 OS
在操作系统层,SesameX 计算平台提供了统一的软件运行环境,支持 Ubuntu、ROS 2 以及自研的 SesameX-RTOS,从而在通用开发生态与实时控制需求之间实现兼容与平衡。平台原生集成 ROS 2,能够与行业主流算法框架无缝对接;同时通过 RTOS 与 Linux 的协同调度机制,使高频控制环与大模型推理任务之间具备确定性时间片分配与干扰隔离能力。系统级安全隔离能力支持不同任务、不同权限在内核与用户态之间实现强隔离,确保运行安全性与可验证性。
此外,OS 层提供统一的软件抽象,使 Kalos、Aura 和 Liora 等多款模组可在同一套系统架构中保持一致运行体验。作为机器人系统的“基础生命层”,这一层决定了整机的可靠性、实时性与可扩展性,是支撑上层感知、规划与控制能力的根本。
4.中间件层
SesameX 中间件层由调度引擎、工具链和 Runtime 三大核心模块构成,共同形成机器人系统的“中枢神经网络”。其中,SesameX 调度引擎负责跨模型、跨任务及跨算力单元的协同调度,通过优先级机制与任务隔离确保关键任务不被资源争抢,安全域任务在系统中获得最高级别的实时执行权。工具链组件提供并行编译、混合精度加速、Transformer 结构优化、自动量化与算子级优化等能力,使模型在 Kalos、Aura、Liora 等不同模组上都能获得最优延迟与算力利用率。SesameX Runtime 则对 CPU、DSP、NPU 与 MCU 进行异构融合调度,通过模型沙箱化、实时自调优和故障隔离,实现多模型并行执行与多单元算力的动态分配。
借助中间件层的统一抽象和调度体系,机器人智能从“分散式算力块”演进为“统一调度的大脑结构”,从而获得更平滑的动作生成、更低抖动的实时响应与更高的系统鲁棒性。
5.原子应用层
SesameX 原子应用层通过将复杂任务分解为最小可复用的原子技能(Atom Skills),并进一步抽象为可组合的原子模型(Atom Models),构建出可动态编排的智能行为体系。该层基于任务模型(Task Model)实现运行时的技能组合,使机器人能够在无需硬编码流程的情况下,根据环境与目标在线生成行为序列。核心能力包括:
覆盖视觉、定位、融合、规划、控制、语言与多模态等多类别的原子技能库;基于 Skill Graph 的任务图生成机制,通过结构化图模型而非传统代码逻辑驱动机器人行为;跨机器人平台的模型复用能力,使不同机器人可共享如 VSLAM、目标检测、轨迹生成等原子模型;以及支持实时任务编排的动态行为组合,使机器人能够根据情境变换重构任务执行链路。借助这一层,机器人首次具备类似“思维积木”的智能能力,智能行为从固定逻辑转变为可组合、可扩展、可实时演化的任务体系。
6.系统安全层
系统安全层构建的是一个“由下而上、多级联动”的安全体系,从物理行为开始守护,一直向上延伸到决策安全、主动预警和数据安全。这种设计保证了只要系统启动,安全就始终在线,贯穿机器人生命周期的全部环节。
L0|本能反射层:最底层的机械与电气保护。安全从最根部开始:电机断电、STO、限位、限扭、急停等机制构成机器人的“本能反射”,确保即使在最极端的情况下也不会造成物理伤害。这是所有安全的地基。
L1|动作审查层:实时运动安全约束。再往上一层,是由 MCU/R5F 等实时控制单元构建的动作审查系统。它以毫秒级速度监测速度、加速度、力矩和关节状态,阻止任何不合理动作的发生。安全开始从“物理兜底”进入“实时保护”。
L2|安全轨迹层:计划级的行为兜底。在控制安全之上,是规划与轨迹层的安全机制。即使决策模型输出异常,也会自动降级为“安全轨迹”,防止机器人进入风险区域。AI 出错≠执行危险动作。
L3|策略防护层:约束高层意图,避免错误策略落地。再向上,是高层行为与策略的安全约束。所有任务、计
下一页上一页  (2/3)
回帖(18):
18 # 肥羊羊
12-27 16:02
搬运太辛苦
17 # 肥羊羊
12-27 15:57
已经了解啦
16 # 肥羊羊
12-27 15:51
过来瞧一瞧
15 # hsieh2h
12-25 17:03
谢谢分享
14 # hsieh2h
12-25 17:03
了解一下
13 # hsieh2h
12-25 17:03
进来看一看
12 # 肥羊羊
12-20 16:47
搬运太辛苦
11 # 肥羊羊
12-20 16:46
已经了解啦
10 # 肥羊羊
12-20 16:37
过来瞧一瞧
9 # zhwy
12-20 16:26
已经了解啦

全部回帖(18)»
最新回帖
收藏本帖
发新帖