Skip to content

loongOpen/OpenLoong

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 

Repository files navigation

项目介绍

OpenLoong是由人形机器人(上海)有限公司孵化及运营的开源项目,目标是推动人形机器人完成全场景应用、具身智能时代,基于开源的方式,搭建人形机器人具身智能操作与操控系统的框架与公版开源硬件平台,促进通用人形机器人联产业繁荣发展。

技术架构

OpenLoong项目整体遵从全栈开源设计,从下向上依次为:云端大脑、具身小脑、具身实体、具身数据。项目功能按照“系统集> 子系统 > 软件包”逐级展开,在不同应用需求下可以依据硬件、软件实际需求裁剪某些非必要的组件。OpenLoong技术架构如下所示: img

云端大脑(OS)

  • 内核子系统:采用多内核(Linux内核或者LiteOS)设计,支持针对不同资源受限设备选用适合的OS内核。内核抽象层(KAL,Kernel Abstract Layer)通过屏蔽多内核差异,对上层提供基础的内核能力,包括进程/线程管理、内存管理、文件系统、网络管理和外设管理等。
  • 驱动子系统:驱动框架(HDF)是系统硬件生态开放的基础,提供统一外设访问能力和驱动开发、管理框架。

具身小脑

具身小脑是OpenLoong的核心的具身智能开源软件包集合,为人形机器人灵巧作业操作、鲁棒行走机动、终生智能发育提供了基础的应用与软件服务。该层包含以下几个部分:

  • 具身智能子系统集:为软件在人形机器人实体上运行、部署、迁移等操作提供了基础能力,由遥操控、模仿学习、强化学习等软件包组成。
  • 全身动力学子系统集:提供人形机器人全身动力学稳定控制通用的软件与框架,由动力学仿真、全身动力学、数据记录、中间件驱动。 根据不同人形机器人自由度配置与场景应用需求,具身小脑子系统集可以按软件功能需求裁剪。

具身实体

具身实体包括了公版开源人形机器人硬件图纸、BOM表与装配图纸,为人形机器人总体设计提供了基本的框架,根据作业、运动与智能能力步态,可以对公版人形机器人部组件进行裁剪或改进;另外,还包括了人形机器人标准化的总线协议栈与数据传输消息格式。

具身数据

具身数据包括了人形机器人具身训练专用数据集,应用层包括系统应用和第三方非系统应用。应用由一个或多个FA(Feature Ability)或PA(Particle Ability)组成。其中,FA有UI界面,提供与用户交互的能力;而PA无UI界面,提供后台运行任务的能力以及统一的数据访问抽象。基于FA/PA开发的应用,能够实现特定的业务功能,支持跨设备调度与分发,为用户提供一致、高效的应用体验。

技术特性

硬件全开源,资源共享

OpenLoong开源了公版人形机器人,主要包括如下特征:

  • 强对标人的机械硬件设计 开源公版人形机器人是全尺寸人形机器人,并采用强对标人的设计具有五指手、双臂、脚踝与头部,关节尺寸及关节运动范围对标成年人运动空间,具备五感融合设计集成了视觉、听觉、触觉、嗅觉和动觉传感器;
  • 标准化分布式总线 人形机器人高动态控制依赖稳定的总线通讯,针对人形机器人控制与全身传感器数据采集,提供了标准化的EthanCat分布式总线数据通讯协议栈; img

具身智能全栈可部署软件

OpenLoong提供了具身智能全栈可部署的软件,包括人形机器人上肢作业操控、下肢鲁棒行走的训练发育框架以及调试开发工具,能够保证面向数字仿真与实物样机实现一致性的迁移与部署。 虚实迁移具备一致性,确保用户模型快速部署。

  • 支持模仿学习技术应用中完成数据采集、训练与在线推理。
  • 支持强化学习技术应用中完成并行训练部署与网络验证评估。 img

开源开发的数据集与模型

OpenLoong提供基于开源具身智能操作系统的预训练神经网络模型与开源运动数据集,提供标准化的具身训练数据格式要求,方便用户完成对数据的采集与使用。

云端大脑OS,弹性部署(达闼)

OpenLoong通过云端OS可以完成虚拟仿真和数字孪生, RDK 支持多机器人多模态交互能力编排,能够融合视觉、听觉、触觉、空间等多种感官的多维度、多状态、多时序的事件输入,输出数据驱动的拟人的肢体动作、语气、富媒体屏幕反馈。

详细特征

OpenLoong项目主要针对云端脑、具身小脑、具身实体和具身数据集4块内容,并以如下几个基本元素构成:

  • 子系统 OpenLoong整体遵从分层设计,从下向上依次为:云端大脑、具身小脑、具身实体、具身数据。 项目功能按照“系统集> 子系统 > 软件包”逐级展开,在不同应用需求下可以依据硬件、软件实际需求裁剪某些非必要的组件。子系统是一个逻辑概念,它具体由对应的组件构成。
  • 软件包 对子系统的进一步拆分,可复用的开源软件包与单元,它包含源码、配置文件、资源文件和编译脚本;或者可以直接运行的二进制文件。
    img

支持的人形机器人

当前OpenLoong社区支持1款人形机器人 ,欢迎加入OpenLoong开源软件生态社区: img

许可协议

OpenLoong主要遵循Apache License V2.0协议,详情请参考各代码仓LICENSE声明。 OpenLoong引用三方开源软件及许可证说明,参考第三方开源软件说明。

联系方式

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 2

  •  
  •