RB88热博分流入口

清华AIR DISCOVER Lab 投稿量子位 | 公众号 QbitAI

具身东谈主工智能领域，正向着以视觉为中心的感知范式，发生全面而深入的转型。

行为机器东谈主感知天下时信息密度最高、与当然东谈主机交互最契合的模态，视觉是解锁通用机器东谈主智能、罢了仿真到真实无缝迁徙的中枢密钥。

但当讨论者们试图沿着这条旅途上前探索时，却持久需要在“看得真”和“训得快”之间作念粗重弃取：

高保真视觉渲染带来了雄壮讨论与内存支拨；东谈主工建模老是耗时耗力低效轮回；现存平台的兼容性纰谬连续规矩着调动领域，严重连续了具身智能讨论的思象力。

为了攻克这些制约具身智能领域发展的中枢清贫，清华大学智能产业讨论院（AIR）DISCOVER Lab伙同谋先飞手艺、原力灵机、求之科技和地瓜机器东谈主，提议了GS-Playground通用多模态仿真框架。

【此处无法插入视频，缺憾……可到量子位公众号巡视～】

行为一套专为视觉中心的机器东谈主学习打造的新一代仿真基础设施，GS-Playground初次罢了了高隐约量并行物理仿真与高保真视觉渲染的深度交融，在保证物理仿真所需的高精度与强褂讪性的同期，提供了大限度视觉驱动计策历练与仿真到实践迁徙所需的渲染效力与环境因循。

该效力已被机器东谈主领域外洋顶级学术会议RSS 2026（Robotics: Science and Systems）委派。

△Figure 1. GS-Playground Overview通用全场景原生兼容：打造调治的具身智能仿真历练底座

GS-Playground野心之初，便定位于通用型全场景具身智能仿真平台，平台中枢搭载了团队自研的跨平台并行物理引擎，原生扶助CPU/GPU双后端与Windows/Linux/macOS全系统运转，可无缝适配全品类机器东谈主形态，包括市面上常见的四足机器东谈主、 全尺寸东谈主形机器东谈主、多目田度工业机械臂，一谈罢了开箱即用的原生适配，无需特殊的二次树立使命。

在此基础上，平台全面障翳机器东谈主判辨规矩、自主导航、高讲和精度操作三大中枢任务场景。

在接口野心上，平台API全面兼容行业通用的MuJoCo MJCF状貌，可罢了现存仿真神志的零摩擦快速迁徙，最猛进度裁汰讨论者的适配资本。

自研高性能并行物理引擎：为讲和密集型机器东谈主学习提供褂讪底层能源学

关于视觉中心的机器东谈主学习而言，“看得真”仅仅第一步，真实决定计策能否迁徙到真实天下的，是仿真系统能否在复杂讲和、摩擦、碰撞与多刚体耦合中，持续给出褂讪、实在的物理反映。

针对这一中枢瓶颈，GS-Playground从底层自研了一套高性能并行物理引擎，给与广义坐标下的速率-冲量能源学公式，将讲和与摩擦调治建模为搀杂互补问题（MCP），并通过投影高斯-赛德尔（PGS）求解器罢了褂讪求解。

比较依赖软讲和正则化的传统形式，这一野心更强调静摩擦保持、高刚度治理与大时刻步褂讪性，尤其符合足式判辨、机械臂执取和密集多体讲和等高动态任务。

为了因循大限度并行历练，团队进一步引入治理岛并行化与讲和流形热启动机制：

前者将互相独处的刚体交互系统拆分为多个治理岛并行求解，后者应用上一帧已治理的讲和冲量行为现时帧初值，将褂讪堆叠场景中的PGS迭代次数从50次以上裁汰到10次以内，大幅普及复杂讲和场景下的治理效力。

实验收尾充分考证了这一自研物理引擎的褂讪性与隐约上风。

在Franka Panda动态执取摇晃测试中，GS-Playground CPU后端在0.002s与0.01s两种时刻步下，均罢了90/90的完整保持奏效力，显赫优于MuJoCo、IsaacSim与Genesis等主流决策；

在27目田度东谈主形机器东谈主复杂多体交互基准中，当单环境推广到50个机器东谈主时，GS-Playground CPU后端仍能保持1015 FPS的褂讪隐约，比较MuJoCo罢了32倍加快，比较MjWarp罢了约600倍普及。

【此处无法插入视频，缺憾……可到量子位公众号巡视～】

自研内存高效Batch 3DGS渲染手艺：纰漏保真与效力的行业弗成能三角

数千个高保真3DGS场景同期渲染带来的内存与算力挑战，一直是制约视觉驱动机器东谈主大限度历练的中枢卡点。

针对刚体仿真环境，团队最初野心了专属优化的高效剪枝计策。

该计策可将高斯点数目减少90%以上，同期峰值信噪比（PSNR）下落幅度不及0.05，视觉各异险些无法被视觉判辨计策感知。

这一手艺在大幅裁汰显存占用的同期，险些无损地保留了场景的视觉质地，为大限度高保真并行仿真奠定了中枢基础。

在此基础上，团队研发了面向批处理深度优化的批量3DGS渲染器，罢了了多场景大限度高斯渲染的并行处理。

在单张NVIDIA RTX 4090 GPU上，渲染器在640×480辞别率下可罢了最高10000 FPS的突破性隐约量，最多可同期渲染2048个场景，不仅显赫普及了单元算力的渲染效力，更能好意思满适配多数次强化学习的历练使命流，让大限度并行历练不再受限于渲染性能。

△Figure 2. Rendering throughput comparison between GS-Playground and Isaac Sim’s ray-tracing renderer across varying resolutions

此外，团队还提议了刚性连杆高斯判辨学（RLGK）机制，将3D高斯簇与物理引擎中的对应刚体进行精确绑定，确保视觉表征与物理对象的位姿能偶及时同步更新，罢了了零特殊支拨的景况同步。

即等于在机器东谈主快速判辨、经常讲和交互的动态场景中，渲染器已经大约罢了无伪影的动态画面输出，从根源上科罚了动态场景中的渲染时刻一致性与视觉伪影问题，保险了历练数据的褂讪性与可靠性。

【此处无法插入视频，缺憾……可到量子位公众号巡视～】

自动化“Sim-Ready”Real2Sim使命流：裁汰 Real2Sim门槛

传统仿真场景的构建，持久是机器东谈主研发经过中效力最低、资本最高的纪律之一。

不管东谈主工建模何等素雅，却持久无法彻底复刻真实环境的视觉细节与物理特质，感知与物理的双重鸿沟成为了制约sim-to-real跨域迁徙的中枢卡点。

针对这一瞥业痛点，GS-Playground野心了一套全自动化的“图像到物理”Real2Sim使命流，仅需输入单张RGB图像，即可在数分钟内完成仿真就绪（Sim-Ready）数字金钱的全经过创建，罢了了真实场景到数字孪生的快速调治，同期保证视觉真实感与物理一致性。

△Figure 3. GS-Playground System Architecture左：自动化图像到物理仿真管线，通过指标分割、布景补绘、三维高斯溅射 / 网格重建，从RGB输入构建可径直用于仿简直资源。中：物理与渲染仿真中枢，包含CPU/GPU物理后端、集成传感器与激光雷达仿真，以及经过剪枝优化与刚性连杆判辨学适配的批量三维高斯溅射渲染。右：卑劣应用，包括操作任务、导航任务以及大限度并行强化学习。

基于这套熟练的自动化使命流，团队还构建了Bridge-GS数据集，在Bridge-v2数据集的基础上，补充了场景与物体级的3DGS表征、物体级网格模子、6D位姿数据与校准后的相机参数，为行业提供了轨范化的高质地仿真数据集。

同期团队在InteriorGS数据集上完成了完整的泛化性考证，充分确认了该管线对不同室内场景的强适配才智与泛化性能。

【此处无法插入视频，缺憾……可到量子位公众号巡视～】

全链路端到端考证：罢了零微调的无缝仿真到真实迁徙

基于三大中枢手艺的深度协同，GS-Playground完整构建了从真实场景重建、大限度并行历练，到真机部署的全链路端到端闭环，真实罢了了“重建即历练、历练即部署”的研发经过改进。

在计策历练与真机迁徙的中枢才智上，平台可褂讪扶助数千个并行环境同期运转，为四足机器东谈主、东谈主形机器东谈主、工业机械臂等全品类机器东谈主，提供大限度视觉强化学习历练因循。

仅在GS-Playground仿真环境中完成历练的视觉驱动计策，无需任何特殊的微调与适配，就能径直部署到真实机器东谈主上褂讪运转：

四足和东谈主形机器东谈主的判辨计策均可zero-shot部署到真机；视觉导航任求罢了了零样本的真机径直部署；机械臂执取任务在零微调的前提下，真实场景奏效力达到90%。

△Figure 4.Real-world deployment of policies trained in GS-Playground

这一系列实验收尾，充分确认了平台罢了了真实无壁垒的仿真到真实迁徙，也考证了其在买通具身智能感知与物理跨域鸿沟上的中枢价值。

开源赋能：与环球社区共同鼓吹具身智能调动

GS-Playground行为行业内首个罢了高隐约量并行物理仿真与高保真批量3DGS渲染深度交融的全栈仿真框架，从根源上突破了持久制约视觉驱动机器东谈主学习的算力、显存与金钱生成三大中枢瓶颈。

其自动化Real2Sim使命流，大幅裁汰了高保真仿真环境的构建资本；

全维度的实验考证也充分确认，平台在足式判辨、自主导航、机器东谈主操作等机器东谈主主流任务中，大约同期弥合物理与感知层面的仿真到实践鸿沟，罢了真实的零微调真机部署。

已往，GS-Playground还将持续迭代优化，连续拓展才智领域。

清华大学智能产业讨论院DISCOVER Lab持久致力于于鼓吹具身智能领域的前沿讨论与手艺调动，咱们将崇敬开源GS-Playground的全栈框架，提供一套高性能、易使用、高泛化性的中枢基础设施，助力大限度端到熟察觉驱动机器东谈主计策学习的进一步发展与产业落地。

神志主页：

https://gsplayground.github.io

论文连结：

https://arxiv.org/abs/2604.25459

仓库连结：

https://github.com/discoverse-dev/gs_playground