产品

Orion vGPU软件可以在几乎零性能损失的情况下,提供了对于物理GPU的细粒度、可远程、运行时动态可配置的虚拟化方案。

以下给出多个神经网络模型典型场景下,运行模型训练和模型推理任务,安装Orion vGPU软件和直接使用物理GPU的性能对比。

测试环境:

  • 双路Intel Xeon Gold 6132 CPU128GB内存,单块NVidia Tesla P40 GPU

软件框架:

  • TensorFlow v1.12,官方benchmark,无代码修改,使用synthetic数据

性能场景:

  • Native local:不安装Orion vGPU软件,无法实现GPU虚拟化,直接使用本地物理GPU测试性能
  • Orion local container:将Orion vGPU软件运行在物理机和本地容器上,并在容器环境下测试性能
  • Orion local KVM:将Orion vGPU软件运行在物理机和本地虚拟机上,并在虚拟机环境下测试性能
  • Orion remote 25G RDMA:将Orion vGPU软件运行在本地和远程物理机上,两台物理机通过25G RDMA网络连接,本地物理机使用远程GPU测试性能 

模型训练

模型推理