实时推断

一键将机器学习模型部署至多GPU的模型推理服务平台 PoplarML是面向生产环境的机器学习模型部署工具，支持将Tensorflow、Pytorch、JAX等主流深度学习框架训练的模型，一键部署至多GPU集群。用户可通过REST API端点调用实时推理，具备自动扩缩容能力适配流量波动，提供灵活部署选项，简化模型生产落地流程。