GPU推理

面向大语言模型的高性能开源推理服务优化框架 该框架通过连续批处理请求、高效内存管理、优化CUDA内核等技术提升LLM推理吞吐量，支持与HuggingFace生态主流模型无缝集成，兼容OpenAI API协议，可快速部署推理服务。支持多种解码算法、张量并行分布式推理、流式输出，适配NVIDIA与AMD GPU，提供实验性前缀缓存与多LoRA功能，适配多数开源大模型推理部署需求。

一键将机器学习模型部署至多GPU的模型推理服务平台 PoplarML是面向生产环境的机器学习模型部署工具，支持将Tensorflow、Pytorch、JAX等主流深度学习框架训练的模型，一键部署至多GPU集群。用户可通过REST API端点调用实时推理，具备自动扩缩容能力适配流量波动，提供灵活部署选项，简化模型生产落地流程。