推理服务

面向大语言模型的高性能开源推理服务优化框架 该框架通过连续批处理请求、高效内存管理、优化CUDA内核等技术提升LLM推理吞吐量，支持与HuggingFace生态主流模型无缝集成，兼容OpenAI API协议，可快速部署推理服务。支持多种解码算法、张量并行分布式推理、流式输出，适配NVIDIA与AMD GPU，提供实验性前缀缓存与多LoRA功能，适配多数开源大模型推理部署需求。