TensorRT-LLM

苹果推出的LLM推测性解码方法，加速NVIDIA GPU推理 ReDrafter是由苹果机器学习研究团队开发，联合NVIDIA集成进TensorRT-LLM框架的推测性解码技术。不同于传统LLM推理加速方案，它结合RNN草稿模型与动态树注意力机制，通过加速大语言模型token生成降低推理延迟，同时减少GPU资源占用与能耗，为NVIDIA GPU环境下的LLM推理提供性能提升。