开源模子应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-使用Lora权重（

一、媒介

     在大语言模子推理中使用Lora权重有几个明显的利益。起首，它可以或许在保持模子原有性能的底子上，进步特定任务的顺应能力，使得模子在特定范畴或任务上的表现更加精彩。其次，LoRa方法通过低秩适配技术，大幅减少了必要调优的参数数量，从而减轻练习资源的负担，并紧缩练习时间。同时，由于只需微调少量参数，模子在迁徙学习时也能更有用地保存原有的知识，进步了模子的泛化能力。这使得LoRa在资源有限的情况下，仍旧可以或许实现高效正确的结果，适用于各种实际应用场景。
     在本篇中将先容如何使用vLLM框架集成Lora权重，以实现高效的推理过程。
<hr> 二、术语

2.1. vLLM

     vLLM是一个开源的大模子推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。
2.2. Qwen2.5

     Qwen2.5系列模子都在最新的大规模数据集上进行了预练习，该数据集包罗多达 18T tokens。相较于 Qwen2，Qwen2.5 获得了明显更多的知识（MMLU：85+），并在编程能力&#x