开源模型应用落地-LangChain高阶-集成vllm-QWen1.5-OpenAI-Compatible Serv

一、前言

     通过langchain框架调用当地模型，使得用户可以直接提出题目或发送指令，而无需担心具体的步调或流程。vLLM可以摆设为类似于OpenAI API协议的服务器，允许用户使用OpenAI API举行模型推理。
     相干文章：
     开源模型应用落地-LangChain试炼-CPU调用QWen1.5（一）
     开源模型应用落地-LangChain高阶-GPU调用QWen1.5（二）
     开源模型应用落地-LangChain高阶-集成vllm-QWen1.5（一）