DeepSeek 协程API 调用与 vllm推理，llamafactory当地vllm摆设

简介

使用协程调用DeepSeek的API，发现结果并不显着，没有加速的结果。
但如是当地摆设DeepSeek，当地摆设必要支持异步调用，我使用 llamafactory 摆设，发现协程加速的结果还是很显着的。
代码实战

调用官方API

DeepSeek官方文档 https://api-docs.deepseek.com/zh-cn/
python 的调用代码如下，该调用方式为同步调用速率很慢。

1. # Please install OpenAI SDK first: `pip3 install openai`
3. from openai import OpenAI
5. client = OpenAI(api_key="<DeepSeek API Key>", base_url="https://api.deepseek.com")
7. response = client.chat.completions.create(
8.     model="deepseek-chat",
9.     messages=[
10.         {"role": "system", "content": "You are a helpful assistant"},
11.         {"role": "user", "content": "Hello"},
12.     ],
13.     stream=False
14. )
15. print(response.choices[0].message.content)

复制代码

2. import os
3. from tqdm import tqdm
4. from dotenv import load_dotenv
5. # 加载 .env 文件的密钥
6. load_dotenv()
8. api_key = os.getenv("deepseek_api")
9. queries = [
10.     "What is AI?",
11.     "How does deep learning work?",
12.     "Explain reinforcement learning.",
13.     "人工智能的应用领域有哪些？",
14.     "大模型是如何进行预训练的？",
15.     "什么是自监督学习，它有哪些优势？",
16.     "Transformer 结构的核心组件是什么？",
17.     "GPT 系列模型是如何生成文本的？",
18.     "强化学习在游戏 AI 中的应用有哪些？",
19.     "目前 AI 领域面临的主要挑战是什么？"
20. ]
22. answer1 = []
24. for query in tqdm(queries):
25.     # 官方提供的API调用方式
26.     response = client.chat.completions.create(
27.         model="deepseek-chat",
28.         messages=[
29.             {"role": "system", "content": "You are a helpful assistant"},
30.             {"role": "user", "content": "Hello"},
31.         ],
32.         stream=False,
33.     )
34.     content = response.choices[0].message.content
35.     answer1.append(content)

复制代码

为了防止在分享代码的时间，导致 API Key 走漏，我把key生存到 .env 文件中，通过load_dotenv加载密钥。

协程异步调用

1. import asyncio
2. from typing import List
4. # from langchain.chat_models import ChatOpenAI
5. from langchain_openai import ChatOpenAI
6. from langchain.schema import SystemMessage, HumanMessage
8. # 初始化模型
9. llm = ChatOpenAI(
10.     model_name="deepseek-chat",
11.     # model_name="deepseek-reasoner",
12.     openai_api_key=api_key,
13.     openai_api_base="https://api.deepseek.com/v1",
14. )
17. async def call_deepseek_async(query: str, progress) -> str:
18.     messages = [
19.         SystemMessage(content="You are a helpful assistant"),
20.         HumanMessage(content=query),
21.     ]
22.     response = await llm.ainvoke(messages)
23.     progress.update(1)
24.     return response.content
27. async def batch_call_deepseek(queries: List[str], concurrency: int = 5) -> List[str]:
28.     semaphore = asyncio.Semaphore(concurrency)
29.     progress_bar = tqdm(total=len(queries), desc="Async:")
31.     async def limited_call(query: str):
32.         async with semaphore:
33.             return await call_deepseek_async(query, progress_bar)
35.     tasks = [limited_call(query) for query in queries]
36.     return await asyncio.gather(*tasks)
39. # for python script
40. # responses = asyncio.run(batch_call_deepseek(queries, concurrency=10))
42. # for jupyter
43. response = await batch_call_deepseek(queries, concurrency=10)

复制代码

留意：异步调用必要使用 await 期待。
下述是tqdm 别的的一种，协程进度条的写法：

1. from tqdm.asyncio import tqdm_asyncio
2. results = await tqdm_asyncio.gather(*tasks)

复制代码

上述的异步协程代码，我调用DeepSeek的API，没有加速结果，我猜疑官方举行了限速。
我使用当地llamafactory摆设的DeepSeek，上述异步协程的结果加速显着。
llamafactory vllm当地摆设 deepseek的脚本，只支持 linux 体系。
deepseek_7B.yaml 文件内容:

1. model_name_or_path: deepseek-ai/DeepSeek-R1-Distill-Qwen-7B
2. template: deepseek3
3. infer_backend: vllm
4. vllm_enforce_eager: true
5. trust_remote_code: true

复制代码

linux 摆设脚本：

1. nohup llamafactory-cli api deepseek_7B.yaml > deepseek_7B.log 2>&1 &

复制代码

异步协程 方法二

下述是 ChatGPT 天生的别的一种异步协程写法。
（下述方法我没有在当地摆设的API上测试过，仅供各人参考）

1. import asyncio
2. from tqdm.asyncio import tqdm_asyncio
4. answer = []
6. async def fetch(query):
7.     response = await client.chat.completions.create(
8.         model="deepseek-chat",
9.         messages=[
10.             {"role": "system", "content": "You are a helpful assistant"},
11.             {"role": "user", "content": query},
12.         ],
13.         stream=False,
14.     )
15.     return response.choices[0].message.content
17. async def main():
18.     tasks = [fetch(query) for query in queries]
19.     results = await tqdm_asyncio.gather(*tasks)
20.     answer.extend(results)
22. asyncio.run(main())

复制代码

vllm_infer

如果你是linux体系，那么相比API调用，最快的方式就是vllm推理。
你必要使用下述脚本，
https://github.com/hiyouga/LLaMA-Factory/blob/main/scripts/vllm_infer.py

1. python vllm_infer.py \
2. --model_name_or_path deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
3. --template deepseek3 \
4. --dataset industry_cls \
5. --dataset_dir ../../data/llamafactory_dataset/ \
6. --save_name output/generated_predictions.jsonl

复制代码

llamafactory 可以指定自界说的数据集所在，你必要构建相应格式的数据集文件。
数据集文件夹下的文件：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告