AIGC：阿里开源大模子通义千问摆设与实战

1 弁言

通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模子系列的70亿参数规模的模子。Qwen-7B是基于Transformer的大语言模子, 在超大规模的预练习数据上举行练习得到。预练习数据范例多样，覆盖广泛，包罗大量网络文本、专业册本、代码等。同时，在Qwen-7B的底子上，我们使用对齐机制打造了基于大语言模子的AI助手Qwen-7B-Chat。相较于最初开源的Qwen-7B模子，我们现已将预练习模子和Chat模子更新到效果更优的版本。本堆栈为Qwen-7B预练习模子的堆栈。
体验地点：https://modelscope.cn/studios/qwen/Qwen-7B-Chat-Demo/summary
代码地点：https://github.com/QwenLM/Qwen
通义千问-7B（Qwen-7B）紧张有以下特点：

  

• 大规模高质量练习语料：使用高出2.4万亿tokens的数据举行预练习，包罗高质量中、英、多语言、代码、数学等数据，涵盖通用及专业范畴的练习语料。通过大量对比实行对预练习语料分布举行了优化。  
  
• 强盛的性能：Qwen-7B在多个中英文卑鄙评测任务上（涵盖知识推理、代码、数学、翻译等），效果明显逾越现有的相近规模开源模子，乃至在部门指标上相比更大尺寸模子也有较强竞争力。详细评测效果请详见下文。  
  
• 覆盖更全面的词表：相比现在以中英词表为主的开源模子，Qwen-7B使用了约15万巨细的词表。该词表对多语言更加友好，方便用户在不扩展词表的环境下对部门语种举行本领加强和扩展。
  

2 通义千问先容

2.1 先容
我们开源了Qwen（通义千问）系列工作，当前开源模子的参数规模为18亿（1.8B）、70亿（7B）、140亿（14B）和720亿（72B）。本次开源包罗底子模子Qwen，即Qwen-1.8B、Qwen-7B、Qwen-14B、Qwen-72B，以及对话模子Qwen-Chat，即Qwen-1.8B-Chat、Qwen-7B-Chat、Qwen-14B-Chat和Qwen-72B-Chat。模子链接在表格中，请点击相识详情。同时，我们公开了我们的技能陈诉，请点击上方论文链接查察。

当前底子模子已经稳固练习了大规模高质量且多样化的数据，覆盖多语言（当前以中文和英文为主），总量高达3万亿token。在相干基准评测中，Qwen系列模子拿出非常有竞争力的体现，明显超出同规模模子并紧追一系列最强的闭源模子。别的，我们使用SFT和RLHF技能实现对齐，从基座模子练习得到对话模子。Qwen-Chat具备谈天、笔墨创作、择要、信息抽取、翻译等本领，同时还具备肯定的代码天生和简单数学推理的本领。在此底子上，我们针对LLM对接外部体系等方面针对性地做了优化，当前具备较强的工具调用本领，以及迩来备受关注的Code Interpreter的本领和饰演Agent的本领。我们将各个巨细模子的特点列到了下表。

在这个项目中，你可以相识到以下内容

  

• 快速上手Qwen-Chat教程，玩转大模子推理  
  
• 量化模子相干细节，包罗GPTQ和KV cache量化  
  
• 推理性能数据，包罗推理速率和显存占用  
  
• 微调的教程，帮你实现全参数微调、LoRA以及Q-LoRA  
  
• 摆设教程，以vLLM和FastChat为例  
  
• 搭建Demo的方法，包罗WebUI和CLI Demo  
  
• 搭建API的方法，我们提供的示例为OpenAI风格的API  
  
• 更多关于Qwen在工具调用、Code Interpreter、Agent方面的内容  
  
• 长序列明白本领及评测  
  
• 使用协议
  

2.2 消息

  

• 2023.11.30  我们推出 Qwen-72B 和 Qwen-72B-Chat，它们在 3T tokens上举行练习，并支持 32k 上下文。同时也发布了 Qwen-1.8B 和 Qwen-1.8B-Chat。我们还加强了 Qwen-72B-Chat 和 Qwen-1.8B-Chat 的体系指令（System Prompt）功能，请参阅示例文档。别的，我们还对昇腾910以及海光DCU实现了推理的支持，详情请查察ascend-support及dcu-support文件夹。  
  
• 2023年10月17日 我们推出了Int8量化模子Qwen-7B-Chat-Int8和Qwen-14B-Chat-Int8。  
  
• 2023年9月25日 在魔搭社区（ModelScope）和Hugging Face推出Qwen-14B和Qwen-14B-Chat模子，并开源 qwen.cpp 和 Qwen-Agent。Qwen-7B和Qwen-7B-Chat的代码和模子也同步得到更新。请使用最新的代码和模子！
  
     
  
  • 相比原版Qwen-7B，新版用了更多练习数据（从2.2T增长到2.4T tokens），序列长度从2048扩展至8192。团体中文本领以及代码本领均有所提拔。   
    
    
  
• 2023年9月12日 支持Qwen-7B和Qwen-7B-Chat的微调，此中包罗全参数微调、LoRA以及Q-LoRA。  
  
• 2023年8月21日 发布Qwen-7B-Chat的Int4量化模子，Qwen-7B-Chat-Int4。该模子显存占用低，推理速率相比半精度模子明显提拔，在基准评测上效果丧失较小。  
  
• 2023年8月3日 在魔搭社区（ModelScope）和Hugging Face同步推出Qwen-7B和Qwen-7B-Chat模子。同时，我们发布了技能备忘录，先容了相干的练习细节和模子体现。
  

2.3 评测体现

Qwen系列模子相比同规模模子均实现了效果的明显提拔。我们评测的数据集包罗MMLU、C-Eval、 GSM8K、 MATH、HumanEval、MBPP、BBH等数据集，观察的本领包罗自然语言明白、知识、数学计