多模态大模型微调实践！PAI+LLaMA Factory搭建AI导游

一、引言
AI的快速发展推动了各行各业的智能化转型和创新，随之而来的是对AI应用的迫切需求。
如何微调大模型、高效搭建AI应用成为了开发者们广泛关注的技能方向。阿里云人工智能平台PAI，团结开源低代码大模型微调框架LLaMA Factory ，共同打造多模态大模型微调训练最佳实践，通过微调 Qwen2-VL 模型，快速搭建文旅领域知识问答机器人，带您开启AI创新与应用之旅，点击阅读原文可马上体验～
二、详细实验步骤
1、环境预备和资源预备
为了顺遂开发文旅领域知识问答机器人，首先需要预备好运行环境，包括开通阿里云交互式建模PAI-DSW服务并创建实例。
1.1领取PAI-DSW免费试用权益
前往文末“阅读原文”中的阿里云活动页面，领取PAI-DSW产物的免费试用资源包。新用户可免费得到试用资源，用于启动和运行实例，具体试用权益和试用规则请参考领取页面。老用户可创建按量付费实例，按小时计费，约6-30元/小时。
1.2开通机器学习PAI并创建默认工作空间
前往PAI控制台，此中关键参数设置如下：

• 本教程地域选择：华北2（北京）。您也可以根据情况选择华东1（杭州）、华东2（上海）、华南1（深圳）地域。
  
• 组合开通：本教程无需使用其他产物，去除勾选MaxCompute和DataWorks产物。
  
• 服务角色授权：单击去授权，完成服务角色授权。
  

阐明：更多详细内容，请参见开通并创建默认工作空间。

1.3 进入PAI NotebookGallery
登录PAI控制台。
在左侧导航栏中，选择快速开始>NotebookGallery。

在Notebook Gallery页面，单击进入“LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型”教程。

在详情页面，您可查察到预置的LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型教程，单击右上角的在DSW中打开。

在请选择对应实例对话框中，单击新建DSW实例。

1.4 创建PAI-DSW实例
在设置实例页面，自定义输入实例名称，比方DSW_LlamaFactory。

阐明：

• 若您是 PAI 产物新用户，请再次确认是否已领取免费使用权益，点击领取。若您未领取免费试用权益，或不符合免费试用条件，或历史已领取且免费试用额度用尽或到期，完成本实验将产生扣费，大约为6-30元/小时。
  
• 请在实验完成后，参考末了一章节清理及后续，停止/删除实例，以免产生不必要的扣费或资源斲丧。
  

GPU保举使用 24GB 显存的 A10（ecs.gn7i-c8g1.2xlarge）或更高设置。
※ 支持免费试用的资源：
ecs.gn7i-c8g1.2xlarge、ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge

在设置实例页面的选择镜像区域，请确认镜像是否为官方镜像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04。
在设置实例页面，未提及的参数保持默认即可，单击确认，创建实例。
请您耐心等候大约3分钟左右，当状态变为运行中时，表示实例创建成功，点击打开NoteBook。

1.5 运行Notebook教程文件
安装LLaMA Factory
根据教程指引，依次运行命令。
阐明：单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。

下载数据集
LLaMA-Factory 项目内置了丰富的数据集，放在了 data目录下。您可以跳过本步骤，直接使用内置数据集。您也可以预备自定义数据集，将数据处置惩罚为框架特定的格式，放在 data 下，并且修改 dataset_info.json 文件。
本教程预备了一份多轮对话数据集，运行下述命令下载数据。
阐明：单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。

2. 模型微调
2.1 启动 Web UI
单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。
然后单击返回的URL地址，进入Web UI页面。

2.2 设置参数
进入 WebUI 后，可以切换语言到中文（zh）。首先设置模型，本教程选择 Qwen2VL-2B-Chat 模型，微调方法修改为 full，针对小模型使用全参微调方法能带来更好的结果。

数据集使用上述下载的 train.json。

可以点击「预览数据集」。点击关闭返回训练界面。

设置学习率为 1e-4，训练轮数为 10，更改计算类型为 pure_bf16，梯度累积为 2，有利于模型拟合。

在其他参数设置区域修改生存间隔为 1000，节流硬盘空间。

2.3 启动微调
将输出目录修改为 train_qwen2vl，训练后的模型权重将会生存在此目录中。点击「预览命令」可展示全部已设置的参数，您假如想通过代码运行微调，可以复制这段命令，在命令行运行。
点击「开始」启动模型微调。

启动微调后需要等候一段时间，待模型下载完毕后可在界面观察到训练进度和损失曲线。模型微调大约需要 14 分钟，显示“训练完毕”代表微调成功。

3. 模型对话
选择「Chat」栏，将查抄点路径改为 train_qwen2vl，点击「加载模型」即可在 Web UI 中和微调后的模型举行对话。

首先点击下载测试图片1或测试图片2，并上传至对话框的图像区域，接着在体系提示词区域填写“你是一个导游，请生动有趣地回答游客提出的问题”。在页面底部的对话框输入想要和模型对话的内容，点击提交即可发送消息。

发送后模型会逐字天生回答，从回答中可以发现模型学习到了数据会合的内容，能够恰当地模仿导游的语气先容图中的山西博物院。

点击「卸载模型」，点击查抄点路径输入框取消勾选查抄点路径，再次点击「加载模型」，即可与微调前的原始模型聊天。

重新向模型发送雷同的内容，发现原始模型无法准确识别山西博物院。

三、资源清理和后续操作

• 资源清理
  
• 
  
  
  
  • 在实验完成后，前往控制台停止或删除实例，以避免资源的持续斲丧和不必要的费用。
    
  
  
• 后续使用
  
• 
  
  
  
  • 在试用有用期内，可以继承使用DSW实例举行模型训练和推理验证，探索更多AI图像编辑的可能性。
    
  
  

四、晒出与AI 导游的创意对话，最高赢乐歌台式升降桌M2S
想必你通过实操，已经学会如何使用阿里云PAI-DSW和LLaMA Factory开源低代码大模型微调框架，微调 Qwen2-VL 模型，快速搭建文旅领域知识问答机器人。现在邀请你来到阿里云开发者社区参加**“使用PAI+LLaMA Factory 微调 Qwen2-VL 模型，搭建文旅领域知识问答机器人”活动，领取免费试用云资源，跟随教程完成作品天生并上传，得精致计时器，限量400个。邀请挚友完成任务即有机会得到乐歌台式升降桌M2S、小米充电宝、小米双肩包等诸多好礼。点击阅读原文**查察活动详情～

​
如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和本事了 。我已将重要的AI大模型资料包括AI大模型入门学习头脑导图、精品AI大模型学习册本手册、视频教程、实战学习等录播视频免费分享出来。

一、全套AGI大模型学习门路

AI大模型时代的学习之旅：从底子到前沿，掌握人工智能的焦点技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技能实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技能的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强盛的语言理解和天生本事，正在改变我们对人工智能的认识。 那以下这些PDF籍就黑白常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断进步自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。