【Datawhale AI夏令营--task2】科大讯飞AI大赛（大模子技术）

进入baseline2 开启python编码阶段啦

感想：
开始的晚了一些，准备环境花了很久哦，好在ai可以帮忙安装环境必要的各种包，而且运行的报错也可以办理。
以及硅基流动的免费api超等慢TT，遍历数据花费的时间过长了。
听到分享会上可以用阿里百炼的api，但在调用上另有些问题，接下来要再多试一下。
阅读了一下代码，发现代码是每行调用一次大模子，优化点实在是可以一次性调用完的，这样应该能节省很多时间。 下一步还是要本身优化下代码呀。

我的BaseLine运行后的分数 ： 56

本期小白重点

• python环境的安装
  
• vscode中项目的运行，包的安装：pandas、requests、re、json、tqdm
  
• 硅基流动注册，api领取， apikey的使用
  
• 大模子返回值数据错乱的处理。
  
• 代码逻辑学习
  

方案思路

1. 模子蒸馏方法

将一个强大的教师模子（如Qwen3-8B）在特定任务上的知识，迁移到我们终极必要微调的学生模子上
具体步骤：

• 表格数据文本化：将布局化的列车时刻表数据（每一行代表一趟列车的信息）转换为易于大模子明白的文本格式。
  
• 编程生成问题：针对每一行列车数据，我们手动计划问题模板，并通过编程方式（例如Python脚本）批量生成问题。例如，对于“车次”、“检票口”、“终到站”等字段，可以生成“{车次}号车次应该从哪个检票口检票？”、“{车次}次列车的终到站是哪里？”等问题。这种方式确保了生成问题的语法精确性和与表格内容的强相干性。
  
• 教师模子生成答案：将文本化的列车信息和编程生成的问题作为Prompt输入给一个能力更强的教师模子。教师模子根据其强大的明白和推理能力，为每个问题生成对应的答案。
  
• 构建SFT数据集：将编程生成的问题和教师模子生成的答案配对，形成{"instruction": "问题", "output": "答案"}的JSON格式数据集。这个数据集就是用于微调学生模子的SFT数据。
  
• 学生模子LoRA微调：将构建好的SFT数据集上传到讯飞星辰MaaS平台，并使用LoRA技术对选定的基础模子（学生模子）进行微调。微调后的模子将能够根据用户提出的问题，从内部学习到的表格知识中给出精确的答复。
  

代码块分析

3个代码块

• 读取数据
  
• 遍历每行，调用大模子，存储返回值
  
• 将返回值转化为布局化，符合格式的数据，并生成训练数据集对应格式的json
  

重新上传新的数据集，进行训练.

• 直接使用案例baseline代码，硅基流动api调用花费了小一个小时 TT
  
• 数据集训练不到10分钟
  
• 得分56.
  

分数提升方案

• 提升api速度： 避免遍历，一次性生成返回； 切换api源
  
• prompt提升，增强对复杂数据的对应
  
• 挑战：python编码是新的挑战呀
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告