【LLM】Llama Factory：Windows部署全流程

一、部署原理与流程概述

（一）核心逻辑

本教程基于"情况隔离-硬件适配-框架集成"三层架构设计，通过创建独立Python情况保障系统稳定性，结合GPU硬件加速提升盘算服从，终极实现Llama Factory框架的完备功能调用。
（二）部署流程

     二、Nvidia驱动部署（硬件适配层）

（一）须要性说明

• 功能支撑：激活GPU的CUDA盘算能力，为后续PyTorch框架提供硬件加速支持
  
• 版本要求：驱动版本需与CUDA工具包兼容（本教程适配CUDA 12.1）
  

（二）操纵流程

• 硬件辨认
  
  
  
  • Win+R输入dxdiag调取诊断工具
    
  • 纪录表现标签页的【装备名称】与【驱动版本】
    
  • 结果验证：确认显卡型号属于支持CUDA的Nvidia产物
    
  
  
• 驱动安装
  
  
  
  • 访问Nvidia驱动下载中心
    
  • 按型号选择Game Ready驱动（推荐最新稳定版）
    
  • 执行安装包选择精简安装模式
    
  • 结果验证：CMD执行nvidia-smi应表现GPU状态信息
    
  
  

三、Python情况搭建（情况隔离层）

（一）Miniconda安装

• 工具选择
  
  
  
  • 采用Miniconda而非Anaconda：精简体积（约1/10）且制止冗余包辩说
    
  • 镜像源配置：使用清华镜像加速下载
    
  
  
• 安装步骤
  
  
  
  • 推荐方式：通过清华大学开源软件镜像站下载，速度更快。
    
  • 替代方式：访问Miniconda官网下载。
    
  • 安装选项：勾选Add to PATH，取消Register as default Python
    
  • 结果验证：CMD执行conda --version表现版本信息
    
  
  

（二）捏造情况管理

• 情况创建
  
  1. conda create -n llama_factory python=3.11 -y

  复制代码
  
  
  • 版本说明：Python 3.11在异步IO和类型提示方面优化显著，适配最新AI框架
    
  
  
• 情况激活
  
  1. conda activate llama_factory

  复制代码
  
  
  • 状态提示：命令行前缀变为(llama_factory)
    
  
  

四、PyTorch框架安装（盘算加速层）

（一）版本匹配原则

• CUDA 12.1：适配RTX 40系显卡的SM 8.9架构
  
• PyTorch 2.4.0：支持动态外形编译优化
  

（二）安装命令

1. conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.1 -c pytorch -c nvidia

复制代码

（三）验证测试

1. # CUDA可用性测试
2. import torch
3. print(f"CUDA状态: {torch.cuda.is_available()}")
4. print(f"计算设备: {torch.cuda.get_device_name(0)}")

复制代码

预期输出示例：

1. CUDA状态: True
2. 计算设备: NVIDIA GeForce RTX 4060

复制代码

五、Llama Factory部署（应用层）

（一）代码获取

1. # 推荐使用SSH方式（需配置Git密钥）
2. git clone [email protected]:hiyouga/LLaMA-Factory.git
4. # 或HTTPS方式
5. git clone https://github.com/hiyouga/LLaMA-Factory.git

复制代码

（二）依赖安装

• 基础依赖
  
  1. pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

  复制代码
  
  
  • 镜像加速：推荐国内用户使用清华源以提升下载速度。
    
  
  
• 扩展组件
  
  1. pip install -e ".[torch,metrics]"

  复制代码
  
  
  • torch：集成PyTorch扩展功能。
    
  • metrics：加载评估指标模块。
    
  
  
• 量化 LoRA（QLoRA）支持
  
  1. pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

  复制代码
  
  
  • 为在 Windows 平台上开启量化 LoRA，需安装预编译的 bitsandbytes 库，支持 CUDA 11.1 到 12.2。
    
  
  

（三）服务启动

1. llamafactory-cli webui --port 7860 --host 0.0.0.0

复制代码

• 访问路径：浏览器打开http://localhost:7860
  
• 服务验证：终端表现Running on local URL: http://0.0.0.0:7860
  

六、维护与升级

（一）情况备份

1. conda env export > llama_factory_env.yaml

复制代码

（二）驱动更新

• 定期检查Nvidia驱动更新页面
  
• 发起每季度更新一次驱动版本
  

（三）框架升级

1. # 在项目目录执行
2. git pull origin main
3. pip install -r requirements.txt --upgrade

复制代码

附录：常见题目排查

现象诊断方法解决方案CUDA不可用print(torch.version.cuda)检查驱动版本与PyTorch CUDA版本匹配端口辩说`netstat -anofindstr :7860`依赖辩说pip list --format=freeze创建新捏造情况重新安装 本教程通过四层架构设计确保部署可靠性，各环节均设有验证机制。发起在物理情况部署前，先通过Windows Sandbox进行沙箱测试。