用户国营 发表于 2026-2-23 00:08:37

llama.cpp摆设多模态视觉模子到应用实践

一、安装cmake
https://cmake.org/
由于我使用是win10体系cmake版本是3.26.4，请根据自己体系选择版本。

二、下载源码

git clone https://github.com/ggerganov/llama.cpp.git

#进入llama.cpp文件夹

cd llama.cpp

mkdir build

cd build

#编译llama.cpp

cmake .. -G "Visual Studio 16 2019" -DLLAMA_CUBLAS=on -DLLAMA_CUDA_F16=1 -DCMAKE_CUDA_ARCHITECTURES=75 -DCMAKE_GENERATOR_TOOLSET="cuda=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1" 注意：DCMAKE_CUDA_ARCHITECTURES=75，75是显卡算力如果报错请根据自己显卡算力修改这个数值。

三、编译乐成样子
在llama.cpp\build\bin\Release

https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9ibG9nX21pZ3JhdGUvYWI4ZWI5Y2NjZGE2MTQzMDE1MzM5ZTdkNjliYjc3ZjEucG5n
四、gguf模子转换
#下载llava-v1.5-7b模型放在llama.cpp文件夹下

#下载openaiclip-vit-large-patch14-336模型放在llama.cpp文件夹下

cd llama.cpp

#模型拆分

python examples/llava
页: [1]
查看完整版本: llama.cpp摆设多模态视觉模子到应用实践