马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
×
0 环境及阐明
环境项阐明测试机型号遐想救济者Y9000PWindows版本Windows 11 专业版 23H2Linux版本Ubuntu20.04.6 LTS(基于WSL)Docker版本28.0.2 当前 hub.docker.com 镜像堆栈中的 dbgpt 镜像有一些题目,在利用 docker run 时指定的
- -e DEEPSEEK_MODEL_VERSION
- -e DEEPSEEK_MODEL_VERSION
- -e DEEPSEEK_API_KEY
等参数是无效的,默认容器启动利用的设置文件为dbgpt-proxy-siliconflow.toml,可以通过以下关联下令指定启动容器时利用谁人设置文件:
- dbgpt start webserver --config /app/configs/dbgpt-proxy-deepseek.toml
复制代码 由于个人电脑GPU算力有限,因此本文是以署理模子方式举行摆设。下面先容一下摆设DB-GPT的关键步调。
1 安装相干依赖
- # git大文件下载支持
- sudo apt-get install git-lfs
复制代码 2 docker下载dbgpt镜像
由于必要从 hub.docker.com 镜像堆栈中下载镜像,如今必要设置科学上网才气下载。也可以设置docker镜像站下载,好比 毫秒镜像
- docker pull eosphorosai/dbgpt:latest
复制代码 下载后如下图:
可以看到dbgpt的镜像文件照旧很大的。
3 下载向量模子
- mkdir -p /opt/dbgpt/data/models
- cd /opt/dbgpt/data/models
- #dbgpt-proxy-deepseek.toml中的默认EMBEDDING_MODEL
- git clone https://www.modelscope.cn/BAAI/bge-large-zh-v1.5.git
- # 可以改为以下向量模型,需要修改 dbgpt-proxy-deepseek.toml 中向量模型的配置
- git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git
- # 可以改为以下向量模型,需要修改 dbgpt-proxy-deepseek.toml 中向量模型的配置
- git clone https://www.modelscope.cn/AI-ModelScope/m3e-large.git
复制代码 我下载了bge-large-zh-v1.5和text2vec-large-chinese向量模子,只下载1个就可以,要与反面toml设置文件中向量模子的设置对应。向量模子如下:
## 4 下载设置文件
toml设置文件可以从github大概gitee的DB-GPT项目处得到:
https://github.com/eosphoros-ai/DB-GPT/tree/main/configs
- mkdir -p /opt/dbgpt/configs
- # 把下载的toml配置文件放到/opt/dbgpt/configs目录下
复制代码 把下载的toml设置文件放到/opt/dbgpt/configs目次下
如下图:
## 5 修改设置文件
由于docker运行dbgpt容器时通过以下下令指定接纳的设置文件:
- dbgpt start webserver --config /app/configs/dbgpt-proxy-deepseek.toml
因此我们要对dbgpt-proxy-deepseek.toml设置文件举行修改。假如指定的是dbgpt-proxy-openai.toml,那就修改dbgpt-proxy-openai.toml。
dbgpt-proxy-deepseek.toml的原始内容如下:
- [system]
- # Load language from environment variable(It is set by the hook)
- language = "${env:DBGPT_LANG:-zh}"
- api_keys = []
- encrypt_key = "your_secret_key"
- # Server Configurations
- [service.web]
- host = "0.0.0.0"
- port = 5670
- [service.web.database]
- type = "sqlite"
- path = "pilot/meta_data/dbgpt.db"
- [service.model.worker]
- host = "127.0.0.1"
- [rag.storage]
- [rag.storage.vector]
- type = "chroma"
- persist_path = "pilot/data"
- # Model Configurations
- [models]
- [[models.llms]]
- name = "deepseek-reasoner"
- # name = "deepseek-chat"
- provider = "proxy/deepseek"
- api_key = "your_deepseek_api_key"
- [[models.embeddings]]
- name = "BAAI/bge-large-zh-v1.5"
- provider = "hf"
- # If not provided, the model will be downloaded from the Hugging Face model hub
- # uncomment the following line to specify the model path in the local file system
- # path = "the-model-path-in-the-local-file-system"
- path = "models/bge-large-zh-v1.5"
复制代码 我们重要修改[models]设置节下的[[models.llms]]和[[models.embeddings]]。
- [[models.llms]](大语言模子) 修改阐明:
- name = “deepseek-reasoner” 表现推理模子,即DeepSeek-R1。
- name = “deepseek-chat” 表现指令模子,即DeepSeek-V3。
- api_key = “your_deepseek_api_key”,这是必须要改的,要改为自己在DeepSeek官网申请的api_key。
- [[models.embeddings]](向量模子)修改阐明:
- name = “BAAI/bge-large-zh-v1.5” 表现向量模子的名称。
- provider = “hf” 表现模子提供者为huggingface。
- path = “models/bge-large-zh-v1.5” 表现向量模子文件的路径。
好比把向量模子改为text2vec-large-chinese为例,设置文件修改如下:
- [[models.embeddings]]
- name = "Jerry0/text2vec-large-chinese"
- provider = "hf"
- # If not provided, the model will be downloaded from the Hugging Face model hub
- # uncomment the following line to specify the model path in the local file system
- # path = "the-model-path-in-the-local-file-system"
- path = "models/text2vec-large-chinese"
复制代码 6 运行dbgpt容器并指定设置文件
- docker run -d \
- --restart unless-stopped \
- --name dbgpt \
- -p 5670:5670 \
- -v /opt/dbgpt/configs:/app/configs \
- -v /opt/dbgpt/data/models:/app/models \
- -e LOCAL_DB_TYPE=sqlite \
- -e LOCAL_DB_PATH=data/default_sqlite.db \
- -e LANGUAGE=zh \
- eosphorosai/dbgpt:latest \
- dbgpt start webserver --config /app/configs/dbgpt-proxy-deepseek.toml
复制代码 参数阐明:
- -p 5670:5670 为端口映射,冒号前面为宿主机的端口,冒号反面为docker容器的端口。
- -v /opt/dbgpt/configs:/app/configs 为设置文件目次映射。
- -v /opt/dbgpt/data/models:/app/models 为向量模子目次映射。
- -e LOCAL_DB_TYPE=sqlite 指定环境变量 LOCAL_DB_TYPE 的值,这里表现本地数据库范例为sqlite。
- -e LOCAL_DB_PATH=data/default_sqlite.db 指定本地数据库的路径。
- -e LANGUAGE=zh 指定语言为中文。
- dbgpt start webserver --config 反面跟详细的toml设置文件路径,设置关联的下令,表现容器启动后会这行这条下令。
可以通过以下下令检察运行日志 :
可以通过以下下令检察容器运行状态
7 访问dbgpt
容器启动假如没有报错,可以在Windows宿主机欣赏器所在栏输入: http://localhost:5679 举行访问,如下图:
点击 Chat Excel 应用,在对话地区就能看到你接纳的大语言模子,如下图:
也可以直接点击左侧菜单的[在线对话],举行直接对话,如下图:
|