马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
×
SwanLab私有化摆设版面向全部个人用户免费开放,摆设方案基于Docker Compose,能非常轻松地摆设在 Windows/MacOS/Linux 呆板上,盼望能成为各位练习师的独门炼丹利器。
下面我们会先容一下怎样安装私有化摆设版。
1. SwanLab先容
SwanLab 是一个开源、今世化计划的深度学习练习跟踪与可视化工具,常被称为"中国版 Weights & Biases + Tensorboard"。现在SwanLab在Github上已劳绩 1k+ Star,也借此感谢各位小同伴的支持。
- 开始利用:https://swanlab.cn
- Github:https://github.com/swanhubx/swanlab
SwanLab同时支持云端和离线利用,并适配了从PyTorch、Transformers、Lightning再到LLaMA Factory、veRL等30多种主流AI练习框架,Python API计划也简便易上手,能轻松嵌入你的练习代码。
面向人工智能研究者,SwanLab计划了友好的Python API 和漂亮的UI界面,并提供练习可视化、自动日志 纪录、超参数纪录、实验版本管理与对比、多人协划一功能。在SwanLab上,研究者能基于直观的可视化图表发现练习题目,对比多个实验找到研究灵感,并通过在线网页的分享与基于构造的多人协同练习,冲破团队沟通的壁垒,进步构造练习服从。
SwanLab支持移动端利用,让你在手机上也能实时看到练习希望。同时,SwanLab也是现在唯一支持晟腾NPU等国产卡硬件监控 的练习工具。
以下是SwanLab的一些焦点特性:
- 📊 实验指标与超参数跟踪: 极简的代码嵌入您的呆板学习 pipeline,跟踪纪录练习关键指标
- 支持云端利用(类似Weights & Biases),随时随地查察练习希望。
- 支持超参数纪录与表格展示
- 支持的元数据范例:标量指标、图像、音频、文本、…
- 支持的图表范例:折线图、媒体图(图像、音频、文本)、…
- 背景自动纪录:日志
logging、硬件情况、Git 堆栈、Python 情况、Python 库列表、项目运行目次
- ⚡️ 全面的框架集成: PyTorch、 🤗HuggingFace Transformers、⚡️PyTorch Lightning、 🦙LLaMA Factory、MS-Swift、MMDetection、Ultralytics、PaddleDetetion、LightGBM、XGBoost、Keras、Tensorboard、Weights&Biases、OpenAI、XTuner、Stable Baseline3、Hydra 在内的 30+ 框架
- 💻 硬件监控
: 支持实时纪录与监控 CPU、NPU(昇腾Ascend)、GPU(英伟达Nvidia)、内存的体系级硬件指标
- 📦 实验管理: 通过专为练习场景计划的会合式仪表板,通过团体视图速览全局,快速管理多个项目与实验
- 🆚 比力结果: 通过在线表格与对比图表比力差异实验的超参数和结果,发掘迭代灵感
- 👥 在线协作: 您可以与团队举行协作式练习,支持将实验实时同步在一个项目下,您可以在线查察团队的练习纪录,基于结果发表见解与发起
- ✉️ 分享结果: 复制和发送长期的 URL 来共享每个实验,方便地发送给同伴,或嵌入到在线条记中。同时支持邮件、飞书、企业微信、钉钉等消息关照。
- 💻 支持自托管: 支持离线情况利用,自托管的社区版同样可以查察仪表盘与管理实验
2. 私有化摆设流程
- 安装指南:https://docs.swanlab.cn/guide_cloud/self_host/docker-deploy.html
- 获取License:在swanlab.cn的「设置」-「账户与允许证」,获取免费License
3. 安装先决条件
在安装 SwanLab 之前,请确保您的呆板满意以下最低体系要求:
- CPU >= 2核
- 内存 >= 4GB
- 存储空间 >= 20GB
SwanLab 私有化摆设版,须要利用 Docker Compose 举行安装与摆设,请根据你的操纵体系,对表下面的表格选择正确的Docker及compose版本。
假如你已经安装了Docker,请跳过这一步。
4. 开始安装
1. 克隆堆栈
利用Git克隆 self-hosted 堆栈:
- git clone https://github.com/SwanHubX/self-hosted.git
- cd self-hosted
复制代码 2. 一键脚本安装
假如你是Windows体系,请开启WSL2举行安装
默认的安装脚本在 docker/install.sh ,直接实验即可一键安装全部须要的容器以及实验初始化设置。
默认脚本链接的镜像源在中国,以是中国地区的下载速率非常快!
假如你须要利用 DockerHub 作为镜像源,则可以利用下面的脚本举行安装:
5. 激活主账号
SwanLab社区版默认会利用8000端口,假如你利用的是默认设置,那么可以直接访问: http://localhost:8000 ,就可以访问到SwanLab社区版。
也有大概社区版摆设在了其他端口,请打开 Docker Desktop,找到traefik容器旁边的port映射,好比64703:80,那么你应该访问http://localhost:64703。
现在,你须要激活你的主账号。激活须要1个License,个人利用可以免费在SwanLab官网申请一个,位置在 「设置」-「账户与允许证」。
拿到License后,回到激活页面,填写用户名、暗码、确认暗码和License,点击激活即可完成创建。
6. 开始你的第一个实验
在Python SDK完成登录:
- swanlab login --host <IP地址>
复制代码 假如你之前登录过swanlab,想要重新登录,请利用:
- swanlab login --host <IP地址>
- --relogin
复制代码 按回车,填写API Key,完成登录。之后你的SwanLab实验将会默认传到私有化摆设的SwanLab上。
测试脚本:
- import swanlab
- import random
- # 创建一个SwanLab项目
- swanlab.init(
- # 设置项目名
- project="my-awesome-project",
-
- # 设置超参数
- config={
- "learning_rate": 0.02,
- "architecture": "CNN",
- "dataset": "CIFAR-100",
- "epochs": 10
- }
- )
- # 模拟一次训练
- epochs = 10
- offset = random.random() / 5
- for epoch in range(2, epochs):
- acc = 1 - 2 ** -epoch - random.random() / epoch - offset
- loss = 2 ** -epoch + random.random() / epoch + offset
- # 记录训练指标
- swanlab.log({"acc": acc, "loss": loss})
- # [可选] 完成训练,这在notebook环境中是必要的
- swanlab.finish()
复制代码 运行后在网页查察实验:
至此,你就完成了私有化摆设的全流程!
- 开始利用:https://swanlab.cn
- Github:https://github.com/swanhubx/swanlab
- 官方文档:https://docs.swanlab.cn
|