Unity ML-Agents + VScode 环境搭建 Windows

安装Unity

先去官网下载Unity Hub，然后安装在D盘就可以了，你必要手机上安装一个Unity Connect举行账号注册。
具体的注册可以参考：

注册好了以后登入电脑端的Unity Hub，可以尝试举行汉化：

点进去设置成简体中文

然后修改一下这三个地方的路径：

然后安装编辑器：

安装完点设置进去

假如显示有中文简体，那大概会无法汉化，先要把中文简体勾上然后点安装。
（注意不要勾选 visual studio，我们不消这个）

然后创建一个新项目测试，选3D的模板，打开项目就可以了

然后汉化一下，点首选项进去

选简体中文

包管理器的位置有必要也可以改一下，我这边不改了：

安装vscode

起首去安装一下vscode，安装完了然后打开，安装中文插件汉化

有必要可以改一下插件的安装位置，插件默认安装路径在C:\Users{个人用户名}.vscode\extensions目次下，找到『extensions』文件夹，右键→剪切。然后到新的文件夹去粘贴，比如粘贴到 D:\Buffer\VSCode\下。

在管理员权限下的下令提示符（CMD）输入以下下令：mklink /D “C:\Users{个人用户名}.vscode\extensions” “{自界说路径}”；运行乐成后，会提示创建了双向的符号链接。如 :
   mklink /D “C:\Users\zhang3.vscode\extensions” “D:\Buffer\VSCode\extensions”
  

打开C:\Users{个人用户名}.vscode，出现一个extensions酿成快捷方式，则修改乐成。

设置

参考 https://docs.unity.cn/cn/2021.2/Manual/ScriptingToolsIDEs.html
组件搜索unity，这几个能装就全装，带黄尖的是弃用了的，可以不装

然后打开unity项目，编辑->首选项->外部工具->浏览，然后选桌面的vscode。

再更新一下 Unity 的 Package Manager 插件（Visual Studio Code Editor）到最新版本，可通过 窗口->包管理器 进入包管理界面，在搜索框输入 Visual Studio Code Editor，解锁一下，假如必要更新就更新一下：

差不多告急的工作都已经完成了，这个时间新建一个C#测试脚本，双击脚本，便可以打开 VSCode 了：

但是你会发现提示错误：

去下载一下 .NET SDK ，我安装了.NET 8.0。【假如你是linux或者macos则必要装的是mono，具体的参考官方文档】有外网的速率会快一些，可以翻墙下。下载完安装好之后，重新打开一个终端，输入dotnet --version 或 dotnet --list-sdks （检察安装的全部版本），下面如许就是好了

假如重新打开脚本还是报错，则重启一下电脑就可以了。
然后打开vscode，点击运行

这时会在unity弹出一个窗口：

这里可以选全部项目的使能。然后就可以了。
python环境安装

去官网下载miniconda，你装conda也可以，然后一起安装即可：

然后在菜单栏中直接打开或搜索Anaconda Prompt（注意：将来管理miniconda中虚拟环境均在此处，并非在下令指示符或PowerShell）

然后打开和conda下令行一样使用就可以了。使用下令行（Anaconda Prompt）将新的路径设置为虚拟环境的存储位置，比如 D:\anaconda3\envs ：
conda config --add envs_dirs D:\anaconda3\envs
这里的 D:\anaconda_envs 是你盼望存储虚拟环境的路径，可以更换为任何你喜欢的目次。
运行以下下令检察设置：
conda config --show envs_dirs
然后你就能看到你的路径在最上面就可以了（默认优先使用）
尝试创建一个新的环境
conda create -n myenv python=3.8

创建好了之后激活
conda activate myenv
假如想安装软件包就可以用pip了，如：
pip install numpy
关闭
conda deactivate
ML-Agents环境设置

具体教程参考官方：https://github.com/Unity-Technologies/ml-agents/blob/release_19_docs/docs/Readme.md
先把ML-Agents堆栈克隆下来，比如放在D:\Unity\ml-agents中：
   git clone --branch release_19 https://github.com/Unity-Technologies/ml-agents.git
  把堆栈打包到项目里，窗口->包管理器->单击+按钮->添加来自磁盘的包

然后导航到com.unity.ml-agents文件夹，选择package.json文件，双击添加

导入后会出现ML-Agents包（假如没有，关闭工程重新打开添加）：

然后com.unity.ml-agents.extensions Unity 包（可选）的话，也一样安装就可以了。
创建一个python环境，python3.10的
   conda create -n mlagents python=3.10.12 && conda activate mlagents
  安装pytorch
   pip3 install torch~=2.2.1 --index-url https://download.pytorch.org/whl/cu121
  通过本地安装mlagents（注意pytorch得在它之前安装，以确保使用CUDA版本，而不是仅使用CPU版本）
   #先切换到包储存路径
cd /d “D:\Unity\Project\ml-agents\ml-agents”
#本地安装
python -m pip install ./ml-agents-envs
python -m pip install ./ml-agents
  若numpy安装报错,大概是python版本太高了,要么换python版本到3.8，要么换numpy版本到1.23.5,直接打开setup.py更改版本:

修改为1.23.5后重新安装,就可以了

环境测试

可以直接跑它的项目,直接打开Project目次,就可以运行项目了

想更换demo的话比如3Dball,单击导入3Dball的包,单击一下

然后去打开这个项目

点击运行就可以了

先制止运行
打开一个新的终端，激活环境输入：
conda activate mlagents
然后跳转到ML-Agents工具包目次下，我放在了D:\Unity\Project\ml-agents\ml-agents ：
cd /d D:\Unity\Project\ml-agents\ml-agents
然后输入带有各类训练参数设置的文件，格式为.yaml，开始训练
mlagents-learn config/ppo/3DBall.yaml --run-id=train

然后unity那里点播放就可以了，他就会开始训练了

再新建一个终端，同样跳转到目次下
conda activate mlagents
cd /d D:\Unity\Project\ml-agents\ml-agents
用tensorboard 检察训练结果
tensorboard --logdir results

浏览器打开 http://localhost:6006/ 就能看到结果了

训练竣事会出现模子文件：

可将模子文件拖入unity项目中

将训练的智能体中找到Behavior Parameters组件，将此中的Model属性修改为训练后生成的模子文件，即可启动游戏看训练的结果。

几个告急的参数：
   Space Size：输入的维度
Continuous Action：输出的连续动作数
Discrete Branch：输出的离散动作数
Model：使用的模子
  也可以在下面直接添加组件

Decision Requester组件：设定智能体如何接纳决策
   Decision Period：接纳决策的时间间隔
Decision Step：接纳决策的步数
Take Actions Between：不接纳决策是否实行动作

  然后点击运行就能看到结果了

其他组件：
Demonstration Recorder：纪录玩家利用的组件，纪录完存储为.demo文件
   Record：是否纪录利用，勾选则在运行时纪录
Num Steps To Record：纪录的步数，值为0时表现无穷大
Demonstration Name：录制后得到的文件名
Demonstration Directory：录制文件存放的路径，图中为{项目路径}/Demo

若要使用.demo文件举行训练，必要在.yaml文件中参加以下设置

1. behaviors:
2.   trainDemo: #与.demo文件名一致
3.     trainer_type: ppo
4.     reward_signals:
5.       gail:
6.         strength: 0.5
7.         demo_path: Demo/trainDemo.demo
8.     behavioral_cloning:
9.       strength: 0.5
10.       demo_path: Demo/trainDemo.demo
11.     max_steps: 500000
12.       strength: 0.5
13.     demo_path: Demo/trainDemo.demo
14. behavioral_cloning:
15.   strength: 0.5
16.   demo_path: Demo/trainDemo.demo
17. max_steps: 500000

复制代码

更多参考

常用组件
超具体的Unity小白的 ML-Agents（Release 22）学习纪录