马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
×
NeoRL-2: Near Real-World Benchmarks for Offline Reinforcement Learning with Extended Realistic Scenarios 阅读条记
本篇文章是NEORL的连续工作，NEORL发表于2021 NIPS
arXiv：https://arxiv.org/abs/2503.19267
提交时间 [V1] TUE, 25 MAR 2025 02:01:54 UTC
一、Abstract
离线强化学习（RL）旨在无需（高本钱）访问环境的环境下从汗青数据中学习。为推动离线 RL 研究，我们先条件出了 NeoRL，其指出实际任务数据集通常守旧且有限。通过多年将离线 RL 应用于多范畴的履历，我们辨认出更多实际寻衅：包罗已摆设控制体系产生的非常守旧数据分布、高耽误转换导致的动作耽误效应、源自不可控转换变异的外部因素，以及决定过程中难以评估的全局安全束缚。这些寻衅在先前基准中代表性不敷，却频仍出现在实际任务中。为此，我们构建了扩展版近真实天下离线 RL 基准（NeoRL-2），包罗来自7个模仿任务的 7 组数据集及其对应评估模仿器。 当前开始进的离线强化学习方法的基准测试结果表明，现有方法通常难以逾越数据网络活动战略的体现，这凸显了对更有用方法的迫切需求。我们盼望 NeoRL-2 能加快强化学习算法在实际天下应用中的发展。基准项目页面详见 https://github.com/polixir/NeoRL2。
二、Induction
这里精简一下原文的篇幅
强化学习（RL）通过环境试错学习最优战略，已在游戏、保举体系以致托卡马克控制等范畴取得明显结果。然而，当缺乏快速低本钱的模仿器时，传统RL方法难以实行，这促使了离线RL的发展。现有离线RL基准（如D4RL和RL Unplugged）固然推动了范畴进步，但其基于抱负化任务的数据集通常无法反映实际应用的复杂性。
实际场景中存在诸多关键寻衅：
- 1）观测与嘉奖的时间耽误（如工业控制体系中的信号传输耽误）；
- 2）不可控的外部干扰（如无人机飞行中的风力影响）；
- 3）严格的安全束缚（如装备运行参数限定）；
- 4）由传统控制方法天生的有限数据集（通常缺乏探索性）。
为弥合这一差距，我们提出NeoRL-2基准，其创新性表现在：
- 1）覆盖呆板人、航空器、工业管道等7个范畴，体系性地引入耽误、外部干扰和安全束缚；
- 2）接纳更贴近实际的数据收罗方式，包罗基于PID控制器简直定性采样；
- 3）实行表明，当前开始进的离线RL算法在多数任务中难以逾越活动战略的体现。
NeoRL-2旨在为离线RL研究提供更贴近实际的测试环境，推动算法在耽误容忍、抗干扰本领和安全性等方面的进步。由于实际业务数据的隐私性和获取难度，我们通过专用模仿器构建数据集，这些模仿器虽不寻求物理精度，但能有用复现关键的实际寻衅。
这个基准想转达的是：RL要真正落地，得先学会在"脏数据、窄空间、慢反应"的实际中生存。
三、Related Work
离线强化学习
离线强化学习（Offline RL）的核心是从预先网络的汗青数据中学习战略，而无需与环境及时交互。这一特性使其在医疗康健、工业控制、呆板人及主动驾驶等范畴具有告急应用代价——这些场景通常存在交互本钱高、风险大或难以及时获取数据的题目。
现有方法重要分为两类：
- 无模子方法：直接从数据中学习战略或代价函数（如Q学习、战略梯度），不显式建模环境动态；
- 基于模子的方法：先学习环境动态模子，再通过模仿举行战略优化。
针对离线RL的固有寻衅（如分布偏移、希奇嘉奖），研究者提出了三类主流办理方案：
- 战略束缚方法：限定学习战略与活动战略的差别（如BCQ）；
- 不确定性估计方法：使用代价函数或战略的不确定性引导学习（如BEAR）；
- 代价函数正则化：通过正则项防止战略偏离数据分布（如CQL）。
离线强化学习基准
现有三大基准针对差别需求操持：
- D4RL：
- 通过多样化战略（人工控制器、人类树模）天生数据；
- 覆盖数据分布偏置、希奇嘉奖等实际题目。
- RL Unplugged：
- 基于Atari游戏和运动控制任务；
- 夸大离线学习的本钱与安全性上风。
- NeoRL：
四、The Reality Gap
Motivation of NeoRL-2
此前，NeoRL 基准仅思量了来自实际任务的根本数据属性，这些数据由带有小噪声的守旧战略网络，且数据集规模有限。在发布 NeoRL 后我们的离线强化学习实践中，碰到了更多未被 NeoRL 或其他离线 RL 基准反映的困难。这些场景中面对的题目可归类为时间耽误、外部因素、战略束缚、基于传统控制方法网络的数据，以及数据限定（乃至比 NeoRL 中的束缚更为严格）。
由于实际天下是开放的且任务极其复杂，NeoRL-2 基准中的 7 个任务场景无法涵盖全部寻衅。我们的目标在于总坚固际环境中的寻衅，并创建能更正确反映这些寻衅的模仿器，而非提供高保真度的仿真环境。因此，最实用的战略是在模仿环境中尽大概真实地映射实际题目。别的，这些特性确实增长了任务难度并导致数据不完备。我们盼望通过 NeoRL-2 推动学界在将离线强化学习应用于实际任务时，更加关注这些寻衅。
NeoRL-2基准的提出源于现有离线强化学习测试环境与实际应用需求之间的明显差距。
该基准针对五个关键实际寻衅——体系相应耽误、环境干扰因素、操纵安全束缚、传统控制数据特性以及数据规模限定，构建了7个具有代表性的测试任务。
差别于寻求仿真精度，NeoRL-2更留意在可控环境中还原这些核心寻衅的本质特性，为评估算法在实际复杂场景中的顺应本领提供了更可靠的测试平台，有助于推动离线强化学习技能从理论到应用的转化。
Environment Properties
先条件出的基准测试在推动离线强化学习技能发展中发挥了告急作用。然而，根据我们的研究，我们发现实际天下任务与这些基准任务之间存在明显差距。实际任务通常更为复杂且具有寻衅性。在此，我们叙述了实际任务中常见但现有基准测试常忽视的几项特性：
- 耽误：耽误大概由多种因素引起，包罗传感器采样耽误、信号传输耽误及相应耽误。这种征象在差别任务中广泛存在，增长了任务的不确定性和学习难度，导致体系明确中的复杂因果关系。耽误不但可见于状态转换过程中，也表现在嘉奖获取环节。
- 外部因素：外部因素是指可以或许影响当前体系但不受当前内部体系影响的那些因素。这些变量的变革大概改变体系环境的状态分布，从而影响嘉奖信号和战略的有用性，进一步增长了任务的复杂性和寻衅性。
- 束缚控制战略：实际天下中的任务常伴随多种束缚，这些束缚反映了体系的物理限定、安全需求、操纵尺度或资源限定，而数据集大概仅包罗满意束缚条件的数据。因此，由于缺乏探索，离线算法只能从满意数据中学习，无法明确知晓当前动作是否会违背束缚。
- 传统控制方法的数据：在实际天下，尤其是工业范畴，实际运行的控制模子通常接纳传统控制方法，如 PID。使用这些传统方法网络的数据通常分布局促，难以建模。别的，这些传统方法常依赖反馈控制，大概导致学习到错误的转移关系。
- 数据可用性的限定：在很多实际任务中，获取大量练习数据大概不切实际，导致数据不敷的题目。在某些特殊场景下，抱负环境下只能网络到少量数据轨迹，这对离线战略的优化构成了巨大寻衅。我们进一步镌汰数据集规模以匹配实际场景。
因此，我们提出 NeoRL-2 作为对现有基准的增补和改进。NeoRL-2 中的任务覆盖了更广泛的实际应用场景，包罗时滞环境转移、外部影响因素、全局束缚、从传统控制方法网络的数据以及有限的数据可用性。
耽误、外部影响、受限控制战略以及源自传统控制方法的数据等因素明显增长了任务复杂性，并导致数据不完备。比方，较大的耽误会使动作结果连续无穷长的时间，从而使控制战略变为非马尔可夫性。战略束缚通常将数据网络限定在仅安全的状态和动作上，导致空间覆盖不完备。别的，外部因素大概引入变异性，且未必在数据会集明确体现。全部这些因素直接导致观测信息的不完备性，渐渐偏离尺度的 MDP/POMDP 假设。由于当前很多离线强化学习算法忽视了这些题目，这些寻衅大概带来巨大困难。
NeoRL-2给离线强化学习出了五道"实际考题"：
1)信号总是"慢半拍"的耽误困难；
2)爱捣乱的外部干扰因素；
3)戴着安全枷锁的束缚条件；
4)老派控制器留下的"守旧"数据；
5)少得可怜的练习样本。
这些实际特性让尺度算法直呼"水土不平"，而NeoRL-2就是要打造一个既真实又不失焦的测试场，让算法提前顺应实际天下的"不美满"。
五、NeoRL-2 Tasks and Datasets
本节将扼要概述 NeoRL-2 中包罗的全部任务。每项任务由对应的环境与数据集构成，此中数据集用于战略练习，环境则用于战略测试。
Tasks
接下来，我们将扼要先容 NeoRL-2 中包罗的 7 项任务。这些任务包罗一个管道运动任务和一个人体血糖浓度模仿器，两者均体现出明显的时间耽误特性。别的，我们还开发了两个额外环境：火箭接纳（Rocket Recovery）和随机摩擦单足跳跃器（Random Friction Hopper）。在这些环境中，存在必要作为观测一部分的外部因素。为便于使用 PID 控制方法网络数据，我们构建了双质量弹簧阻尼器（DMSD）环境。再者，安全猎豹（Safety Halfcheetah）是一个施加动作束缚以确保活动处于安全范围内的模仿任务。末了是融合环境（Fusion），它代表了实际天下中离线数据网络本钱极高的任务范例。在这些任务中，离线数据的收罗尤为昂贵，使得融合环境成为此类任务的典范代表。
Pipeline. Pipeline 模仿器模仿了水流以固定速率通过 100 米长管道的过程。控制器的目标是通过调治进水闸门来调控流量。模仿运行 1000 个时间步长，出口处的目标流量受外部战略影响，并从聚集[50, 80, 110, 140]中随机选取。每个时间步长有 0.3%的概率改变目标流量，匀称每次模仿会发生三次变革。
Simglucose. Simglucose 模仿器正确模仿了糖尿病患者从早上 8 点开始一天内复杂的血糖浓度变革。该综合模仿器包罗患者模仿、场景模仿、传感器模仿和胰岛素泵模仿。患者随机进食和服药，其结果随时间渐渐显现。战略的重要目标是安全控制用药方案，确保血糖程度保持在抱负范围内，同时思量药物的耽误效应。这一环境在优化和美满糖尿病治疗战略方面极具代价。
RocketRecovery. 火箭接纳模仿器基于Gym中的lunar_lander环境（拜见：https://www.gymlibrary.dev/environments/box2d/lunar_lander/）举行改造，新增风力作为外部干扰因素。该任务的目标是让火箭在包管安全角度和速率的条件下，尽大概精准地安全着陆。这一环境出现了经典的火箭轨迹优化题目。
RandomFrictionHopper. 该模仿器是经典单腿呆板人跳跃移动任务的变体，通过控制腿部动作实现运动。每次初始化时，地面摩擦系数会在[1.5, 2.5]范围内随机设定，并作为状态观测的扩展维度。这一变革为任务动力学引入了可变性。
DMSD. 双质量弹簧阻尼器模仿器涉及两个通过弹簧和阻尼器毗连的质量块。任务要求施加力以控制和稳固这些质量块至目标位置。值得留意的是，相互毗连的弹簧和阻尼器意味着对一个质量块施加力会影响另一个。模仿中的每一步对应于实际天下中的 0.2 秒，且在主动截断前有 100 步的限定。
SafetyHalfCheetah. SafetyHalfCheetah 模仿器是 HalfCheetah 任务的一个变体，夸大安全的高速奔驰。在此任务中，呆板人必须以最快速率冲刺，同时确保其运动保持在安全限度内，以防止事故和破坏。该任务均衡了速率与安全性，模仿了实际天下中必要高速但安全的呆板人移动场景。一旦智能体违背束缚条件，环境将制止并给予较大的负分。
Fusion. Fusion 模仿器模仿了用于核聚变的托卡马克装置控制，其目标在于仅依据观测状态来控制托卡马克装置，并实行在运行过程中将体系稳固于目标位置。然而，实际中开展托卡马克装置实行的本钱极高，使得该环境下网络的离线数据尤为贵重且数据希奇。鉴于托卡马克装置数值模仿的复杂性及数值模仿与实际装置状态间存在的固有偏差，研究接纳了 LSTM 神经网络模子基于网络数据对托卡马克装置举行“克隆”。我们将该“克隆”模子视为 Fusion 任务的模仿器。
NeoRL-2基准经心操持了7个典范任务环境，体系性地模仿实际场景中的核心寻衅：Pipeline和Simglucose偏重描画时滞特性，分别模仿管道流量控制和糖尿病患者血糖管理这类具有明显耽误效应的控制题目；RocketRecovery和RandomFrictionHopper引入风力、随机摩擦系数等外部干扰因素；DMSD环境专为传统PID控制方法的数据收罗而操持；SafetyHalfCheetah突显安全束缚下的决定困难；Fusion环境则复现了托卡马克装置控制这类数据获取本钱极高的尖端应用场景。这些任务既生存了尺度测试环境的可重复性，又通过关键特性的精准建模，为算法评估提供了贴近实际的测试平台。
表 1 用五个属性标志了每项任务的特性
Datasets
在实际场景中，数据通常通过守旧战略网络。针对大多数环境，我们接纳 Soft Actor-Critic（SAC）算法举行在线战略练习以获取高性能战略。练习过程中，每轮竣事跋文录战略模子，并依据性能排序。思量到实际方法常为非最优战略，我们随机选取排名位于 20%-75%区间内的战略作为采样战略。在 DMSD 环境中，运用贝叶斯优化参数搜索方法风雅调治 PID 控制器的三个关键参数。根据性能对全部 PID 举行排序，并选用性能排名 56%的 PID 作为 DMSD 数据集的离线数据采样战略。
在确定采样战略后，我们通过全部内置环境模仿器网络数据。实际任务中通常仅接纳单一战略构建离线数据集，导致多样性不敷。因此，NeoRL-2 特殊夸大全部战略在与环境交互网络数据时均为确定性战略。网络的数据随后分别为练习集与验证集，每个环境包罗 10 万条练习样本和 2 万条验证样本。值得留意的是，由于受控核聚变实行的高本钱特性，Fusion 环境接纳独特的数据采样流程——我们将实行轨迹数目限定为 2000 条练习样本和 500 条验证样本。雷同的数据限定也存在于 Rocket Recovery 和 Safety Halfcheetah 环境中，具体参数详见附录 B 表 4（感爱好的去原文查察）。
NeoRL-2数据集接纳两种方式构建：多数环境使用中等性能的SAC战略（20%-75%分位）收罗数据，DMSD环境则接纳调参后的PID控制器（56%分位）。全部数据均由确定性计营天生，保持10万/2万的练习验证规模，但对Fusion等高本钱环境缩减至2000/500条，真实模仿数据稀缺场景。
六、Experiments 实行
Comparing Methods
Baseline
专家战略：使用SAC算法对NeoRL-2中的每个环境举行在线战略优化，并生存得分最高的模子。必要夸大的是，SAC得到的最高分战略代表了良好的战略，但并不肯定是最优解。在数据得分归一化处理惩罚（0-100分）中，专家战略提供的分数作为上限基准。
随机战略：通过匀称随机采样在每个环境的动作空间内天生动作。随机战略通常体现较差，常作为数据分数归一化（0-100）的最低基准线。
活动战略：此方法生存了SAC练习过程中产生的次优战略。实际中，大多数离线数据集不能到达最优战略性能，因此形成了离线数据集。若某些环境已具备最优战略，则无需使用强化学习举行优化。我们汇编了SAC练习期间生存的战略数据集，并纪录了这些数据会集的轨迹匀称回报值。必要留意，DMSD的数据集是通过PID战略网络的。
Model-Free Methods
为创建全面的基准，我们纳入了多少代表性算法用于离线战略改进。此中包罗活动克隆（BC）方法，该方法通过监督学习从数据中复制战略。我们还实现了离线强化学习方法，如 CQL、EDAC、MCQ和 TD3BC。全部方法的实现可访问 https://github.com/polixir/OfflineRL 查察。
CQL。守旧 Q 学习（CQL）方法通过特殊处罚分布外（OOD）数据点，防止对状态-动作代价函数 Q 的高估。通过得到一个守旧的 Q 函数，CQL 在练习战略时最大化 Q 函数的同时，最小化当前 Q 值与数据中真实值之间的差别。这一方法应用于 SAC 框架内，有用缓解了 Q 值高估题目，从而形成更可靠的离线战略改进算法。
CQL（守旧Q学习）
核心头脑：通过处罚分布外(OOD)数据来防止Q值高估
实现方式：在SAC框架内引入守旧性束缚
上风：有用缓解离线RL中的代价高估题目
EDAC。集成多样化办法者-品评家（EDAC）方法基于 SAC 算法，通过接纳在线强化学习中常用的裁剪 Q 学习方法，有用处罚 OOD 数据点。该方法通过选取 Q 值中的最小值来盘算悲观估计。别的，EDAC 通过增长 Q 网络数目明显提升了算法效能，这一改进也被证明在多种办法者-品评家算法中具有益处。通过引入集成梯度多样化技能，EDAC 在保持乃至逾越现有开始进（SOTA）算法结果的同时，有用镌汰了所需的 Q 网络数目。
EDAC（集成多样化办法者-品评家）
核心改进：基于SAC框架引入集成Q网络
关键技能：接纳裁剪Q学习和梯度多样化
上风：在保持性能的同时镌汰所需Q网络数目
MCQ。温暖守旧 Q 学习（MCQ）方法旨在镌汰对 Q 函数的高估，特殊是通过对 OOD 动作保持守旧性。在添加 OOD 数据处罚项时，该处罚值的设定基于在构建的 Q 网络内为 OOD 数据分配得当分数，而非简朴增长处罚强度。实行结果表明，这种守旧方法未在 Q 网络中明显引发高估，并取得了值得歌颂的性能体现。
MCQ（温暖守旧Q学习）
创新点：为OOD数据操持自顺应的守旧处罚
特点：制止太过处罚导致的性能降落
结果：在守旧性和性能间取得更好均衡
TD3BC。TD3BC 对现有强化学习算法举行了眇小调解，却实现了明显的性能提升。该方法改进了双耽误深度确定性战略梯度（TD3）算法中的战略梯度部分。在目标函数操持上，通过从状态-动作代价函数结果中减去当前战略网络输出与数据会集动作之间的均方偏差（MSE）。本质上，TD3BC 在尺度 TD3 战略更新底子上增长了一个活动克隆（BC）正则化项，以促使战略更倾向于选择练习数据会集存在的动作。
TD3BC
根本思绪：在TD3算法中到场活动克隆正则项
实现方式：用MSE束缚战略输出靠近数据集动作
上风：简朴有用，得当数据分布较窄的场景
Model-Based Methods
基于模子的离线强化学习相较于无模子方法的上风包罗更高的数据使用服从、更快的收敛速率以及出色的可表明性。通过使用离线数据举行环境模子练习，基于模子的方法能有用使用现有数据。我们接纳了多种基于模子的强化学习方法，包罗 MOPO、COMBO、RAMBO和 Mobile。这些方法从数据中构建动态模子，并使用该模子优化战略。
MOPO。基于模子的离线战略优化专注于办理基于模子强化学习中练习动态模子与真实环境间的分布偏移题目。为缓解此题目，在后续战略学习过程中，战略网络与模子交互得到的嘉奖会附加一个处罚项，该处罚项反映了模子与真实数据间的差别。这确保战略在选择动作时，会思量与真实环境转移的偏离程度。通过使战略尽大概贴合数据中的转移动态，MOPO 旨在高效优化战略。
MOPO（基于模子的离线战略优化）
该方法通过引入模子猜测偏差作为嘉奖函数的处罚项，有用办理了模子猜测与真实环境之间的分布偏移题目。其核心创新在于使用猜测不确定性来引导战略优化，使学习到的战略更加守旧可靠。
COMBO。守旧离线模子基战略优化（Conservative Offline Model-Based Policy Optimization）在 MOPO 底子上进一步办理了模子与真实数据间差别盘算大概存在的偏差题目，以及某些场景下性能不佳的缺陷。在代价网络练习过程中，COMBO 同时融合离线数据集和模子天生数据，并对天生的支持外状态-动尴尬刁难引入额外正则化项。该方法无需直接丈量天生数据与离线数据间的偏差即可实当代价函数的守旧估计，从而提升算法的鲁棒性和性能体现。
COMBO（守旧离线模子基战略优化）
作为MOPO的改进版本，COMBO提出了双重守旧机制：一方面在代价函数练习中同时使用真实数据和模子天生数据；另一方面对分布外状态-动尴尬刁难施加正则化束缚。这种方法在保持数据服从的同时，明显提升了算法的稳固性。
RAMBO。鲁棒对抗模子离线强化学习（Robust Adversarial Model-Based Offline RL）接纳活动克隆（BC）方法构建动态模子。在此底子上，RAMBO 重要使用 SAC 算法框架实行基于模子的战略改进。值得留意的是，RAMBO 从联合了练习数据与模子天生轨迹数据的缓冲区中举行采样。在每次更新周期中，模子也会同步更新。通过接纳最大似然估计来调解模子，RAMBO 可以或许影响丧失函数的操持。这一方法确保了在战略练习过程中，模子能连续迫近练习数据中存在的环境状态转移。
RAMBO（鲁棒对抗模子离线强化学习）
RAMBO接纳迭代式模子学习框架，将活动克隆与战略优化相联合。其独特之处在于维护一个混淆缓冲区，同时包罗真实轨迹和模子天生轨迹，通过最大似然估计连续优化动态模子，实现模子与战略的协同进化。
Mobile。为确保使用上的守旧性，Mobile 接纳模子贝尔曼不同等性作为衡量不确定性的指标，以评估天生数据与离线数据之间的差别。该指标允许对动态模子聚集产生的贝尔曼估计的不同等性举行定量分析。在离线数据丰富的地区，贝尔曼估计通常体现出较小的偏差和估计间的低差别；而在数据稀缺的地区，贝尔曼估计间存在更高的不同等性。Mobile 通过对贝尔曼估计同等性较差的动作施加更大处罚，进一步确保战略在此类地区规避高风险动作。
Mobile（基于模子不确定性的离线学习）
Mobile提出了创新的模子贝尔曼不同等性指标，用于量化差别动态模子猜测结果之间的差别。该方法根据不同等性程度自顺应地调解处罚强度，在数据丰富地区保持战略机动性，在数据稀缺地区则实行严格束缚。
Benchmarking Results
由于现在缺乏非常稳固且同等的离线战略评估方法[46, 12]，本文仅举行在线战略评估。每种超参数设置均运行 3 个随机种子，并选取练习终极阶段的战略举行在线测试。本文陈诉 3 个种子中最佳超参数的结果，且全部算法使用的 3 个种子保持同等。
图 1 展示了基线算法得到的尺度化分数，图例中差别颜色与符号代表差别基线算法。该可视化结果基于表 2 数据，直观出现了当前算法中能产生最高匀称分数的调优超参数性能。各算法在特定任务上的体现通过三个随机种子盘算得出，其尺度偏差以偏差条情势表现。从环境维度看，在 RandomFrictionHopper 和 DMSD 环境中，险些全部基线算法的体现均优于离线数据中的分数。 基于模子的算法相较于无模子算法显现出较低的稳固性，这一点在 RocketRecovery、Fusion 和 SafetyHalfCheetah 任务中尤为显着，MOPO 与 RAMBO 算法表现出更大的偏差范围。这凸显了 MOPO 和 RAMBO 算法在这些任务中对随机种子选择的高度敏感性，而其他算法则体现出较小的偏差条，意味着更好的稳固性。就得分而言，没有任何算法在任何任务中高出 95 分1。TD3BC 算法在 Pipeline 任务中取得了 81.95 分的最高结果，但仍未到达 95 分。因此，我们尚未发现任何可以或许乐成办理 NeoRL-2 中任务的算法，且相较于数据会集的结果，得分并无明显提升。
表 2 展示了 NeoRL-2 任务中全部基线算法在调解超参数后的最高得分，以及基于三个随机种子盘算的尺度偏差。从表 2 可以显着看出，在 SafetyHalfCheetah 任务中，没有任何算法高出离线数据中的得分，此中 RAMBO 体现出极高的尺度偏差，意味着其性能极不稳固。得分提升最为明显的是 DMSD 任务，EDAC 算法的性能提升至 78.56 分，实现了约 22 分的进步。
图 2 对比了七项任务中基线算法逾越数据分数的比例。结果表现，TD3BC 算法在高出 80%的任务中实现了对数据分数的逾越。别的，与基于模子的算法相比，无模子算法的乐成率更高。值得一提的是，此处盘算的比例基于表 2 的结果，即任何算法得分高出数据分数即视为乐成改进。这种方法大概导致分数靠近但改进不明显的环境。
表 3 具体列出了各基线算法在数据中得分逾越的次数。此处，+0、+3、+5 和+10 代表逾越数据得分的阈值。比方，+10 意味着该算法得分高出数据得分 10 分以上。通过这些结果，我们能更直观地相识各算法的提升程度。结果表现，RAMBO 和 CQL 在七项任务中有两项实现了 10 分的提升。然而，没有算法能在高出半数的任务中到达 5 分的提升。这些发现表明，当前基线算法在 NeoRL-2 任务中并未明显提升性能。只管某些任务大概有所改进，但我们尚未观察到有任何算法能在多数任务中实现 5 分的提升。这间接阐明，在这些 SOTA 算法取得明显性能提升的任务中，任务本身相对简朴。一旦这些任务被更靠近实际天下的 NeoRL-2 任务替换，这些算法的体现便远不及其所宣称的程度。
七、Conclusion
离线强化学习（Offline RL）旨在从汗青数据中学习，从而制止在实际环境中网络新数据的需求。为评估离线强化学习算法的有用性，已有多种基准测试套件被提出。然而，现有基准通常未能充实捕捉实际任务的关键特性。为此，我们推出了 NeoRL-2 基准套件，涵盖呆板人、飞行器、工业管道、核聚变及医疗范畴的任务。这些任务融入了耽误、外部因素和束缚等特性，使 NeoRL-2 更能代体实际场景。我们接纳确定性采样方法并限定样本数目，以符合实际任务设定。别的，在某些特定场景中，我们引入经典 PID 控制器作为数据采样本领。通过 NeoRL-2 测试了当前最优（SOTA）离线强化学习算法并分析结果。实行数据表现，在多数任务中，这些算法的体现并未明显逾越用于数据网络的原始战略。 通过这项工作，我们旨在推动离线强化学习算法研究与实际应用的更精密联合，促进强化学习在实际场景中的实际应用。
NeoRL-2 旨在为评估离线强化学习算法提供一系列易于使用的仿真环境，然而，当前离线 RL 算法的基准测试结果与实际性能之间仍存在差距。仿真环境尚无法完全复现实际天下任务的复杂性，尤其是当某些实际任务的转换机制不明确时。这也是离线 RL 范畴广泛面对的寻衅，我们信任 NeoRL-2 将推动将来基准任务与离线算法的共同发展。
离线强化学习旨在让AI"吃老本"——仅靠汗青数据就能学有所成。但现有测试基准就像"温室科场"，难以反映真实天下的风雨。为此，我们打造了NeoRL-2这个"练习场"：
- 真实痛点全覆盖
席卷工业控制、医疗决定等7大实际场景 内置信号耽误、突发干扰、安全束缚等"实际殊效" 数据收罗模仿真实条件：样本少、战略守旧
- 测试结果发人深省
当前顶尖算法在这里大多"水土不平"，体现仅与传统的PID控制器相称。这阐明： 实行室的漂亮指标≠实际应用本领 实际场景必要新一代更鲁棒的算法
- 代价与预测
NeoRL-2就像一面照妖镜，让算法提前袒露在实际寻衅前。固然仿真永久无法完全复现真实天下的复杂性，但这个基准为学界指明白更具实践代价的研究方向——让强化学习真正走出实行室，走进工厂、医院等实际场景。
|
发表于 2025-9-29 23:12:04