基于 Stable-Baselines3 和 Gymnasium 的强化学习教程：从自定义环境到 EPICS 集成

Posted on In Views: Disqus:
强化学习（Reinforcement Learning, RL）是一种强大的机器学习方法，广泛应用于机器人控制、游戏 AI 和工业自动化等领域。

引言

强化学习（Reinforcement Learning, RL）是一种强大的机器学习方法，广泛应用于机器人控制、游戏 AI 和工业自动化等领域。本文将介绍如何使用 Stable-Baselines3 和 Gymnasium 库创建自定义强化学习环境，设计奖励函数，训练模型，并将其与 EPICS（Experimental Physics and Industrial Control System）集成，实现实时控制和数据采集。

本文内容适用于初学者和中级开发者，涵盖以下主题：

  1. 自定义环境的创建：从离散状态到连续状态和动作空间。
  2. 奖励函数设计：如何设计有效的奖励函数以引导智能体学习。
  3. 模型训练与优化：使用 Stable-Baselines3 训练模型，并通过 Optuna 进行超参数优化。
  4. EPICS 集成：将强化学习环境与 EPICS 结合，实现实时控制和数据采集。
  5. 步进电机控制示例：一个完整的步进电机控制示例，展示如何将 RL 应用于实际控制系统。

自定义环境的创建

离散状态与动作空间

在强化学习中，环境（Environment）是智能体（Agent）学习和交互的场所。Gymnasium 提供了一个灵活的框架，用于创建自定义环境。以下是一个简单的 1D 离散状态和动作空间的环境示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import gymnasium as gym
from gymnasium import spaces
import numpy as np

class Simple1DEnv(gym.Env):
    def __init__(self):
        super(Simple1DEnv, self).__init__()
        self.action_space = spaces.Discrete(2)  # 0: 左移, 1: 右移
        self.observation_space = spaces.Box(low=-10, high=10, shape=(1,), dtype=np.float32)
        self.state = np.array([0.0])  # 初始位置
        self.target = np.array([5.0])  # 目标位置

    def reset(self):
        self.state = np.array([0.0])
        return self.state

    def step(self, action):
        if action == 0:
            self.state[0] -= 1.0  # 左移
        elif action == 1:
            self.state[0] += 1.0  # 右移

        distance_to_target = abs(self.state[0] - self.target[0])
        reward = -distance_to_target  # 奖励为负的距离
        done = distance_to_target < 0.5  # 当距离小于0.5时任务完成

        return self.state, reward, done, {}

连续状态与动作空间

在实际应用中，状态和动作通常是连续的。以下是一个连续状态和动作空间的示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
class Continuous1DEnv(gym.Env):
    def __init__(self):
        super(Continuous1DEnv, self).__init__()
        self.action_space = spaces.Box(low=-1, high=1, shape=(1,), dtype=np.float32)
        self.observation_space = spaces.Box(low=-10, high=10, shape=(1,), dtype=np.float32)
        self.state = np.array([0.0])  # 初始位置
        self.target = np.array([5.0])  # 目标位置

    def reset(self):
        self.state = np.array([0.0])
        return self.state

    def step(self, action):
        self.state[0] += action[0]  # 更新状态
        distance_to_target = abs(self.state[0] - self.target[0])
        reward = -distance_to_target  # 奖励为负的距离
        done = distance_to_target < 0.5  # 当距离小于0.5时任务完成

        return self.state, reward, done, {}

奖励函数设计

奖励函数是强化学习的核心，它引导智能体学习正确的行为。在上述示例中，我们使用负的距离作为奖励，鼓励智能体接近目标。奖励函数的设计需要根据具体任务进行调整。

模型训练与优化

使用 Stable-Baselines3 训练模型

Stable-Baselines3 提供了多种强化学习算法，例如 PPO、SAC 和 DDPG。以下是一个使用 SAC 算法训练模型的示例：

1
2
3
4
5
6
7
from stable_baselines3 import SAC
from stable_baselines3.common.env_util import make_vec_env

env = make_vec_env('Continuous1DEnv-v0', n_envs=4)
model = SAC("MlpPolicy", env, verbose=1)
model.learn(total_timesteps=10000)
model.save("sac_continuous1d")

使用 Optuna 进行超参数优化

Optuna 是一个强大的超参数优化库，可以自动搜索最佳的超参数组合。以下是一个使用 Optuna 优化 SAC 超参数的示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
import optuna

def objective(trial):
    learning_rate = trial.suggest_float("learning_rate", 1e-5, 1e-3, log=True)
    batch_size = trial.suggest_categorical("batch_size", [64, 128, 256])
    model = SAC("MlpPolicy", env, learning_rate=learning_rate, batch_size=batch_size, verbose=0)
    model.learn(total_timesteps=5000)
    mean_reward = evaluate_model(model)
    return -mean_reward  # 最小化负的奖励

study = optuna.create_study(direction="minimize")
study.optimize(objective, n_trials=50)
print("Best hyperparameters: ", study.best_params)

EPICS 集成

EPICS 是一个广泛应用于科学实验和工业控制的分布式控制系统。通过将 Gymnasium 环境与 EPICS 集成，可以实现实时控制和数据采集。以下是一个步进电机控制的示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import epics

class StepperMotorEnv(gym.Env):
    def __init__(self):
        super(StepperMotorEnv, self).__init__()
        self.action_space = spaces.Discrete(2)  # 0: 反向, 1: 正向
        self.observation_space = spaces.Box(low=-1000, high=1000, shape=(1,), dtype=np.float32)
        self.control_pv = epics.PV("STEPPER:CONTROL")
        self.position_pv = epics.PV("STEPPER:POSITION")
        self.target_position = 500.0

    def reset(self):
        self.position_pv.put(0.0)
        return np.array([0.0])

    def step(self, action):
        if action == 0:
            self.control_pv.put(-10)  # 反向步进
        elif action == 1:
            self.control_pv.put(10)  # 正向步进

        position = self.position_pv.get()
        reward = -abs(position - self.target_position)
        done = abs(position - self.target_position) < 10
        return np.array([position]), reward, done, {}

步进电机控制示例

以下是一个完整的步进电机控制示例，展示如何将强化学习应用于实际控制系统：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 创建环境
env = make_vec_env('StepperMotorEnv-v0', n_envs=4)

# 训练模型
model = PPO("MlpPolicy", env, verbose=1)
model.learn(total_timesteps=10000)

# 测试模型
obs = env.reset()
for _ in range(100):
    action, _states = model.predict(obs, deterministic=True)
    obs, reward, done, info = env.step(action)
    if done:
        obs = env.reset()

结论

本文介绍了如何使用 Stable-Baselines3 和 Gymnasium 创建自定义强化学习环境，设计奖励函数，训练模型，并将其与 EPICS 集成，实现实时控制和数据采集。通过步进电机控制示例，我们展示了如何将强化学习应用于实际控制系统。

希望本文对你有所帮助！如果你有任何问题或建议，请随时在评论区留言。

参考文献：

  • Stable-Baselines3 文档
  • Gymnasium 文档
  • EPICS 官方网站
  • Optuna 文档