库名称: stable-baselines3
标签:

• LunarLander-v2
• 深度强化学习
• 强化学习
• stable-baselines3
  模型索引:
• 名称: PPO
  结果:
  • 指标:
    • 类型: 平均奖励
      值: 283.49 +/- 13.74
      名称: 平均奖励
      任务:
      类型: 强化学习
      名称: 强化学习
      数据集:
      名称: LunarLander-v2
      类型: LunarLander-v2

PPO 智能体在 LunarLander-v2 中的表现

这是一个经过训练的 PPO 智能体模型，使用 stable-baselines3 库 在 LunarLander-v2 环境中进行训练。

使用方法（与 Stable-baselines3 配合使用）

from huggingface_sb3 import load_from_hub  
from stable_baselines3 import PPO  
from stable_baselines3.common.env_util import make_vec_env  
from stable_baselines3.common.evaluation import evaluate_policy  

# 下载检查点  
checkpoint = load_from_hub("araffin/ppo-LunarLander-v2", "ppo-LunarLander-v2.zip")  
# 加载模型  
model = PPO.load(checkpoint)  

env = make_vec_env("LunarLander-v2", n_envs=1)  

# 评估  
print("正在评估模型")  
mean_reward, std_reward = evaluate_policy(  
    model,  
    env,  
    n_eval_episodes=20,  
    deterministic=True,  
)  
print(f"平均奖励 = {mean_reward:.2f} +/- {std_reward:.2f}")  

# 开始新的一轮  
obs = env.reset()  

try:  
    while True:  
        action, _states = model.predict(obs, deterministic=True)  
        obs, rewards, dones, info = env.step(action)  
        env.render()  
except KeyboardInterrupt:  
    pass  

训练代码（与 SB3 配合使用）

from stable_baselines3 import PPO  
from stable_baselines3.common.env_util import make_vec_env  
from stable_baselines3.common.callbacks import EvalCallback  

# 创建环境  
env_id = "LunarLander-v2"  
n_envs = 16  
env = make_vec_env(env_id, n_envs=n_envs)  

# 创建评估环境  
eval_envs = make_vec_env(env_id, n_envs=5)  

# 根据环境数量调整评估间隔  
eval_freq = int(1e5)  
eval_freq = max(eval_freq // n_envs, 1)  

# 创建评估回调以保存最佳模型  
# 并监控智能体表现  
eval_callback = EvalCallback(  
    eval_envs,  
    best_model_save_path="./logs/",  
    eval_freq=eval_freq,  
    n_eval_episodes=10,  
)  

# 实例化智能体  
# 超参数来自 https://github.com/DLR-RM/rl-baselines3-zoo  
model = PPO(  
    "MlpPolicy",  
    env,  
    n_steps=1024,  
    batch_size=64,  
    gae_lambda=0.98,  
    gamma=0.999,  
    n_epochs=4,  
    ent_coef=0.01,  
    verbose=1,  
)  

# 训练智能体（可以通过 Ctrl+C 提前终止）  
try:  
    model.learn(total_timesteps=int(5e6), callback=eval_callback)  
except KeyboardInterrupt:  
    pass  

# 加载最佳模型  
model = PPO.load("logs/best_model.zip")