标签:

• 深度强化学习
• 强化学习
• stable-baselines3
• 雅达利游戏

模型索引:

• 名称: PPO智能体 结果:
  • 任务: 类型: 强化学习 # 必填。示例：自动语音识别 数据集: 类型: BreakoutNoFrameskip-v4 # 必填。示例：common_voice。使用来自https://hf.co/datasets的数据集ID 名称: BreakoutNoFrameskip-v4 # 必填。示例：Common Voice zh-CN 指标:
    • 类型: 平均奖励 # 必填。示例：词错误率 值: 339 # 必填。示例：20.90

使用PPO算法训练的BreakoutNoFrameskip-v4智能体

这是一个经过训练的PPO智能体模型，使用stable-baselines3库在BreakoutNoFrameskip-v4环境中进行训练。

训练报告详见：https://wandb.ai/simoninithomas/HFxSB3/reports/Atari-HFxSB3-Benchmark--VmlldzoxNjI3NTIy

评估结果

平均奖励：339.0

使用方法（配合Stable-baselines3）

• 需要使用gym==0.19版本，因为该版本包含雅达利游戏ROM。
• 动作空间为6，因为我们仅使用该游戏中可能的动作。

观看智能体交互演示：

# 导入库
import os 
import gym
from stable_baselines3 import PPO
from stable_baselines3.common.vec_env import VecNormalize
from stable_baselines3.common.env_util import make_atari_env
from stable_baselines3.common.vec_env import VecFrameStack
from huggingface_sb3 import load_from_hub, push_to_hub

# 加载模型
checkpoint = load_from_hub("ThomasSimonini/ppo-BreakoutNoFrameskip-v4", "ppo-BreakoutNoFrameskip-v4.zip")

# 由于Colab使用Python 3.7而该智能体使用3.8训练，为避免Pickle错误：
custom_objects = {
            "learning_rate": 0.0,
            "lr_schedule": lambda _: 0.0,
            "clip_range": lambda _: 0.0,
        }

model= PPO.load(checkpoint, custom_objects=custom_objects)

env = make_atari_env('BreakoutNoFrameskip-v4', n_envs=1)
env = VecFrameStack(env, n_stack=4)

obs = env.reset()
while True:
    action, _states = model.predict(obs)
    obs, rewards, dones, info = env.step(action)
    env.render()

训练代码

import wandb
import gym
from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_atari_env
from stable_baselines3.common.vec_env import VecFrameStack, VecVideoRecorder
from stable_baselines3.common.callbacks import CheckpointCallback
from wandb.integration.sb3 import WandbCallback
from huggingface_sb3 import load_from_hub, push_to_hub

config = {
    "env_name": "BreakoutNoFrameskip-v4",
    "num_envs": 8,
    "total_timesteps": int(10e6),
    "seed": 661550378,    
}

run = wandb.init(
    project="HFxSB3",
    config = config,
    sync_tensorboard = True,  # 自动上传sb3的tensorboard指标
    monitor_gym = True, # 自动上传智能体游戏视频
    save_code = True, # 保存代码至W&B
    )

# 使用现成的环境生成器
# 将正确创建和封装雅达利环境
# 此处采用多工作器训练（n_envs=8表示8个并行环境）
env = make_atari_env(config["env_name"], n_envs=config["num_envs"], seed=config["seed"]) #BreakoutNoFrameskip-v4

print("环境动作空间: ", env.action_space.n)

# 4帧堆叠
env = VecFrameStack(env, n_stack=4)
# 视频录制器
env = VecVideoRecorder(env, "videos", record_video_trigger=lambda x: x % 100000 == 0, video_length=2000)

model = PPO(policy = "CnnPolicy",
            env = env,
            batch_size = 256,
            clip_range = 0.1,
            ent_coef = 0.01,
            gae_lambda = 0.9,
            gamma = 0.99,
            learning_rate = 2.5e-4,
            max_grad_norm = 0.5,
            n_epochs = 4,
            n_steps = 128,
            vf_coef = 0.5,
            tensorboard_log = f"runs",
            verbose=1,
            )
    
model.learn(
    total_timesteps = config["total_timesteps"],
    callback = [
        WandbCallback(
        gradient_save_freq = 1000,
        model_save_path = f"models/{run.id}",
        ), 
        CheckpointCallback(save_freq=10000, save_path='./breakout',
                                         name_prefix=config["env_name"]),
        ]
)

model.save("ppo-BreakoutNoFrameskip-v4.zip")
push_to_hub(repo_id="ThomasSimonini/ppo-BreakoutNoFrameskip-v4", 
    filename="ppo-BreakoutNoFrameskip-v4.zip",
    commit_message="新增训练好的Breakout智能体")