windows安装gym会有点问题。

安装stable-baselines3

pip install stable-baselines3[extra] -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 

如果出现问题：

FileNotFoundError: Could not find module 'XXX\python\lib\site-packages\atari_py\ale_interface\ale_c.dll' (or one of its dependencies). Try using the full path with constructor syntax.

分三步：
1、先卸载atari-py。

pip uninstall atari-py
2、再重新安装这个。

pip install --no-index -f https://github.com/Kojoley/atari-py/releases atari_py
3、重新下载gym

pip install gym，注意gym的版本对应stable-baselines3。

安装完成后，运行下以下代码

import gym
from stable_baselines3.common.vec_env.dummy_vec_env import DummyVecEnv
from stable_baselines3.common.evaluation import evaluate_policy
from stable_baselines3 import A2C,DQN,DDPG,TD3,PPO

env = gym.make("CartPole-v0")
model = DQN("MlpPolicy", env, verbose=1)