来让AI打游戏 - ML-Agents

Shiheuan

2018-03-22

machine learning, unity

〇、阅读本文

阅读本文你能了解到

1、配置 ML-Agents 运行官方例程

2、CPU？GPU？玄学？

一、配置 ML-Agents

科学上网的小伙伴可以参考这里，和这里的两个视频。ML-Agents 的 Github 地址在这里。

ML-Agents 是一个开源的 Unity 插件，能使游戏成为训练智能 agent 的环境。可以通过加强学习（reinforcement learning），模仿学习（initation learning），神经网络进化（neuroevolution）等机器学习算法进行训练，而且提供了一个简单易用的 Python 接口。为游戏开发者和人工智能研究者提供了一个共同的平台

目前 ML-Agents 的结构如下：

在配置之前，你可能需要根据这篇文章来配置 python 环境，安装 Unity。克隆 ML-Agents 仓库。

打开 Anaconda Prompt，进入本地 ML-Agents 目录下的 Python 文件夹，执行命令安装依赖库：

1	pip install .

接下来我们打开 Unity ，单击 “Open” 打开 ML-Agents 目录下的 “unity-environment” 工程文件夹。

在 Project 面板中将 Example - 3DBall 中的 Scene 场景添加到 Hierarchy 面板中；
将 Ball3DBrain 的 Brain(Script) 中的 Brain Type 修改为 “External”；
检查 Build Setting 和 Player Setting 的配置是否正确：注意下图画圈的位置要完全一样，最后点击 “build” 导出 ball.exe 到之前的 Python 文件夹中。

下面开始进行模型的训练，在刚刚打开的 Anaconda Prompt （注意要在 Python 目录下）中输入命令：

1	jupyter notebook

此时在浏览器中打开了 jupyter，我们打开 PPO.ipynb，将图中划线位置的变量值改为我们
刚刚导出的 exe 文件名，“ball”：

点击 “Run” 训练模型，执行完 Train the Agent(s) 后面的代码，此时弹出了 ball.exe 的小窗口，训练开始。

为了看到可视化的训练数据，我们可以借助 Tensorboard。新打开一个 Anaconda Prompt，进入到 Python 目录，输入：

1	tensorboard --logdir=summaries

复制下面的网址，在浏览器中打开就可以看到训练曲线了。

当在 jupyter 的输出日志中显示 “save model” 后，即可停止程序的运行，接着运行最后一部分 “Export the trained Tensorflow graph” 后面的代码，导出模型（在 python\models\ppo 中）ball.bytes。

回到 Unity 中，我们将得到的 ball.bytes 拖拽到 Project 面板的 TFModels 文件夹下，同时将 Ball3DBrain 中的 Brain Type 修改为 “Internal”，将刚刚生成的训练文件拖拽到下面 “Graph Scope” 处。

最后在这里下载最后一个插件，双击打开下载好的文件，导入到 Unity 工程中，可能会需要一点时间。最后，检查一下 PlayerSetting - OtherSetting 中的 Scripting Runtime Version 是否为 4.6 版本（不清楚为什么），然后在 Scripting Define Sympols 下面添加 “ENABLE_TENSORFLOW”。