Inventory Management with Attention-Based Meta Actions

泉谷 圭亮,シモセラ エドガー

ローグライクゲームは強化学習アルゴリズムにとって非常に挑戦的な環境である.というのも,ゲームに敗北する度に最初からやり直さなければならず,環境は確率的かつ手続き的に生成され,そして適切にゲーム内のアイテムを使用することがゲーム攻略には不可欠であるためである.最近の研究では,ローグライクを基にした強化学習アルゴリズムのための環境や,挑戦的なローグライクに取り組むモデルが提案されているが,我々の調査する限り,アイテムの扱いを対象としたものはない.アイテムはゲーム中に得られるもので,ローグライクにおいて重要な役割を果たしている.しかし,アイテムは数が可変の非順序集合であり,さらにそれらが行動空間の一部を構成しているため,強化学習フレームワークにアイテムを組み込むのは簡単ではない.本研究では,非順序集合が行動空間の一部となっているこの問題に取り組み,アイテムを用いた行動も扱えるattentionベースの機構と,複雑な行動やアイテムを扱えるメタ行動フレームワークとを提案する.これらを挑戦的なゲームであるNetHackで評価した結果,提案手法は既存手法を大幅に上回る性能を示した.

口頭発表

モデル

既存のモデル(破線の上側)に対して,行動再帰とアイテム特徴抽出とを組み込んでいる.

行動再帰

直前に取った行動を現在の状態の表現に組み込むため,埋め込み層をモデルに追加する.

インベントリの特徴抽出

所持している各アイテムの特徴 xi\bm{x_i} を計算した後,全アイテムの特徴 x\bm{x} を, 順序に依らない演算 x=MLP(∑ixi)\bm{x}=\mathrm{MLP}\left(\sum_i{\bm{x_i}}\right) により計算する.

アイテムのスコア計算

行動決定時に用いる各アイテムのスコアをattention機構を用いて計算する. 具体的には,行列 WQ,WK\bm{W_Q}, \bm{W_K} とベクトル wV\bm{w_V} を用いて,ii 番目のアイテムのスコア yiy_i を

yi=q⊤kidkviy_i=\frac{\bm{q}^{\top}\bm{k_i}}{\sqrt{d_k}}v_i

によって計算する.ここで,

q=WQf,ki=WKxi,vi=wV⊤xi\begin{aligned} \bm{q} &= \bm{W_Q}\bm{f}, \\ \bm{k_i} &= \bm{W_K}\bm{x_i}, \\ v_i &= \bm{w_V}^{\top}\bm{x_i} \end{aligned}

であり,dkd_k は q\bm{q} や ki\bm{k_i} の次元,f\bm{f} は現在の状態の表現(GRUの出力)である.

正誤表

ページ場所誤正
5式(9) 2行目+λπv(b0∣St)∇∑b∈Ai−πi(b∣St)log⁡πi(b∣St){}+\lambda\pi_{\mathrm{v}}(b_0\mid S_t)\nabla\sum_{b\in\mathcal{A}_{\mathrm{i}}}-\pi_{\mathrm{i}}(b\mid S_t)\log\pi_{\mathrm{i}}(b\mid S_t)+λ∇πv(b0∣St)∑b∈Ai−πi(b∣St)log⁡πi(b∣St){}+\lambda\nabla\pi_{\mathrm{v}}(b_0\mid S_t)\sum_{b\in\mathcal{A}_{\mathrm{i}}}-\pi_{\mathrm{i}}(b\mid S_t)\log\pi_{\mathrm{i}}(b\mid S_t)