記事「ニューラルネットワークが簡単に（第34部）：FQF（Fully Parameterized Quantile Function、完全にパラメータ化された分位数関数）」についてのディスカッション

[MetaQuotes]

新しい記事「ニューラルネットワークが簡単に（第34部）：FQF（Fully Parameterized Quantile Function、完全にパラメータ化された分位数関数）」はパブリッシュされました:

分散型Q学習アルゴリズムの研究を続けます。以前の記事では、分散型の分位数Q学習アルゴリズムについて検討しました。最初のアルゴリズムでは、与えられた範囲の値の確率を訓練しました。2番目のアルゴリズムでは、特定の確率で範囲を訓練しました。それらの両方で、1つの分布のアプリオリな知識を使用し、別の分布を訓練しました。この記事では、モデルが両方の分布で訓練できるようにするアルゴリズムを検討します。

この方法により、「分位数」ハイパーパラメータの影響を受けにくいモデルの訓練が可能になります。それらのランダムな分布により、近似関数の範囲を不均一に分布する関数に拡張できます。

データがモデルに入力される前に、以下の式に従って、ランダムに生成された分位数の埋め込みが作成されます。

結果の埋め込みを元のデータのテンソルと組み合わせるには、さまざまなオプションがあります。これは、2つのテンソルの単純な連結、または2つの行列のアダマール（要素ごと）積のいずれかです。

以下は、記事の著者らによって提示された、考慮されたアーキテクチャの比較です。

モデルの有効性は、57のアタリゲームで実施されたテストによって確認されています。以下は、元の記事[8]にある比較表です。 

仮説的には、モデルのサイズに制限がない場合、この方法により、予測された報酬の分布を学習できます。

作者: Dmitriy Gizlyk