ハイブリッドニューラルネットワーク - ページ 16

[gumgum]

自分の目で確かめたい!

[RIP]

gumgum >> :
自分で知りたい!

Kgm ...わかる気がする :)RPRopを初めて実装したとき、誤差が大きくなり、dEdWの値（勾配）が+Infになる場面に出くわしたことがあります。

学習エポック数を10-15に制限するか、勾配のトップ値チェックをコードに導入する、そんなコードもあります。

if (Math::Abs(this->dEdW[j][k][i]) < 10e-25)
{
this->dEdW[j][k][i] = 0;
}

これは、アルゴリズムがローカルミニマムに達したか、ネットワークの再トレーニングが行われていることを意味します。

[gumgum]

つまり、トレーニングセットからすべての例をフィードして、それぞれのdedwを計算し、dedwをトレーニング例の数で割る、というのがバッチモードの仕組みなのでしょうか。

[Denis Timoshin]

gumgum >> :
トレーニングセットからすべての例を送り込み、それぞれのdedwについて計算し、そのdedwをトレーニング例の数で割ると理解していますが、バッチモードはそのように動作するのでしょうか？

このアルゴリズムの欠点は、離散的であることです。

[RIP]

gumgum >> :
つまり、トレーニングセットからすべての例をフィードして、それぞれのdedwを計算し、その合計を蓄積し、dedwをトレーニング例の数で割るということですね？ バッチモードはそのように動作するのでしょうか？

しかし、1つのニューロンに対する局所勾配とdEdWを混同してはいけません。

[RIP]

dentraf >> :

>> このアルゴリズムの欠点は、離散的であることです。

うーんディスクリートとはどういう意味ですか？このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速です。

[Denis Timoshin]

rip >> :

うーんディスクリートとは何か？このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速に動作します。

速度については何も言ってませんよ（笑)。

[Petro Mohyla]

ニューラルネットワーク、なるほどね。どのように準備するのですか？どのようなデータで動かしているのですか？インターバル？

[gumgum]

皆さん、ありがとうございました。

[gumgum]

rip писал(а)>>

うーんディスクリートとは何か？このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速に動作します。

準ニュートン法、LMA法の詳細はこちら。