ハイブリッドニューラルネットワーク - ページ 16

 
自分の目で確かめたい!
 
gumgum >> :
自分で知りたい!

Kgm ...わかる気がする :)RPRopを初めて実装したとき、誤差が大きくなり、dEdWの値(勾配)が+Infになる場面に出くわしたことがあります。

学習エポック数を10-15に制限するか、勾配のトップ値チェックをコードに導入する、そんなコードもあります。


if (Math::Abs(this->dEdW[j][k][i]) < 10e-25)
{
this->dEdW[j][k][i] = 0;
}


これは、アルゴリズムがローカルミニマムに達したか、ネットワークの再トレーニングが行われていることを意味します。

 
つまり、トレーニングセットからすべての例をフィードして、それぞれのdedwを計算し、dedwをトレーニング例の数で割る、というのがバッチモードの仕組みなのでしょうか。
 
gumgum >> :
トレーニングセットからすべての例を送り込み、それぞれのdedwについて計算し、そのdedwをトレーニング例の数で割ると理解していますが、バッチモードはそのように動作するのでしょうか?

このアルゴリズムの欠点は、離散的であることです。

 
gumgum >> :
つまり、トレーニングセットからすべての例をフィードして、それぞれのdedwを計算し、その合計を蓄積し、dedwをトレーニング例の数で割るということですね? バッチモードはそのように動作するのでしょうか?

しかし、1つのニューロンに対する局所勾配とdEdWを混同してはいけません。

 
dentraf >> :

>> このアルゴリズムの欠点は、離散的であることです。

うーんディスクリートとはどういう意味ですか?このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速です。

 
rip >> :

うーんディスクリートとは何か?このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速に動作します。

速度については何も言ってませんよ(笑)。

 
ニューラルネットワーク、なるほどね。どのように準備するのですか?どのようなデータで動かしているのですか?インターバル?
 
皆さん、ありがとうございました。
 
rip писал(а)>>

うーんディスクリートとは何か?このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速に動作します。

準ニュートン法、LMA法の詳細はこちら。