ハイブリッドニューラルネットワーク - ページ 16 1...910111213141516171819202122 新しいコメント gumgum 2009.10.12 10:10 #151 自分の目で確かめたい! RIP 2009.10.12 12:47 #152 gumgum >> : 自分で知りたい! Kgm ...わかる気がする :)RPRopを初めて実装したとき、誤差が大きくなり、dEdWの値(勾配)が+Infになる場面に出くわしたことがあります。 学習エポック数を10-15に制限するか、勾配のトップ値チェックをコードに導入する、そんなコードもあります。 if (Math::Abs(this->dEdW[j][k][i]) < 10e-25) { this->dEdW[j][k][i] = 0; } これは、アルゴリズムがローカルミニマムに達したか、ネットワークの再トレーニングが行われていることを意味します。 gumgum 2009.10.12 14:09 #153 つまり、トレーニングセットからすべての例をフィードして、それぞれのdedwを計算し、dedwをトレーニング例の数で割る、というのがバッチモードの仕組みなのでしょうか。 Denis Timoshin 2009.10.12 14:12 #154 gumgum >> : トレーニングセットからすべての例を送り込み、それぞれのdedwについて計算し、そのdedwをトレーニング例の数で割ると理解していますが、バッチモードはそのように動作するのでしょうか? このアルゴリズムの欠点は、離散的であることです。 RIP 2009.10.12 14:22 #155 gumgum >> : つまり、トレーニングセットからすべての例をフィードして、それぞれのdedwを計算し、その合計を蓄積し、dedwをトレーニング例の数で割るということですね? バッチモードはそのように動作するのでしょうか? しかし、1つのニューロンに対する局所勾配とdEdWを混同してはいけません。 RIP 2009.10.12 14:26 #156 dentraf >> : >> このアルゴリズムの欠点は、離散的であることです。 うーんディスクリートとはどういう意味ですか?このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速です。 Denis Timoshin 2009.10.12 15:22 #157 rip >> : うーんディスクリートとは何か?このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速に動作します。 速度については何も言ってませんよ(笑)。 Petro Mohyla 2009.10.12 15:28 #158 ニューラルネットワーク、なるほどね。どのように準備するのですか?どのようなデータで動かしているのですか?インターバル? gumgum 2009.10.12 15:31 #159 皆さん、ありがとうございました。 gumgum 2009.10.12 16:30 #160 rip писал(а)>> うーんディスクリートとは何か?このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速に動作します。 準ニュートン法、LMA法の詳細はこちら。 1...910111213141516171819202122 新しいコメント 取引の機会を逃しています。 無料取引アプリ 8千を超えるシグナルをコピー 金融ニュースで金融マーケットを探索 新規登録 ログイン スペースを含まないラテン文字 このメールにパスワードが送信されます エラーが発生しました Googleでログイン WebサイトポリシーおよびMQL5.COM利用規約に同意します。 新規登録 MQL5.com WebサイトへのログインにCookieの使用を許可します。 ログインするには、ブラウザで必要な設定を有効にしてください。 ログイン/パスワードをお忘れですか? Googleでログイン
自分で知りたい!
Kgm ...わかる気がする :)RPRopを初めて実装したとき、誤差が大きくなり、dEdWの値(勾配)が+Infになる場面に出くわしたことがあります。
学習エポック数を10-15に制限するか、勾配のトップ値チェックをコードに導入する、そんなコードもあります。
if (Math::Abs(this->dEdW[j][k][i]) < 10e-25)
{
this->dEdW[j][k][i] = 0;
}
これは、アルゴリズムがローカルミニマムに達したか、ネットワークの再トレーニングが行われていることを意味します。
トレーニングセットからすべての例を送り込み、それぞれのdedwについて計算し、そのdedwをトレーニング例の数で割ると理解していますが、バッチモードはそのように動作するのでしょうか?
このアルゴリズムの欠点は、離散的であることです。
つまり、トレーニングセットからすべての例をフィードして、それぞれのdedwを計算し、その合計を蓄積し、dedwをトレーニング例の数で割るということですね? バッチモードはそのように動作するのでしょうか?
しかし、1つのニューロンに対する局所勾配とdEdWを混同してはいけません。
>> このアルゴリズムの欠点は、離散的であることです。
うーんディスクリートとはどういう意味ですか?このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速です。
うーんディスクリートとは何か?このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速に動作します。
速度については何も言ってませんよ(笑)。
うーんディスクリートとは何か?このアルゴリズムは、多くの問題に対して、どのような勾配法よりも悪くありません。準ニュートン法、あるいはLMAと言われるものに比べて劣る。しかし、単純なグラデーションよりも高速に動作します。
準ニュートン法、LMA法の詳細はこちら。