スクリプト形式のニューラルネットワーク - ページ 10

 

S[j] = Sum(i)(y[i]*w[i,j] - t[j]) の式の表記について教えてください。私の理解では

t[j]は閾値の重み(-1に等しい信号が乗じられる)

y[i]*w[i,j] - 入力に重みを乗じたもの.

S[j] -ロジスティック 関数が適用される前の結果

Sum(i)とは?

 
sergeev писал (а)>>

S[j] = Sum(i)(y[i]*w[i,j] - t[j]) の式の表記について教えてください。私の理解では

t[j]は閾値の重み(-1に等しい信号が乗じられる)

y[i]*w[i,j] - 入力に重みを乗じたもの.

S[j] - ロジスティック関数が適用される前の結果

Sum(i)とは?

Sum[i]はi個分の合計である。ここで数式をどう書けばいいのかわからない。


t[j] - ニューロンのしきい値

y[i]*w[i,j] - 結合重みで乗算された層の出力

S[j]はロジスティック関数を適用する前の加重和

 
TheXpert писал (а)>>

Sum[i]はi個分の総和である。ここでは数式は書けません。

基本的には、すぐにその金額だと思いました。

--------------

ポイントは、閾値を各入力値に加えるのではなく、シグモイドに供給する前の総和の最後に加えることである。つまり、出力全体に対する閾値であり、各入力個別に対する閾値ではない。

計算式は以下の通りです。

S[j]=Sum{y[i]*w[i,j]} - t[j]とする。

ユーリみたいな感じですね。

for(i=0;i<NUM_INP;i++) // входной слой
    { 
        sum=0;
        for(j=0;j<NUM_INP;j++) sum+=ipl_W[i,j]*Input[j];
        ipl_Out[i]=Sigmoid(sum+ipl_Threshold[i]);
    }

と、文献でそのような表記を見たことがあるので、原理的には賛成です。

 
sergeev писал (а)>>

基本的には、すぐにその金額だと思いました。

--------------

ポイントは、閾値を入力値ごとに加算するのではなく、シグモイドに供給する前の総和の最後に加算する点である。

つまり、計算式は

S[j]=Sum{y[i]*w[i,j]} - t[j]とする。

由利はこうしている。

というような表記を文献で見たことがあり、原理的には賛成です。



うっ、もちろんその通りです、括弧の付け方が間違ってました。

 

2 TheXpert

あなたの書き込みから、あなたはNSの専門家であると理解しています。初心者がNSの仕組みを知るために、何から解析すればいいのか、アドバイスをお願いします...。

また、ネットワークでフィードバックを利用することは良いことなのでしょうか?実践でどのような効果があったのか?

 
sergeev писал (а)>>

2 TheXpert

あなたの書き込みから、あなたはNSの専門家であると理解しています。NSの動作原理を知るために、初心者は何から解析すればいいのか、アドバイスをお願いします...。

また、フィードバックネットワークの活用も良いことなのでしょうか。実践でどのような効果があったのか?


正直なところ、何と言ったらいいのかわからないくらいです。大学ではNSの講義が2回あり、基本的なニューロンモデル、ネットワークの分類、学習方法などの基礎から始まり、パーセプトロン、線形と非線形、コホネン、ホップフィールド、ヘミング、リカレント、リカレントネットワーク...といった具合でした。



リカレントネットワークについて--実際には使われていませんが、IMHOは、その利点と同時に欠点は、以前の状態に依存すること、すなわち定義上、交換に適していることです。

しかし、繰り返しになりますが、スライディングウィンドウの原理で学習させれば、フィードバックなしのペルセプトロンでも同様の結果が得られると私は考えています。また、これには利点もあり、スライディングウィンドウ法を用いると、得られた予測の頑健性/確率性(カオス理論参照)を少ない血で評価することができ、市場が非常に不安定で結果が予測できない場合に大いに役立ちます。

 
ネットワークの次元や "階層化 "のパターン数依存性は?
 
Andy_Kon писал (а)>>
ネットワークの次元や "階層化 "のパターン数依存性は?

Simon Heikinは、彼の著書Neural Networksの282ページで、隠れ層が1つのNSの普遍性に関する定理を与えている。ここに含意があります。

また、「ネットワーク次元」という言葉にどのような意味を持たせているのか、私には理解できません。隠れ層のニューロン数なのか、NSへの入力数なのか?

入力数であれば、入力数と学習サンプル数(パターン数)の積がNS重みの2乗に等しくなければならない。

隠れ層のニューロンの数であれば、その数は問題の複雑さによって決定され、実験的に見出される。

 

ディメンションと "レイヤリング"

1.次元は、層(複数可)のニューロン数である。

2."Layering "はレイヤーの数です。

3 このことから、次の疑問、層から層への神経細胞の変化?

4.層数、次元数、パターン数(父母数)から学習サイクル数 - (最適化)?
 

ニューロンの層数を変える」とは、NSの学習時にニューロンのシナプス重みを変更することなのか、最適化時にニューロンの層数を徐々に変えていくことでNSの最適なアーキテクチャを探すことなのか。

さて、学習回数は汎化誤差の最小値の達成によって定義され、ニューロン数や層数に弱く非線形に依存するものの、層数(やその他のもの)とは直接関係しない。これは、NSがグローバルミニマムを見つけるために構築する多次元特徴面の「険しさ」に依存する。ネットワークが正常に動作するのであれば、後方誤差伝播法による50〜100エポックの学習で十分である。しかし、それを実現するためには、かなりの努力が必要です。