The LMA interpolates between the Gauss–Newton algorithm (GNA) and the method of gradient descent. The LMA is more robust than the GNA, which means that in many cases it finds a solution even if it starts very far off the final minimum. For well-behaved functions and reasonable starting parameters, the LMA tends to be a bit slower than the GNA...
EMNIP、コグニトロンはそれに近いものを表現しています。
続編を待っています :)
に関する情報が必要です。
-共役勾配降下法
-BFGS
ここでは、価格パターン解析のためのニューラルネットワークを 構築するという私のアイデアを紹介してみたい。私の講演2、3を読んでくださった方は、すぐにご理解いただけると思います。価格のパターンをBuy、Sell、Holdで分類することである。ある一定期間(例えば100本)の価格を単純なS1ニューロンの層でフィルタリングする。これらのニューロンの入力重みは、フィルタのインパルス特性を記述する。視覚野の例では、これらの重みは、2次元画像空間における異なる傾きと長さの直線セグメントを表現している。また、見積もりでは、時間と価格という2次元の空間があります。S1フィルターの重みは、時間-価格空間において上向きと下向きの2つの直線セグメントを表すと仮定することができる。傾斜角度は、各フィルターの長さによって異なります。これらの長さは、例えば、4、8、16、32本のように予め選択することができる。各フィルタは、すべての値の和が0、平方和が1になるように正規化(または他の正規化)された直線である。次の層、仮にS2とすると、層S1の部分からさらに複雑なパターンが形成され、といった具合だ。その相場の多層的な変換の出力として、現在のパターンを表す数値のコードがあります。互いに似ているけれど、時間や価格の伸び方が異なるパターンのコードは同じになります。これらのコードは、サポートベクターマシン(SVM)の入力に送られ、過去のパターンから買い、売り、またはホールドの状態を識別するように学習されます。ここで問題になるのは、レイヤーS1、S2などのフィルタの形状を決めることです。シンプルにするために、直線部分とその組み合わせを選びました。ちなみに、視覚野のHMAXモデルでは、すべての空間フィルター形状が生物実験に基づいてあらかじめ選択されている。これらのフィルターを自動的に検出するアルゴリズムを見つける必要があります。このようなアルゴリズムは、すでに視覚層V1について開発されている(von der Malsburg, Linsker, Miller, LISSOM, Olshausen)。価格パターンの分類のために、それを借りることができる。
私はこれまで、直接伝搬型ネットワークの学習方法について、ほとんどすべて詳しく研究してきました。勾配降下のうち、Levenberg-Marcadt法が最も優れていることは確かです(https://en.wikipedia.org/wiki/Levenberg%E2%80%93Marquardt_algorithm)。あらゆる種類のBACKPROPやRPROPよりも常に優れた最小値を、さらに高速に見つけることができます。私がBPNNに投稿したもの(RPROPの一種)は、LMに比べれば子供の遊びのようなものです。BFGSは時間がかかる上に、結果はLMと変わらない。
同感です!例えば、NeuroSolutionsでは、他の手法がローカルミニマムで止まっているところに、Levenberg-Marcadt法が収束しています。
しかし、LMは多大な計算資源を必要とします。1パスあたりの時間が長くなる
...
各フィルタは、すべての値の合計が0、平方和が1になるように正規化された直線(または他の正規化)です。
...
今となっては何の証明にもならないが、直感的にこの二重条件は矛盾していると思う。
和が0、平方和が1
は、非常に狭い選択肢の数だけ満たされることになります。もし私が間違っていたら、蹴ってください。
今すぐには証明できないが、私の直感では、この二重条件は矛盾していると思う。
和が0、平方和が1
は、非常に狭い選択肢の中で実行されます。もし私が間違っていたら、蹴ってください。
了解しました。しかし、具体的にNNに結びついたNNと連動することになる。
AWVREMGVTWNN "のようなものになりそうで怖いです :)AWVREMGVTWNN」 :) のようにならないか心配です、要は要点をつかめばいいんです。
メタニューロエンジン(MNE)
メタ・エンジニューロ(MEN)(c)
ということで、私たちはエンジニアです。)