"New Neural "は、MetaTrader 5プラットフォーム用のオープンソース・ニューラルネットワークエンジンプロジェクトです。 - ページ 79

 
TheXpert:

ではなぜ、出力にマスクを付け、ニューロンには再び付けないのですか?)

また、活性化関数をGPUにどのように詰め込むか?

イマイチ、前回と同じく、詰め込めないものを詰め込む。でも、これはイマドキなので、安心して寝かせておけます。

もう二度と邪魔はしません、仕事でない限り。

ああ、コギトロンのことですね。他には、ホップフィールド・ネットワークという、入力が出力になるネットワークがあります。また、まばらな...

ボトムアップで回答する。

入力が出力になります。

GPUはすべての処理が並列に行われるため、実装が容易です。

MetaDriverは動的な文字列でアクティベーションなどの処理を記述した経験があります。

マスク,ウェイト,出力,タイミングデータはすべて同じように接続されているが,マスクから作成できるインデックス配列によって,それらの接続を解除することが可能である.

一般に、マスクはトポロジーを作成し、重みとともに保存される。


プロジェクト自体はこのような感じです。

  • XMLネットワークストレージ標準(ロード/セーブ)、私はバイナリストレージに傾倒しているが(しかし重要ではなく、人々はわかりやすさのためにXMLを望んでいる)。
  • 新規ネットワーク作成(作成/保存)用GUI
  • ソフトウェア・ネットワーク作成インターフェース(作成/保存)
  • ユニバーサルネットワークのモデル(基本)
  • 基本的なネットワークモデルを拡張するクラス
  • トレーニングシェル(拡張可能)

最後の2点は、オープンソース次第です。

 

正しく気づいた疎行列については、行列が疎であれば、モデルは非常に効率的ではありませんが、ここでは、インデックスの配列を適用することができます、それは直接実装では、まだレベルよりも少し遅く動作します、そしてGPUのためにそれが疎または完全に接続されているかどうか違いはありません追加するすべての同じフライを。

ホップフィールドネットは全く問題ありませんが、それを求める実装方法は明確ではありません(私はこのような単純な例がどのように困難を引き起こすのか理解していないため)。

何も見逃していませんよね?

ZZZは、一般的にかなり長い時間が熟考し、この実装Xは、このモデルを実装することは不可能であろうもののうち熟考し、私は思い付くことができなかったときに、ホールから助けを求めることにしました。

 
ウラン です。

MetaDriverは動的な文字列でアクティベーションなどの処理を記述した経験があります。

確認済み:これは、概略の問題のうち最も小さいものです。

スパースについて。

私の理解では、ネットワークの記述のレベルでは問題なく、かなり便利だとも思います。

コンパクトな記述にするための「パッカー」が必要で、これは、その後mqlやOpenCLでソースにコンパイルするための「餌」になります。

// また、動的な "ユニバーサルメッシュ "コンフィギュレータのために、もしまだサポーターがいるのなら...。

 

スパース性については(上に書きましたが)、マスクに基づいて各ニューロンにインデックス配列を 作成し、カウント後に出力を配置する場所を指示することができます。そして、一般的には、議論することができます。今は、リファレンスモデルを一般的に採用することがメインとなります。

このモデルは理解しやすいので、学習アルゴリズムを書くのも簡単でしょう。

GPUの場合は、オリジナルのモデルの方がまだましです(imho)。

 
TheXpert:

ではなぜ、出力にマスクを付け、ニューロンには再び付けないのですか?)

また、活性化関数をGPUにどのように詰め込むのか?

イマイチ、前回と同じく、詰め込めないものを詰め込む。でも、これはイマドキなので、安心して寝かせておけます。

もう二度と邪魔はしません、仕事でない限り。

ああ、コギトロンのことですね。他には、ホップフィールド・ネットワークという、入力が出力になるネットワークがあります。それから、まばらな...。

スパースコーディング -- 素晴らしい半年前、相場のパターンを探していじっていたんです。そうなんです。そして、一般化するようです。しかし、私の実験によると、過去の価格パターンは未来には繰り返されないことが判明した。この方法を応用して、画像や音声のパターンを探したのです。かなり効きましたね。スパイクニューロンを使って、3年間同じことをしようとしている仲間に報告しました。みんな大喜びでした。2人の博士候補生が、私を指導教官にしてほしいと言ってきた(もちろん、私の成果を彼らの論文に使わせてほしいということだ)。ある人は、雑誌の記事を書きたいと申し出て くれた。コードを書き、異なるデータで実行し、レポートを作成するのに2週間ほどしかかかりませんでした。要するに、希薄なコーディングは多くの可能性を持っていますが、おそらく市場ではなく、ある程度の構造があるところでしょう。

ところで、上記のユニバーサルNSモデルについては、神経細胞がどのように層に分けられ、入力を処理する機能がどのように割り当てられ、どのように結合が確立されるのかが分からないので、まだほとんど何も言えません。

 
gpwr

スパースコーディングは素晴らしい半年前、相場のパターンを探していじっていたんです。そうなんです。そして、一般化するようです。しかし、私の実験によると、過去の価格パターンは未来には繰り返されないことが判明した。この方法を応用して、画像や音声のパターンを探したのです。かなり効きましたね。スパイクニューロンを使って、3年間同じことをしようとしている仲間に報告しました。みんな大喜びでした。2人の博士候補生が、私を指導教官にしてほしいと言ってきた(もちろん、私の成果を彼らの論文に使わせてほしいということだ)。ある人は、雑誌の記事を書きたいと申し出てくれた。コードを書き、異なるデータで実行し、レポートを作成するのに2週間ほどしかかかりませんでした。要するに、希薄なコーディングは多くの可能性を持っていますが、おそらく市場ではなく、ある程度の構造があるところでしょう。

ところで、上記のユニバーサルNSモデルについては、神経細胞がどのように層に分けられ、入力を処理する機能がどのように割り当てられ、どのように結合が確立されるのかが分からないので、まだほとんど何も言えません。

このモデルでは、ニューロンは層による制約を全く受けない。つまり、理論的には、前のどのニューロンも、後のニューロンに対して信号を出力することができるのである。

しかし、制限を導入することは可能です!!ネットワークの層を設定し、これらの層の規則に関連して、マスクをチェックする(アルゴリズムには影響しませんが、ロード時のチェックが追加されます)。

ところで、GPUには個々のニューロンではなく、レイヤーとして記述されたニューロンのパックを供給することができます。しかし、繰り返しになりますが、モデル自体はレイヤーの制約を受けず、レイヤーの問題は(オンデマンド停止のように)追加の制限ルールである、かもしれない、かもしれないのです。

HI レイヤーレス構造では,マスクの一番上の三角形(入力の後ろ)はゼロにされ,これは主行列にフィードバックがないことを表す.実はこれこそが、マスクチェックなのです。

 
ウラン です。
このモデルでは、ニューロンは層にとらわれず、理論的には前のどのニューロンも後のニューロンへ信号を出力することができます。

しかし、制限を導入することは可能です!!ネットワークの層を設定し、これらの層の規則に関連して、マスクをチェックする(アルゴリズムには影響しませんが、ロード時のチェックが追加されます)。

ところで、GPUは個々のニューロンではなく、レイヤーとして記述されたニューロンのパックに供給することができます。しかし、繰り返しになりますが、モデル自体はレイヤーによって制限されるものではなく、レイヤーという問題は、(オンデマンドストップのように)追加の制限ルールであってもなくてもよいのです。

レイヤーレス構成では、マスクの一番上の三角形(入力の後ろ)がゼロになり、主行列にフィードバックがないことを表現する。レイヤーを追加すると、対角線から下のエントリでゼロ化が追加される。実はこれが、マスクチェックの正体なのです。

層が必要なのは、あるネットワークでは層によって入力の処理が異なり、層内のニューロン同士の接続も異なるからです。 実は、普遍的なネットワークを構築するという目標の現実性がよくわからないんです。ネットワークには、そのニュアンス(各層のニューロンの機能、接続、重みの学習など)が異なるものが多く存在します。それらを1つのモデルで表現することは、私には不可能、あるいは非効率に思えます。さまざまなネットワークのライブラリーを作ってみてはいかがでしょうか。
 
gpwr
さまざまなネットワークのライブラリーを作ってみてはいかがでしょうか。
ヲ。特定のグリッドに対応したGPUなら、さらに高速になります。
 
TheXpert です。
ヲ。特定のメッシュのためにGPUを使えば、さらに高速になります。
しかし、このアプローチには、トポロジーを遺伝的に交配させようとする芽すらありません。
 
MetaDriver
しかし、このアプローチには、トポロジーを遺伝的に交配させようとする芽すらありません。

今、あなたは間違っている。まず、グリッドの出力が他のグリッドの入力に供給できない場合、それはどのようなグリッドなのでしょうか?

第二に、ほとんどの場合、異なるネットワークに対応した機能を持つレイヤーを 実装することで、すべてのトポロジーを実現することができます。

レイヤーをウェイト(マスクとウェイト自体)でつなぐと、どんなトポロジーも可能になります。変換はニューロンによって行われ、シナプスは信号を伝達するだけである。

重要なのは、ミックスに意味があるかどうかです。

遺伝子の場合、必要十分条件は、出力と設定のクラウドを得ることができることのみである。当時は考え抜きましたよ。