"新神经 "是MetaTrader 5平台的一个开源神经网络引擎项目。 - 页 79

 
TheXpert:

那么为什么你让掩码连接到输出端而不是再次连接到神经元呢?)

那你想怎么把激活函数塞进GPU呢?

我认为,就像上次一样,你要把你不能填的东西填进去。但这是imho,所以你可以安全地躺在上面。

我不会再打扰你了,除非是公事。

啊,cogitron。还有什么--hopfield网络--那里的输入就是输出。还有一个稀疏的...

自下而上的回答。

输入就是输出。

由于所有的处理都是并行的,所以GPU很容易实现。

改变激活或其他一些过程可以用动态字符串来描述,MetaDriver有经验。

掩码、权重、输出、定时数据都是以同样的方式连接的,尽管有可能通过一个可以从掩码创建的索引数组来解除它们的连接。

一般来说,掩码创建了拓扑结构,它与权重一起被存储。


该项目本身看起来是这样的。

  • XML网络存储标准(加载/保存),虽然我倾向于二进制存储(但并不关键,人们希望XML清晰。)
  • 创建新网络的GUI(创建/保存)。
  • 软件网络创建界面(创建/保存)。
  • 通用网络的模型(基本)。
  • 扩展基本网络模型的类
  • 培训外壳(可扩展)

后面两点是由开放源码决定的。

 

关于稀疏矩阵正确地注意到,如果矩阵是稀疏的,那么模型的效率就不高,但在这里你可以应用一个数组的索引,它的工作速度会比直接实现时慢一点,但仍在一个水平上,对于GPU来说,无论是稀疏还是全连接都没有区别,都是一样的飞快添加。

Hopfield网完全没有问题,不清楚的是如何实现它的问题(因为我不明白这样一个简单的例子如何造成困难)。

我没有错过什么,对吗?

ZZZ大致思考了相当长的时间,而这个实施X知道什么,思考出来的这个模式会不会有什么问题,当我想不出来的时候决定向厅里求助。

 
Urain

改变激活或其他一些过程可以用动态字符串描述,MetaDriver有经验。

证实:这是所概述的问题中最不重要的一个。

关于稀疏性。

我的理解是,在网络描述层面,它是很好的,甚至是相当方便的。

只需要一个压缩器:"打包 "成一个紧凑的描述,反过来说,这已经是后续在mql和/或OpenCL中编译成源代码的 "食物"。

// 好吧,或者为了一个动态的 "通用网格 "配置器,如果它仍然有支持者的话......

 

关于稀疏性(我在上面写过),你可以根据掩码为每个神经元创建一个索引数组,在计数后,它将指示输出的位置。而在一般情况下,我们可以一般性地讨论。现在最主要的是在总体上采用参考模式。

这个模型很容易理解,这就是为什么为它编写学习算法会很容易。

对于GPU来说,原始模型仍然更好(我认为)。

 
TheXpert:

那么为什么你让掩码连接到输出端而不是再次连接到神经元呢?)

那你想怎么把激活函数塞进GPU呢?

我认为,就像上次一样,你要把你不能填的东西填进去。但这是imho,所以你可以安全地躺在上面。

我不会再打扰你了,除非是公事。

啊,cogitron。还有什么--hopfield网络--那里的输入就是输出。然后是稀 疏的...

稀疏的编码是伟大的!半年前我就在用它捣鼓,寻找市场上的规律。它确实如此。而且似乎是以偏概全。但根据我的实验结果,过去的价格模式不会在未来重复。我将这种方法用于搜索图像和声音中的模式。它的效果相当好。我已经向我的同事做了一份报告,他们在3年里一直在尝试做同样的事情,使用尖峰神经元。每个人都很高兴。两个博士生希望我成为他们的导师(当然,也希望我在他们的论文中使用我的成果)。一个人提出要写一篇 期刊文章。我只花了几周时间来写代码,在不同的数据上运行,并写出报告。总之,稀缺的编码有很大的潜力,但可能不是在市场上,而是在有一些结构的地方。

顺便说一下,关于上面描述的通用NS模型,我还没有什么可说的,因为我不明白神经元是如何分成几层的,如何分配处理输入的功能以及如何建立连接。

 
gpwr:

稀疏的编码是伟大的!半年前我就在用它捣鼓,寻找市场上的规律。它确实如此。而且似乎是以偏概全。但根据我的实验结果,过去的价格模式不会在未来重复。我将这种方法用于搜索图像和声音中的模式。它的效果相当好。我已经向我的同事做了报告,他们三年来一直在尝试做同样的事情,使用穗状神经元。每个人都很高兴。两个博士生希望我成为他们的导师(当然,也希望我在他们的论文中使用我的成果)。一个人提出要写一篇期刊文章。我只花了几周时间来写代码,在不同的数据上运行,并写出报告。总之,稀缺的编码有很大的潜力,但可能不是在市场上,而是在有一些结构的地方。

顺便说一下,关于上面描述的通用NS模型,我还没有什么可说的,因为我不明白神经元是如何分成几层的,如何分配功能来处理输入,以及如何建立连接。

在所提出的模型中,神经元完全不受层级的限制,也就是说,理论上任何前一个神经元都可以向后一个神经元输出一个信号。

但可以引入限制!!!设置网络的层数,并与这些层数规则联系起来,检查掩码(不会影响算法,但在加载时将有一个额外的检查)。

那么顺便说一下,GPU可以不使用单个神经元,而是使用描述为一个层的神经元包。但还是那句话,模型本身不受层的限制,层的问题是一个额外的限制规则(就像按需停止),可能是,也可能不是。

HI 在无层结构中,掩码的顶部三角形(在输入后面)被归零,这描述了主矩阵中没有反馈,当层出现时,归零被添加到对角线上的一个条目中。这实际上就是面具检查的意义所在。

 
Urain
在所提出的模型中,神经元根本不受层数的限制,也就是说,任何前一个神经元理论上都可以向后一个神经元输出一个信号。

但可以引入限制!!!设置网络的层数,并检查与这些层数规则有关的掩码(它不会影响算法,但在加载时将有额外的检查)。

然后,顺便说一下,GPU可以不喂给单个神经元,而是喂给描述为一层的神经元包。但还是那句话,模型本身不受层数限制,层数问题是一个额外的限制性规则(就像按需停止),可能是也可能不是。

在无层结构下,掩码的顶部三角形(在输入后面)被归零,这描述了主矩阵中没有反馈,当添加层时,归零是以对角线向下的条目添加。这实际上是面具检查的目的。

需要分层,因为在一些网络中,不同层对输入的处理不同,层内神经元之间的连接也不同。 实际上,我不明白建立一个通用网络的目标是否实际。有许多网络有其细微差别(不同层的神经元的功能,它们的连接,权重的训练等)。在我看来,在一个模型中描述所有这些东西是不可能的,或者说是低效的。为什么不创建一个不同网络的图书馆呢?
 
gpwr:
为什么不创建一个不同网络的图书馆呢?
和。针对特定网格的GPU会更快。
 
TheXpert
和。针对某个特定网格的GPU会更快。
但是,这种方法甚至不包含试图在遗传上杂交拓扑结构的萌芽。
 
MetaDriver
但是,这种方法甚至不包含试图在遗传上杂交拓扑结构的萌芽。

现在你错了。首先,如果电网的输出不能进入另一个电网的输入,那它是什么电网?

第二,在大多数情况下,所有的拓扑结构都可以通过实现具有不同网络功能的 来完成。

用权重(掩码和权重本身)连接各层,你可以得到任何你想要的拓扑结构的混合。转换是由神经元完成的;突触只是传输信号。

重要的是,这种组合是有意义的。

对于遗传学来说,唯一必要和充分的条件是能够获得输出和设置的云。我当时都想好了。