市场礼仪或雷区中的良好风度 - 页 42

 
Neutron >> :

Matcad允许你在任何一个步骤上将计数过程可视化。实验。

我可以谈一谈这个问题吗?我只有在所有计算完成后才有图表。

 

我也是 :-(

我的意思是,你可以显示任何你感兴趣的信息,并以合适的形式呈现出来,供以后分析。

 
你在某处写到,在整个训练向量中,网络只学习识别第n+1个参考。这是否应该理解为,在N个历时中,训练基准点的位置不会移动?实际上我是这样做的(在那个有一堆不同函数的列表中),也就是说,在整个向量误差的计算中,TEST-OUT,其中TEST是第n+1个样本。现在,在这个实现中,TEST是最后一个(最大的)输入后的计数。也就是说,它在整个扇形范围内从第d+1次到第n+1次被移位。这里可能有一个错误吗?
 

等一下。

我们向NS的输入提供一个长度为d 的数据向量,其中d是 网格的信息输入数(不包括偏移量)。在网格的输出端,为了训练它,我们输入d+1 个计数。在这一步,权重是随机的。在这一步,我们已经得到了每个矢量的校正的德尔塔。记住它(不要纠正任何东西)。移动一格,重复这个程序。分别加入修正和其方块。重复该程序三次(不对重量进行修正)。最后,我们第一次修正所有的权重,这就是学习的第一个纪元。现在,用同样的数据重新开始,但以已经找到的权重开始。在结束时正确的权重,这是学习的第二个纪元。做100次(例如),这样就有100个 epochs 的训练。这就是全部。网友们已经准备好做出预测了。整个数据向量与最近的最后一次计数被送入它,我们收到预测。在真正的(而不是预测的)计数到来后,再次重新训练网络,并对权重进行随机化。

 
那么就不会有错误。
 

有趣的讨论:)中子,顺便说一下,你毕竟还没有回答我关于起始重量的问题?你只谈到了你如何重新训练网。但即使没有这些,如果你至少重新训练一次网,它也会有一个错误,甚至是一个重大的错误。我说的是我对Backprop的经验:)。其实我只对这个问题感兴趣,网格技术中的其他东西都不重要。网的委员会,你如何看待它,它是否需要,也许有可能最初调整权重,使网格在训练开始时接近全局最小值,这样委员会就不需要了?

 
paralocus писал(а)>>
那么就不会有错误。

当我从一个纪元到另一个纪元时,我用这样的 "俯卧撑 "推起每个重量。

这可以防止重量爬升到饱和区域,并在训练中保持在+/-5范围内。

注册 写道>>

中子,顺便说一句,你还是没有回答我关于初始权重的问题?你只谈到了你如何重新训练网。但即使没有这些,如果你至少训练一次网,它也会有一个错误,甚至是一个重大的错误。我说的是我对Backprop的经验:)。其实我只对这个问题感兴趣,网格技术中的其他东西都不重要。网的委员会,你如何看待它,它是否需要,也许你可以以某种方式调整最初的权重,使网在训练开始时接近全局最小值,这样,委员会就不需要了?

我用一个分布在+/-1范围内的架子上的随机值来随机化初始权重。我每次都会这样做。平均而言,每一步的网格重新训练都能准确地找到全局最小值,与一劳永逸的网格相比,这是每一步重新训练的一个优势。它可能不小心撞到了那里的一个局部孔,它的所有预测都将是不充分的。在这种情况下,寻找优化天平起点的方法确实很重要。我还没有解决这个问题。

至于承诺网,那是一个有用的东西,但需要资源。我们可以证明,简单地增加隐藏层中的神经元数量实质上是一种提交,但比经典版本更耗费资源,但由于提交成员的综合非线性,因此更加强大。这是你应该实验的地方。

 
Neutron >> :

当我从一个纪元到另一个纪元时,我用这样的 "俯卧撑 "推起每个重量。

这可以防止权重蔓延到饱和区域,并在学习时保持在+/-5范围内。

我在归一化时不是从[-1;1],而是从[-0.9;0.9],简单地压缩间隔,效果是一样的,没有饱和度。我的意思有点不同,在权重调整的过程中,由于所谓的轻信函数,初始权重系数可能根本达不到最佳值。说实话,我正在为这个问题挣扎。而你可能也没有解决这个问题,所以,即使证据基础很好的建模,也很难从市场上获得任何有价值的东西。

 
Neutron >> :

我用一个分布在+/-1范围内的架子上的随机值来随机化初始权重。我在每次倒计时时都会这样做。网格在每一步重新训练后,平均能准确地找到全局最小值,这是每一步重新训练的优势,相比之下,一次训练后的网格总是很好。它可能不小心撞到了那里的一个局部孔,它的所有预测都将是不充分的。在这种情况下,寻找优化天平起点的方法确实很重要。我还没有解决这个问题。

至于承诺网,那是一个有用的东西,但需要资源。我们可以证明,简单地增加隐藏层中的神经元数量实质上是一种提交,但比经典版本更耗费资源,但由于提交成员的综合非线性,因此更加强大。你需要在这里做实验。

这是破坏整个事情的事情:)。顺便说一下,根据我的观察结果,能够快速学习网状结构的最佳随机化权重是在[-0.07; +0.07]的区间内。我不知道为什么会出现这种情况:)

 
registred писал(а)>>

我在归一化时不是从[-1;1],而是从[-0.9;0.9],简单地压缩了间隔,效果是一样的,没有饱和度。我的意思有点不同,在调整权重的过程中,由于所谓的轻信函数,初始加权系数可能根本达不到最佳值。说实话,我正在为这个问题挣扎。而你可能也没有解决这个问题,这就是为什么在市场上很难用Backprop得到有价值的东西,即使证明基础是好的建模。

上帝会照顾到合适的人!逆推程序并不复杂,NS学习也不会受到影响--它是一种有效的方法。

至于说没有达到最佳值,这对我们的BP来说纯粹是虚张声势。如果你预测的是正弦波,我可以理解!- 在那里,是的--有最佳价值。但是,在市场动荡的情况下,那些是什么呢?现在,最佳状态就在那里,在下一步(你所预测的),它就在那里......。而你一直在全力以赴地寻找 "这里"。简而言之,不存在精确的定位问题,通过每一步的重新训练就能令人满意地解决这个问题。