The LMA interpolates between the Gauss–Newton algorithm (GNA) and the method of gradient descent. The LMA is more robust than the GNA, which means that in many cases it finds a solution even if it starts very far off the final minimum. For well-behaved functions and reasonable starting parameters, the LMA tends to be a bit slower than the GNA...
EMNIP，cognitron代表了类似的东西。
期待续集 :)
我们需要以下信息
-共轭梯度下降法
-BFGS
现在我将尝试介绍我建立神经网络 进行价格模式分析的想法。那些读过我第2和第3讲的人将立即理解。这个想法是将价格模式按买入、卖出、或持有进行分类。某一时期的价格（例如100条）被一层简单的S1神经元过滤。这些神经元的输入权重描述了过滤器的脉冲特性。在视觉皮层的例子中，这些权重描述了二维图像空间中不同斜度和长度的直线段。在报价中，我们也有一个二维空间：时间和价格。我们可以假设S1滤波器的权重描述了时间价格空间中的两条直线段：向上和向下。斜率角度取决于每个过滤器的长度。这些长度可以预先选择，例如4、8、16、32条。每个过滤器都是一条直线，经过归一化处理，使所有数值之和为零，平方之和为1（或其他归一化处理）。在下一层，我们称之为S2，更复杂的图案是由S1层的部分形成的，以此类推。该多层转换报价的输出，我们有一个描述当前模式的数字代码，那些彼此相似但在时间和价格上以不同方式拉伸的模式的代码是相同的。这些代码被送入支持向量机（SVM）的输入，该机被训练来识别历史模式中的买入、卖出或持有条件。这里的问题是确定S1、S2等层中过滤器的形状。为了简单起见，我选择了直线部分和它们的组合。顺便说一下，在视觉皮层的HMAX模型中，所有的空间滤波器形状都是根据生物实验预先选择的。我们需要找到一种算法来自动检测这些过滤器。这样的算法已经被开发用于视觉层V1（von der Malsburg, Linsker, Miller, LISSOM, Olshausen）。我们可以借用它们来完成我们对价格模式进行分类的任务。
在我的时间里，我已经详细研究了几乎所有训练直接传播网络的方法。我确信，在梯度下降法中，Levenberg-Marcadt方法是最好的（https://en.wikipedia.org/wiki/Levenberg%E2%80%93Marquardt_algorithm）。它总是比各种BACKPROP和RPROP找到更好的最小值，甚至更快。我在BPNN上发布的内容（某种RPROP）与LM相比是小儿科。BFGS更耗费时间，其结果也不比LM好。
我同意!例如，在NeuroSolutions中，Levenberg-Marcadt方法在其他方法停留在局部最小值的地方收敛。
然而，LM需要大量的计算资源。每次通过的时间更长
...
每个过滤器都是一条归一化的直线，使所有数值之和为零，平方之和为1（或其他归一化）。
...
我现在没有证据，但我的直觉告诉我，这个双重条件是不一致的。
总和为0，方差之和为1
将在非常狭窄的选择范围内得到满足。如果我错了，请踢我。
我现在没有证据，但我的直觉告诉我，这个双重条件是矛盾的。
总和为0，方差之和为1
将为一个非常小的选择数执行。如果我错了，请踢我。
明白了。但具体与NN捆绑在一起。它将与NN捆绑在一起。
我担心会是 "AWVREMGVTWNN "之类的东西 :)我担心会像 "AWVREMGVTWNN":)，主要是要掌握它的大意，细微差别并不那么重要。
元神经引擎(MNE)
Meta EngiNeuro (MEN) (c)
这使我们成为工程师 :)