你如何实际评估一个 "特定 "的输入对NS的贡献？ - 页 2

新评论
 
nikelodeon:

有什么惊喜？


嗯，首先，我立即发现了一个长期存在的错误）。

其次，我认为，通过删除输入，我将降低输入的信息量，这样，国家统计局作为一个整体的有效性将被降低。有些投入会恶化很多，有些会恶化一点。也许我会找到这样的输入，它们根本不影响任何东西，我将删除它们以简化网络。当然，我发现了 "空 "的输入，我发现了没有这些输入的NS是无能的，但我也发现了输入，通过去除这些输入，我增加了整个NS的结果。 这让我很吃惊，要么是训练不好，要么是输入的内容太矛盾，根本就是有害的。

总而言之，这几天的思考是有意义的。

 
Figar0:


嗯，首先我立即发现了一个长期存在的错误)

其次，我认为，通过删除输入，我将降低输入的信息量，这样，国家统计局作为一个整体的有效性将被降低。有些投入会恶化很多，有些会恶化一点。也许我会找到这样的输入，它们根本不影响任何东西，我将删除它们以简化网络。当然，我发现了 "空 "的输入，我发现了没有这些输入的NS是无能的，但我也发现了输入，通过去除这些输入，我增加了整个NS的结果。这让我很吃惊，要么是训练不好，要么是输入的内容太矛盾，根本就是有害的。

因此，我得到了几天的思考资料。


结果可能是，在下一次训练中（在不同的样本上）需要它们......
 
Figar0:

不算是星期五，但是......。

有一个NS，任何NS，有一个输入A={A1, A2, ....A20}.训练NS，获得满意的结果。我们如何实际评估输入A1、A2、...的每个元素的贡献？A20的这个结果？

我脑海中的选项是。

1）以某种方式总结和计算元素通过网络时的所有权重。我不太清楚怎么做，我必须沉浸在网络操作中，并以某种方式计算一些系数，等等。

2) 尝试以某种方式 "归零"，或者例如反转输入矢量的一个元素，看看它对最终结果有何影响。到目前为止，我已经确定了这一点。

但在意识到这第二个变体之前，我决定征求我的意见。谁可能在这个问题上思考的时间比我长？也许有人可以提供一个书本-文章的建议？

一个常见而有效的方法是在训练后分析NS的重量。权重被初始化，以便它们的值与零没有明显差异，例如，平均值为0，标准差 为0.1。训练结束后，与不重要的输入有关的权重将模近于零，而与重要输入有关的权重将与零有很大差别。经测试--它在合成数据上起作用。
 
LeoV:

每种输入的影响程度实际上是无法评估 的。有各种各样的数学公式，专门的软件可以自动计算出影响程度。但所有这些计算都只是一个近似值，其实并不能说明什么，因为它可能有很大的误差范围。


是的，我一般都知道这一点，在同一统计中分析投入会更符合逻辑，但这与原则上转移一个工作系统的大量劳动成本有关。 我也理解解释这种实验的所有模糊性。但有一个好处，这是肯定的。

 
Vizard:

结果可能是，在下一次训练中（在不同的样本上）需要它们......
我想是的，但有一个NS，它被训练了，它工作了，所以它可以不需要被丢弃的输入，丢弃它们以简化网络，提高它的泛化能力，并以较低的成本提高学习的质量是有意义的。
 
Figar0:
这可能是事实，但有一个NS，它被训练了，它工作了，所以它可以没有被丢弃的输入，丢弃它们以简化网络，提高其通用性，并以较低的成本提高学习的质量是有意义的。
+100500.我同意。如果没有冗余输入，网络性能就不会下降，那么冗余输入的意义何在？我们需要摆脱他们，这是肯定的。
 
alexeymosc:
一个常见而有效的方法是在训练后分析NS的重量。权重被初始化，以便它们的值与零没有明显差异，例如，平均值为0，标准差为0.1。训练结束后，与不重要的输入有关的权重将模近于零，而与重要输入有关的权重将与零有很大差别。经测试--它在合成数据上起作用。


这基本上是我想到的第一件事，但我想不出如何以更简单的方式在我的系统中实现这种分析。这就是为什么我采用了反向方法。

 
注意列奥尼德所写的内容，他是该死的正确。寻找输入对网络输出的影响是一项不可能的任务。是的，有可能筛选出不必要的，我同意，但实际上是不可能确定这个或那个输入对输出的影响。

现在想象一下这种情况。你已经找到了2个不会让净输出流失的输入。你增加了第三个输入，大大改善了网络运行。你的结论是什么？这种投入对净产出有很大影响。事实上，在整个交易期间，第三个入口只会产生一到两次的短线扰动。但正是这种干扰将是决定性的。虽然干扰的事实本身将是微不足道的。以及删除前两个条目中的一个，都不会给你一个满意的结果。另一个是将工作引向以下方向。

当你训练一个网络 时，你要搜索函数的局部最小值。更确切地说，我们寻找误差的全局最小值，但要从局部最小值移到全局最小值。

我经常遇到这样的情况：一个函数的局部最小值在未来显示出理想的结果。

任务很简单：为网络选择这样的输入（我们以后不必改变它们），使网络在训练期间有局部最小值，这将在未来赢得它们。

说，在训练过程中，你平均有大约10-20个局部最小值，而且其中至少有一个是正确的。但最好是尽可能多地选择有利可图的局部最小值......。

你觉得这个问题如何?????这更像是现实....
 
nikelodeon:
注意列奥尼德所写的内容，他是该死的正确。寻找输入对网络输出的影响是一项不可能的任务。是的，有可能筛选出不必要的，我同意，但实际上不可能确定这个或那个输入对输出的影响程度。

现在想象一下这种情况。你已经找到了2个不会让净输出流失的输入。你增加了第三个输入，大大改善了网络运行。你的结论是什么？这种投入对净产出有很大影响。事实上，在整个交易期间，第三个入口只会产生一到两次的短线扰动。但正是这种干扰将是决定性的。虽然干扰的事实本身将是微不足道的。就像你删除前两个条目中的一个一样，你不会得到满意的结果。另一件事是将工作引向这个方向。

这也是事实。还有一种相反的情况：理论上，有可能存在两个信息量大的输入和一个信息量小的输入。从逻辑上讲，你想去掉第三个，但如果你这样做，一个复杂的四边形相互关系（三个输入-输出）将被破坏，剩下的两个输入将不再有那么多的信息。而为了揭示这些复杂的相互关系，有必要应用这样的空间数学仪器，在技术上，它是发出的，那是哇哦（嗯，至少对我来说）。一切都很复杂，不要以为这很容易。NS是在80%的经验性搜索。
 
nikelodeon:

现在想象一下这种情况。你已经发现了2个不允许网络前进的输入。你增加了第三个输入，对你有很大的帮助。你得出什么结论？这种投入对净产出有很大影响。事实上，在整个交易期间，第三个入口只会产生一到两次的短线扰动。但正是这种干扰将是决定性的。虽然干扰的事实本身将是微不足道的。以及删除前两个条目中的一个，都不会给你一个满意的结果。另一件事是将工作引向这个方向。

很明显，这些投入是相互关联的，对这种实验结果的解释是最重要的方面。我不仅逐个排除条目，而且还排除从1到5的不同组合（我想我将把这个范围扩大到所有条目的一半），类似于你增加一个条目，我看NS的反应变化，在训练和前进阶段。

nikelodeon:

当你训练一个网络时，你要搜索函数的局部最小值。更确切地说，我们寻找误差的全局最小值，但要从局部最小值移到全局最小值。

当一个函数的局部最小值在未来显示出理想的结果时，我不是很少甚至经常遇到这种情况。

任务很简单：找到这样的网络输入（我们以后不必改变它们），使网络在训练期间有局部最小值，从而赢得未来的结果。

说，在训练过程中，你平均有大约10-20个局部最小值，而且其中至少有一个是正确的。但最好是尽可能多地选择有利可图的局部最小值......。

你觉得这个问题如何?????这更像是现实....

现实情况对每个人都不一样）特别是我不是在寻找最小的误差，我在寻找最大的利润，最小的缩水，满意的PF，等等。换句话说，我有局部的最大值，但这并不改变其本质。我的问题解决得很薄或很差，但在很长一段时间内...

123456789...14
新评论