你如何实际评估一个 "特定 "的输入对NS的贡献? - 页 3 12345678910...14 新评论 [删除] 2011.12.16 17:51 #21 alexeymosc: 还有一种相反的情况:理论上,有可能存在两个信息量大的输入,一个信息量小的输入。从逻辑上讲,你想去掉第三个,但如果你去掉它,复杂的四元关系(三个输入-输出)将被破坏,剩下的两个输入将不再有那么多信息。 所以我在一个现成的例子上做,可以说是立即看到NS在训练样本上和训练样本外的结果的变化。 如果有什么东西倒塌了,应该会影响到最后的结果。 我去掉了一个输入,没有任何退化;我去掉了另一个输入,最终结果的退化率不到1%;我去掉了第三个输入,退化率为10%。然后同样是2个输入、3个输入等的组合。 我只做了几个小时,但我已经发现了一个空白的输入,完全重复了另一个输入(由于一个错误),还有2个输入,其影响甚至最小为十分之一。我认为这3项投入完全没有必要。 我还发现了2个输入,排除这2个输入不会使结果恶化,这很明显,但会改善结果,这是出乎意料的。我应该用它们做更多的实验,条目显然不是空的,它们对结果的影响,即使是相反的方向,也能证明这一点。 感谢你们所有人,我真的得到了一些有用的建议。 Alexey Burnakov 2011.12.16 17:58 #22 Figar0: 因此,我在一个准备好的样本上做,可以说,立即看到NS的结果在训练样本和外部的变化。 如果有什么东西倒塌了,应该会影响到最后的结果。 我去掉了一个输入,没有任何退化;我去掉了另一个输入,最终结果的退化率不到1%;我去掉了第三个输入,退化率为10%。然后同样是2个输入、3个输入等的组合。 这是最可靠的选择输入的方法--蛮力。这很难,但它是诚实的。好运! Sceptic Philozoff 2011.12.16 23:31 #23 对于20个输入来说,清扫是类似2^20的组合,即一百万。 我又想到了信息理论,但我不打算建议什么。 Андрей 2011.12.17 11:27 #24 Mathemat: 对于20个输入来说,清扫是类似2^20的组合,即一百万。 因此,你可以通过 "从这里到晚餐 "或 "直到你感到厌烦"... 然后进行基因测试......试运行。 Andrey Dik 2011.12.17 11:54 #25 有可能确定一个输入的 "不需要性"。一个神经元的权重越接近于0,它就越是 "不必要"。从本质上讲,一个神经元的值是乘以0的,无论什么东西都 会导致0,即根本没有输入。 拥有这样一个不必要的神经元的最大缺点是不必要地增加学习时间。 但这种 "不必要的 "神经元不仅可能出现在网格的输入层,也可能出现在其任何一层。 你可以在测试训练后自动搜索不必要的神经元的过程--取神经元权重的模数值,如果该值小于某个阈值,则将其置空。然后你需要分析哪些神经元的权重为0,并将其从网络中排除,然后重新训练--训练会明显加快,结果也会一样。当然,随后也使用了这样的稀疏网眼。 [删除] 2011.12.17 12:13 #26 joo: 有可能确定一个输入的 "不需要性"。一个神经元的权重越接近于0,它就越是 "不必要"。从本质上讲,一个神经元的值乘以0,无论什么东西都 会导致0,也就是说,输入的 东西就像根本不存在一样。 这是真的。但是,输入总是等于零的说法从何而来? 不可能有这样的事情。 最有可能的是,在这种情况下,我们谈论的是一个比其他信号小得无法比拟的信号。这可以很容易地通过信号的缩放来纠正。 来自SSI的信号将比来自OsMA的信号大几百万倍。 这些信号是不可比的,如果不把它们缩放到相同的比例,就无法使用。 [删除] 2011.12.17 12:16 #27 joo: 但是,这种 "不必要的 "神经元最终不仅会出现在网格的输入层,而且会出现在网格的任何一层。 如果神经元中的转换是非线性的,这就不可能发生。 Andrey Dik 2011.12.17 13:04 #28 mersi: 这倒是真的,但输入信号总是等于零从何而来? 最有可能的是,在这种情况下,我们谈论的是一个比其他信号小得多的信号。这很容易被信号转换所纠正。 来自SSI的信号将比来自OsMA的信号大几百万倍。这些信号是不可比的,如果不把它们缩小,就无法使用。 我以为对于所有的神经元学家来说,将网络的信号(缩放)带入一个范围,适合喂给网络,就像 "我们的父亲",但我错了,因为我看到了。:) 因此,信号是按比例变化的,例如在[-1.0;1.0]范围内。但其中一个输入神经元的权重为0,这是什么意思?- 这意味着网格并不关心这个神经元的输入值是多少,网络的结果并不取决于这个输入。 尊 敬的女士们、先生们 这不可能发生在神经元的非线性转换中这很有可能发生。而且,当内层的神经元多于解决问题所需的数量时,往往会发生这种情况。 [删除] 2011.12.17 13:57 #29 joo:我以为对所有的神经元学家来说,将网络的信号带入(缩放)一个范围,适合喂给网络,就像 "我们的父亲",但我错了,因为我看到了它。:)因此,信号是按比例变化的,例如在[-1.0;1.0]范围内。但其中一个输入神经元的权重为0,这是什么意思?- 这意味着网络并不关心 这个神经元的输入值是多少--网络运行的结果并不取决于这个输入。这很有可能。而当内层的神经元多于解决一个任务所需时, 往往会出现这种情况。乍一看,这一论断似乎并不虚假。 然而,来自输入Xi的数据同时被输入到几个神经元,它们的所有突触不一定等于零,所以排除输入Xi会完全改变网络的输出。 -------------- 网络中的神经元越多,神经网络所能解决的问题就越准确和复杂。 NS的开发者自己限制了网络中的神经元数量,原因是在可接受的学习时间内,结果要有足够的 准确性,因为网络训练 所需的历时数与神经元的数量呈幂函数关系增长。 СанСаныч Фоменко 2011.12.18 05:10 #30 Figar0: 不算是星期五,但是......。 有一个NS,任何NS,有一个输入A={A1, A2, ....A20}.训练NS,获得满意的结果。我们如何实际评估输入A1、A2、...的每个元素的贡献?A20的这个结果? 我脑海中的选项是。 1)以某种方式总结和计算元素通过网络时的所有权重。我不太清楚怎么做,我必须沉浸在网络操作中,并以某种方式计算一些系数,等等。 2) 尝试以某种方式 "归零",或者例如反转输入矢量的一个元素,看看它对最终结果有何影响。到目前为止,我已经确定了这一点。 但在意识到这第二个变体之前,我决定征求我的意见。谁可能在这个问题上思考的时间比我长?也许有人能给我提供一个书本上的文章? 在计量经济学范围之外应用坚实的基于科学的方法,会引发幼稚的问题。 做好回归工作。 利润=s(1)*A0+...。s(n) * A(n) 我们估计这个回归的系数。 随即我们得到 特定系数等于零的概率- 我们删除这样一个输入 所有系数加起来等于零的概率 通过椭圆,我们得到相关系数 测试多余的输入 对缺失的输入进行测试 测试系数值的稳定性(评估其随机性)。 12345678910...14 新评论 您错过了交易机会: 免费交易应用程序 8,000+信号可供复制 探索金融市场的经济新闻 注册 登录 拉丁字符(不带空格) 密码将被发送至该邮箱 发生错误 使用 Google 登录 您同意网站政策和使用条款 如果您没有帐号,请注册 可以使用cookies登录MQL5.com网站。 请在您的浏览器中启用必要的设置,否则您将无法登录。 忘记您的登录名/密码? 使用 Google 登录
还有一种相反的情况:理论上,有可能存在两个信息量大的输入,一个信息量小的输入。从逻辑上讲,你想去掉第三个,但如果你去掉它,复杂的四元关系(三个输入-输出)将被破坏,剩下的两个输入将不再有那么多信息。
所以我在一个现成的例子上做,可以说是立即看到NS在训练样本上和训练样本外的结果的变化。 如果有什么东西倒塌了,应该会影响到最后的结果。 我去掉了一个输入,没有任何退化;我去掉了另一个输入,最终结果的退化率不到1%;我去掉了第三个输入,退化率为10%。然后同样是2个输入、3个输入等的组合。
我只做了几个小时,但我已经发现了一个空白的输入,完全重复了另一个输入(由于一个错误),还有2个输入,其影响甚至最小为十分之一。我认为这3项投入完全没有必要。
我还发现了2个输入,排除这2个输入不会使结果恶化,这很明显,但会改善结果,这是出乎意料的。我应该用它们做更多的实验,条目显然不是空的,它们对结果的影响,即使是相反的方向,也能证明这一点。
感谢你们所有人,我真的得到了一些有用的建议。
因此,我在一个准备好的样本上做,可以说,立即看到NS的结果在训练样本和外部的变化。 如果有什么东西倒塌了,应该会影响到最后的结果。 我去掉了一个输入,没有任何退化;我去掉了另一个输入,最终结果的退化率不到1%;我去掉了第三个输入,退化率为10%。然后同样是2个输入、3个输入等的组合。
对于20个输入来说,清扫是类似2^20的组合,即一百万。
我又想到了信息理论,但我不打算建议什么。
对于20个输入来说,清扫是类似2^20的组合,即一百万。
然后进行基因测试......试运行。
有可能确定一个输入的 "不需要性"。一个神经元的权重越接近于0,它就越是 "不必要"。从本质上讲,一个神经元的值是乘以0的,无论什么东西都 会导致0,即根本没有输入。
拥有这样一个不必要的神经元的最大缺点是不必要地增加学习时间。
但这种 "不必要的 "神经元不仅可能出现在网格的输入层,也可能出现在其任何一层。
你可以在测试训练后自动搜索不必要的神经元的过程--取神经元权重的模数值,如果该值小于某个阈值,则将其置空。然后你需要分析哪些神经元的权重为0,并将其从网络中排除,然后重新训练--训练会明显加快,结果也会一样。当然,随后也使用了这样的稀疏网眼。
有可能确定一个输入的 "不需要性"。一个神经元的权重越接近于0,它就越是 "不必要"。从本质上讲,一个神经元的值乘以0,无论什么东西都 会导致0,也就是说,输入的 东西就像根本不存在一样。
这是真的。但是,输入总是等于零的说法从何而来? 不可能有这样的事情。
最有可能的是,在这种情况下,我们谈论的是一个比其他信号小得无法比拟的信号。这可以很容易地通过信号的缩放来纠正。
来自SSI的信号将比来自OsMA的信号大几百万倍。 这些信号是不可比的,如果不把它们缩放到相同的比例,就无法使用。
但是,这种 "不必要的 "神经元最终不仅会出现在网格的输入层,而且会出现在网格的任何一层。
这倒是真的,但输入信号总是等于零从何而来?
最有可能的是,在这种情况下,我们谈论的是一个比其他信号小得多的信号。这很容易被信号转换所纠正。
来自SSI的信号将比来自OsMA的信号大几百万倍。这些信号是不可比的,如果不把它们缩小,就无法使用。
我以为对于所有的神经元学家来说,将网络的信号(缩放)带入一个范围,适合喂给网络,就像 "我们的父亲",但我错了,因为我看到了。:)
因此,信号是按比例变化的,例如在[-1.0;1.0]范围内。但其中一个输入神经元的权重为0,这是什么意思?- 这意味着网格并不关心这个神经元的输入值是多少,网络的结果并不取决于这个输入。
这不可能发生在神经元的非线性转换中
这很有可能发生。而且,当内层的神经元多于解决问题所需的数量时,往往会发生这种情况。
我以为对所有的神经元学家来说,将网络的信号带入(缩放)一个范围,适合喂给网络,就像 "我们的父亲",但我错了,因为我看到了它。:)
因此,信号是按比例变化的,例如在[-1.0;1.0]范围内。但其中一个输入神经元的权重为0,这是什么意思?- 这意味着网络并不关心 这个神经元的输入值是多少--网络运行的结果并不取决于这个输入。
这很有可能。而当内层的神经元多于解决一个任务所需时, 往往会出现这种情况。
乍一看,这一论断似乎并不虚假。
然而,来自输入Xi的数据同时被输入到几个神经元,它们的所有突触不一定等于零,所以排除输入Xi会完全改变网络的输出。
--------------
网络中的神经元越多,神经网络所能解决的问题就越准确和复杂。
NS的开发者自己限制了网络中的神经元数量,原因是在可接受的学习时间内,结果要有足够的 准确性,因为网络训练 所需的历时数与神经元的数量呈幂函数关系增长。
不算是星期五,但是......。
有一个NS,任何NS,有一个输入A={A1, A2, ....A20}.训练NS,获得满意的结果。我们如何实际评估输入A1、A2、...的每个元素的贡献?A20的这个结果?
我脑海中的选项是。
1)以某种方式总结和计算元素通过网络时的所有权重。我不太清楚怎么做,我必须沉浸在网络操作中,并以某种方式计算一些系数,等等。
2) 尝试以某种方式 "归零",或者例如反转输入矢量的一个元素,看看它对最终结果有何影响。到目前为止,我已经确定了这一点。
但在意识到这第二个变体之前,我决定征求我的意见。谁可能在这个问题上思考的时间比我长?也许有人能给我提供一个书本上的文章?
在计量经济学范围之外应用坚实的基于科学的方法,会引发幼稚的问题。
做好回归工作。
利润=s(1)*A0+...。s(n) * A(n)
我们估计这个回归的系数。
随即我们得到
特定系数等于零的概率- 我们删除这样一个输入
所有系数加起来等于零的概率
通过椭圆,我们得到相关系数
测试多余的输入
对缺失的输入进行测试
测试系数值的稳定性(评估其随机性)。