交易中的机器学习:理论、模型、实践和算法交易 - 页 3170 1...316331643165316631673168316931703171317231733174317531763177...3399 新评论 Aleksey Nikolayev 2023.08.16 10:45 #31691 fxsaber #:这几乎是每个测试仪用户都能看到的画面。我对解释很感兴趣。在这张图片中,统计意义相当高:超过 3000 个非重叠位置。我认为这是 Sample 本身的市场变化造成的。例如,样本一开始有一个真正的模式,然后就没有了。但整个样本都发生了拟合。我们应该以某种方式避免样本内部出现这种断裂。相反的效果也可能发生:左侧 OOS - 下降,右侧 OOS - 上升。也就是说,在最初的 Sample 中没有发现模式,而只是找到了合适的模式。 我猜可能是训练过度或非稳态。当然,除非原始数据或算法本身存在问题。 我通常会尝试 "移动 "一下问题--稍微改变一下所有可能的参数(以及可用的元参数),看看结果有什么变化。有时,结果会变得更清晰一些。 fxsaber 2023.08.16 11:04 #31692 mytarmailS #:如果您在 OOS 上获得的利润与培训时一样多,这就意味着这种效应(定向消耗 OOS)是市场固有的,我们可以进一步提出假设 交易、自动交易系统和交易策略测试论坛。 交易中的机器学习:理论、模型、实践和算法交易 fxsaber, 2023.08.16 11:38 AM 这就是会发生的无稽之谈。左边的 OOS 通过,右边的 - 不通过。而右侧则立即 "跳水"。 你能看到 OOS 在左侧通过吗? mytarmailS 2023.08.16 11:23 #31693 fxsaber #: 你能看到 OOS 从左边穿过吗? 我们说的是对右边的影响 完全复制实验,但使用合成数据。 ======================================左边的 OOS 也是一种拟合,但属于二阶拟合想象一下,在一般情况下,你只有 1000 个 TC 变体。您的步骤 1 和 21) 您开始优化/搜索一个好的 TS,这就是训练 数据(拟合/搜索/优化)。比方说,您已经找到了 300 个变体,在这些变体中,TC 可以赚钱...2) 现在,您要从这 300 个变体中寻找一个能通过测试数据 OOS 的 TC。例如,您已经找到了 10 个既能在交易 中赚钱又能在测试 中赚钱(OOS)的 TC。那么第 2 点是什么?同样是继续拟合,只是您的搜索(拟合/搜索/优化)变得更深入或更复杂了,因为现在您的优化条件不是一个(通过测试),而是两个(通过测试 + 通过测试)。 СанСаныч Фоменко 2023.08.16 12:07 #31694 fxsaber #:这几乎是每个测试仪用户都能看到的画面。我对解释很感兴趣。在这张图片中,统计意义相当高:超过 3000 个非重叠位置。我认为这是 Sample 本身的市场变化造成的。例如,样本一开始有一个真正的模式,然后就没有了。但整个样本都发生了拟合。我们应该以某种方式避免样本内部出现这种断裂。相反的效果也可能出现:左侧 OOS - 下降,右侧 OOS - 上升。也就是说,在最初的 Sample 中没有发现模式,而只是找到了合适的模式。 OOS 应该总是在右边。 如果 OOS 在左侧,则无法保证 TC 没有过度训练,也没有瞻前顾后。这些是测试 TC 时首先要解决的主要问题。 您使用的是哪一种?没有区别!无论是其中一个还是两个都没有关系。您需要正确地进行测试,并在正确的情况下进行 OOS。 最好忘掉测试器和表格文件,如下所示进行测试: 我们有两个文件。 第一个文件按样本随机分为三个部分:训练、测试和验证。先研究一个(随机的)训练样本,然后检查一个随机的测试和验证样本,这些都是第一个文件的不同部分。比较结果。如果结果大致相同,再检查第二个 "自然序列 "文件。如果它们在这里也大致相同,那么我们就能得出主要结论:我们的 TC 没有过度训练,也没有提前观察。只有有了这个结论,谈论其他事情才有意义:准确性、盈利能力和其他事情,所有这些都是次要的。 我注意到,实际上没有其他方法来检查前瞻性和再训练。 Maxim Dmitrievsky 2023.08.16 12:31 #31695 fxsaber #: 就是这种情况。左边的 OOS 可以通过,右边的则不行。而在右侧,它会立即 "跳水"。这种情况经常发生。也就是说,它立即大幅下潜。跳水的性质并不明确。我认为应该是接近 SB 的情况,但我经常看到这样的图片。感觉就像如果在优化后运行倒 TC,可能根本不会排水。P-hacking(或称数据挖掘)是一种统计实践,研究人员通过分析数据,直到找到具有统计意义的结果。他或她可能会改变分析参数,只选择某些数据,或进行多重比较,以发现数据中的重要关系或差异。这可能会导致假阳性结果,并扭曲科学结论。P-hacking 是一种科学上的不诚实,会导致基于错误前提的错误建议和决策。***正如您正确指出的那样,相反的情况也可能发生 Aleksey Vyazmikin 2023.08.16 14:25 #31696 fxsaber #: 你能看到 OOS 从左边穿过吗? 如果缩短训练期,图表趋势反转会不会发生得更快? 我不太了解勾选策略,但造成这种行为的因素之一是训练期间缺乏可比数据,例如--训练期间某些 TF 的趋势大多是向下的。 我不知道您使用的是什么训练方法,如果是树形系统或过滤器,只是箝制条件指标(函数)的范围,那么值得估算一下属于每个此类范围的示例数量。 一种可能的情况是数据漂移和过滤器/列表的概率结果分布发生了变化。 例如,当我在一个样本上选择量子片段进行训练,然后在另外两个样本上估计它们的分布(对目标 0||1 的正确和错误回答的百分比)时,发现在 3 个样本上满足稳定性标准的比例在 25%-30% 之间--很明显,在这种情况下,模型有更多机会选择一个不稳定的预测器,它将在其中一个站点上停止工作。 最后,一切都归结为分析简单的规律性,即寻找将其视为规律性的理由,而不是在望远镜中随机观测彗尾。 Andrey Dik 2023.08.16 15:04 #31697 fxsaber #: 你能看到 OOS 从左边穿过吗? 系统保持盈利的时间有多长? 我遇到过类似的系统行为,当 OOS 右侧出现急剧的梅花时,我不认为这与发现的市场模式发生 180 度的急剧逆转有直接联系(这将表明神秘的原因、巫术的应用和一般的任何原因,而不是任何真正的问题,如重新训练或调整,因为它至少是奇怪的,当急剧的梅花总是发生在训练结束之后)。通常情况下,这是由于代码中的某些错误导致了误报(或误负),如 Max 上文所述,纠正这些错误在最坏的情况下会导致 OOS 右侧的随机行为(过度训练),在最好的情况下会导致盈利能力逐渐减弱(发现的模式逐渐减弱和/或逐渐改变)。 Maxim Dmitrievsky 2023.08.16 15:37 #31698 Andrey Dik #:该系统能持续盈利多久?我也遇到过类似的情况,当 OOS 右侧出现急剧下跌时,我不认为这与发现的市场形态发生 180 度的急剧逆转有直接联系(这说明了神秘的原因、巫术的应用以及一般情况下的任何原因,而不是任何真正的问题,如重新训练或调整,因为在训练结束后总是出现急剧下跌至少是很奇怪的)。通常情况下,这是由于代码中的某些错误导致了误报(或误负),如 Max 上文所述,纠正这些错误在最坏的情况下会导致 OOS 右侧的随机行为(过度训练),在最好的情况下会导致盈利能力逐渐减弱(发现的模式逐渐减弱和/或逐渐改变)。如果 TS 有很多参数或拟合得很好,则下降总是很剧烈。因为它是 "薄 "的。大量参数会导致误差不断增加。如果甚至只是粗化 TS 并减少参数,那么在测试仪中它就不那么漂亮了,但它会更平滑地塌陷。 我们可以用马丁格尔扑克来做个类比。有大量的失败位置。用大量失败的参数或其他东西来代替它。结果是一样的。因为 "黑客攻击 "并不能解决问题,反而会把问题掩盖起来。减少偏差,增加方差,反之亦然。误差依然存在,只是被隐藏起来了。 Aleksey Vyazmikin 2023.08.16 16:21 #31699 我添加了测试和考试子样本的可视化图表,并剪切了火车--去掉了最初的部分,以便图片能够兼容。 事实上,这些都是火车->测试->考试的时间顺序部分。 看完 gif 后,我们可以清楚地看到,测试和考试样本反而降低了振荡的幅度,而不是在任何方向上都有趋势。 不过,如果仔细观察,就会发现在某些迭代中,这些样本的情况有所改善,也就是说,我们可以认为这些规则(以量子片段的形式)在不同样本上表现出了稳定性。我们还可以注意到,在不同的迭代过程中,不同部分的变化是不同的,也就是说,测试中的改进与考试中的改进并不直接相关。 正如我在上面所写的那样--这可以用单个量子片段所属类别概率偏差的变化来解释。 量子片段本身,作为跳过目标信号的信号,即把目标信号归零,或者换句话说,把样本分成两部分,是根据其成本估算来选择的。也就是说,减少错误信号的成本是可以估算的。每次迭代都会进行重新计算,并删除价格最低的变量。 以下是根据其中一种计算方法得出的价格变化情况。下面是一张图片,每个点都是一个量子段(x 轴是序列号)。 如果在第一次迭代时随机选择价格,测试/考试样本的结果是否会发生重大变化? Aleksey Vyazmikin 2023.08.16 16:43 #31700 在第 4 次和第 5 次迭代之间,我们可以看到测试子样本的目标正确回答数急剧下降,这立即导致了与考试样本的背离(delta 增加)。 1...316331643165316631673168316931703171317231733174317531763177...3399 新评论 您错过了交易机会: 免费交易应用程序 8,000+信号可供复制 探索金融市场的经济新闻 注册 登录 拉丁字符(不带空格) 密码将被发送至该邮箱 发生错误 使用 Google 登录 您同意网站政策和使用条款 如果您没有帐号,请注册 可以使用cookies登录MQL5.com网站。 请在您的浏览器中启用必要的设置,否则您将无法登录。 忘记您的登录名/密码? 使用 Google 登录
这几乎是每个测试仪用户都能看到的画面。我对解释很感兴趣。
在这张图片中,统计意义相当高:超过 3000 个非重叠位置。
我认为这是 Sample 本身的市场变化造成的。例如,样本一开始有一个真正的模式,然后就没有了。但整个样本都发生了拟合。
我们应该以某种方式避免样本内部出现这种断裂。
相反的效果也可能发生:左侧 OOS - 下降,右侧 OOS - 上升。也就是说,在最初的 Sample 中没有发现模式,而只是找到了合适的模式。
我猜可能是训练过度或非稳态。当然,除非原始数据或算法本身存在问题。
我通常会尝试 "移动 "一下问题--稍微改变一下所有可能的参数(以及可用的元参数),看看结果有什么变化。有时,结果会变得更清晰一些。
交易、自动交易系统和交易策略测试论坛。
交易中的机器学习:理论、模型、实践和算法交易
fxsaber, 2023.08.16 11:38 AM
这就是会发生的无稽之谈。左边的 OOS 通过,右边的 - 不通过。而右侧则立即 "跳水"。
你能看到 OOS 在左侧通过吗?
你能看到 OOS 从左边穿过吗?
完全复制实验,但使用合成数据。
======================================
左边的 OOS 也是一种拟合,但属于二阶拟合
想象一下,在一般情况下,你只有 1000 个 TC 变体。
您的步骤 1 和 2
1) 您开始优化/搜索一个好的 TS,这就是训练 数据(拟合/搜索/优化)。
比方说,您已经找到了 300 个变体,在这些变体中,TC 可以赚钱...
2) 现在,您要从这 300 个变体中寻找一个能通过测试数据 OOS 的 TC。例如,您已经找到了 10 个既能在交易 中赚钱又能在测试 中赚钱(OOS)的 TC。
那么第 2 点是什么?
同样是继续拟合,只是您的搜索(拟合/搜索/优化)变得更深入或更复杂了,因为现在您的优化条件不是一个(通过测试),而是两个(通过测试 + 通过测试)。
这几乎是每个测试仪用户都能看到的画面。我对解释很感兴趣。
在这张图片中,统计意义相当高:超过 3000 个非重叠位置。
我认为这是 Sample 本身的市场变化造成的。例如,样本一开始有一个真正的模式,然后就没有了。但整个样本都发生了拟合。
我们应该以某种方式避免样本内部出现这种断裂。
相反的效果也可能出现:左侧 OOS - 下降,右侧 OOS - 上升。也就是说,在最初的 Sample 中没有发现模式,而只是找到了合适的模式。
OOS 应该总是在右边。
如果 OOS 在左侧,则无法保证 TC 没有过度训练,也没有瞻前顾后。这些是测试 TC 时首先要解决的主要问题。
您使用的是哪一种?没有区别!无论是其中一个还是两个都没有关系。您需要正确地进行测试,并在正确的情况下进行 OOS。
最好忘掉测试器和表格文件,如下所示进行测试:
我们有两个文件。
第一个文件按样本随机分为三个部分:训练、测试和验证。先研究一个(随机的)训练样本,然后检查一个随机的测试和验证样本,这些都是第一个文件的不同部分。比较结果。如果结果大致相同,再检查第二个 "自然序列 "文件。如果它们在这里也大致相同,那么我们就能得出主要结论:我们的 TC 没有过度训练,也没有提前观察。只有有了这个结论,谈论其他事情才有意义:准确性、盈利能力和其他事情,所有这些都是次要的。
我注意到,实际上没有其他方法来检查前瞻性和再训练。
就是这种情况。左边的 OOS 可以通过,右边的则不行。而在右侧,它会立即 "跳水"。
这种情况经常发生。
也就是说,它立即大幅下潜。跳水的性质并不明确。我认为应该是接近 SB 的情况,但我经常看到这样的图片。
感觉就像如果在优化后运行倒 TC,可能根本不会排水。
P-hacking(或称数据挖掘)是一种统计实践,研究人员通过分析数据,直到找到具有统计意义的结果。他或她可能会改变分析参数,只选择某些数据,或进行多重比较,以发现数据中的重要关系或差异。这可能会导致假阳性结果,并扭曲科学结论。P-hacking 是一种科学上的不诚实,会导致基于错误前提的错误建议和决策。
你能看到 OOS 从左边穿过吗?
如果缩短训练期,图表趋势反转会不会发生得更快?
我不太了解勾选策略,但造成这种行为的因素之一是训练期间缺乏可比数据,例如--训练期间某些 TF 的趋势大多是向下的。
我不知道您使用的是什么训练方法,如果是树形系统或过滤器,只是箝制条件指标(函数)的范围,那么值得估算一下属于每个此类范围的示例数量。
一种可能的情况是数据漂移和过滤器/列表的概率结果分布发生了变化。
例如,当我在一个样本上选择量子片段进行训练,然后在另外两个样本上估计它们的分布(对目标 0||1 的正确和错误回答的百分比)时,发现在 3 个样本上满足稳定性标准的比例在 25%-30% 之间--很明显,在这种情况下,模型有更多机会选择一个不稳定的预测器,它将在其中一个站点上停止工作。
最后,一切都归结为分析简单的规律性,即寻找将其视为规律性的理由,而不是在望远镜中随机观测彗尾。
你能看到 OOS 从左边穿过吗?
系统保持盈利的时间有多长?
我遇到过类似的系统行为,当 OOS 右侧出现急剧的梅花时,我不认为这与发现的市场模式发生 180 度的急剧逆转有直接联系(这将表明神秘的原因、巫术的应用和一般的任何原因,而不是任何真正的问题,如重新训练或调整,因为它至少是奇怪的,当急剧的梅花总是发生在训练结束之后)。通常情况下,这是由于代码中的某些错误导致了误报(或误负),如 Max 上文所述,纠正这些错误在最坏的情况下会导致 OOS 右侧的随机行为(过度训练),在最好的情况下会导致盈利能力逐渐减弱(发现的模式逐渐减弱和/或逐渐改变)。
该系统能持续盈利多久?
我也遇到过类似的情况,当 OOS 右侧出现急剧下跌时,我不认为这与发现的市场形态发生 180 度的急剧逆转有直接联系(这说明了神秘的原因、巫术的应用以及一般情况下的任何原因,而不是任何真正的问题,如重新训练或调整,因为在训练结束后总是出现急剧下跌至少是很奇怪的)。通常情况下,这是由于代码中的某些错误导致了误报(或误负),如 Max 上文所述,纠正这些错误在最坏的情况下会导致 OOS 右侧的随机行为(过度训练),在最好的情况下会导致盈利能力逐渐减弱(发现的模式逐渐减弱和/或逐渐改变)。
如果 TS 有很多参数或拟合得很好,则下降总是很剧烈。因为它是 "薄 "的。大量参数会导致误差不断增加。如果甚至只是粗化 TS 并减少参数,那么在测试仪中它就不那么漂亮了,但它会更平滑地塌陷。
我们可以用马丁格尔扑克来做个类比。有大量的失败位置。用大量失败的参数或其他东西来代替它。结果是一样的。我添加了测试和考试子样本的可视化图表,并剪切了火车--去掉了最初的部分,以便图片能够兼容。
事实上,这些都是火车->测试->考试的时间顺序部分。
看完 gif 后,我们可以清楚地看到,测试和考试样本反而降低了振荡的幅度,而不是在任何方向上都有趋势。
不过,如果仔细观察,就会发现在某些迭代中,这些样本的情况有所改善,也就是说,我们可以认为这些规则(以量子片段的形式)在不同样本上表现出了稳定性。我们还可以注意到,在不同的迭代过程中,不同部分的变化是不同的,也就是说,测试中的改进与考试中的改进并不直接相关。
正如我在上面所写的那样--这可以用单个量子片段所属类别概率偏差的变化来解释。
量子片段本身,作为跳过目标信号的信号,即把目标信号归零,或者换句话说,把样本分成两部分,是根据其成本估算来选择的。也就是说,减少错误信号的成本是可以估算的。每次迭代都会进行重新计算,并删除价格最低的变量。
以下是根据其中一种计算方法得出的价格变化情况。下面是一张图片,每个点都是一个量子段(x 轴是序列号)。
如果在第一次迭代时随机选择价格,测试/考试样本的结果是否会发生重大变化?
在第 4 次和第 5 次迭代之间,我们可以看到测试子样本的目标正确回答数急剧下降,这立即导致了与考试样本的背离(delta 增加)。