交易中的机器学习:理论、模型、实践和算法交易 - 页 3173

 
СанСаныч Фоменко #:

OOS 应始终位于右侧。

如果 OOS 在左侧,则无法保证 TS 没有过度训练,也不会向前看。这些都是在测试 TC 时必须首先解决的主要问题。


您使用的是哪一种?没有区别!是一个还是两个都没有关系。您需要正确地进行测试,然后在右侧显示 OOS。

最好忘掉测试器和表格文件,如下所示进行测试:

毫无疑问的高度断言。我曾就 OOS 放置问题发表过一篇文章

这不是我第一次遇到不喜欢测试员的情况。我不知道我为什么不喜欢数字破碎机。

我们有两个文件。


第一个文件按样本随机分为三个部分:训练、测试和验证。先研究(随机的)训练样本,然后检查随机的测试和验证样本,这些都是第一个文件的不同部分。比较结果。如果结果大致相同,再检查第二个 "自然序列 "文件。如果它们在这里也大致相同,那么我们就能得出主要结论:我们的 TC 没有过度训练,也没有提前观察。只有有了这个结论,谈论其他事情才有意义:准确性、盈利能力和其他事情,所有这些都是次要的。


我注意到,几乎没有其他方法可以测试瞻前顾后和过度训练。

我不太明白如何在优化中瞻前顾后。


关于方法。我不明白将训练/测试/考试分开的必要性。即使进行了最有利的统计研究,声称 TC 没有训练过度似乎也太自欺欺人了。

我最多只能得到这样的结论:"TC 很可能发现了训练间歇前后一段时间内存在的某种模式。同时,也不能保证这种模式没有被打破"。

"Out-Of-Sample" - где расположить, справа или слева?
"Out-Of-Sample" - где расположить, справа или слева?
  • 2019.12.10
  • www.mql5.com
Когда-то в паблике столкнулся с мнением, что OOS должен располагаться только справа. Т.е. расположение его слева от интервала Оптимизации - ошибка. Я с этим был категорически не согласен, т.к. не
 

更重要的是吃哪种药片:蓝色还是红色:)


 
Maxim Dmitrievsky #:
是的,这是运气和 P-黑客。因此,结果可能是任何东西。

P-hacking(P-黑客)是故意将结果与有意义的统计标准相匹配。例如,你看到左边的 OOS 统计数据很陡峭,于是就选择了那个选项。 右边也是一样。这就是拟合。

等等,我们现在说的是哪种选择?

 
fxsaber #:

等等,我们现在说的是什么选择?

好吧,你选择了这个选项,并表明左边是好的,右边是坏的。

我的意思是,你有多个优化选项,但你选择了这个来展示。

 
Maxim Dmitrievsky #:

好吧,你选择了这个选项,并表明左派是好的,右派是坏的

我没有。这就是方法。

关于交易、自动交易系统和交易策略测试的论坛。

交易中的机器学习:理论、模型、实践和算法交易

fxsaber, 2023.08.17 06:58

我没有这样自欺欺人。我只这样做。

  1. 在 traine 上进行优化。
  2. 我从找到的交易中选出前五名,并观察其在 OOS 上的表现。在任何情况下,这一点都没有优化。
原始图像就是这样获得的。因此,左侧漂亮的 OOS 完全不符合要求。
 
fxsaber #:

不是我选的。方法是这样的

嗯,更复杂的 p-hacking 方法:)仍然需要对 TC 参数的范围进行多次测试和选择。它们不是从天花板上取下来的。

 
Aleksey Vyazmikin #:

如果缩短培训时间,图表趋势的逆转是否会同样迅速?

当然会有所不同。但很多时候,你可以在样本之后立即看到断裂。也许这是一种认知扭曲,当你更多地关注某件事情时,就会觉得它发生得太频繁了。

我不太了解勾选策略,但造成这种行为的因素之一是训练时缺乏可比数据,例如 - 在训练时,某些 TF 上的趋势大多是向下的。

图表显示了三年的每日交易情况。

我不知道你使用的是什么训练方法,如果是树形系统或过滤器,只是箝制条件指标(函数)的范围,那么值得估算一下属于每个此类范围的示例数量。

我没有对每个范围进行绘图。我计算了统计数据,但没有查看图表本身。

一种可能的情况是数据漂移和过滤器/列表的概率分布发生了变化。

例如,当我在一个样本上选择量子片段进行训练,然后在另外两个样本上 估计它们的分布(对目标 0||1 的正确和错误回答的百分比)时,发现在 3 个样本上满足稳定性标准的比例在 25%-30% 之间--很明显,在这种情况下,模型有更多机会选择不稳定的预测因子,从而在其中一个站点上停止工作。

归根结底,这一切都归结于对简单模式的分析,即找到将其视为简单模式的理由,而不是在望远镜中随机观测到的彗尾。

我不明白突出显示的部分。

 
Maxim Dmitrievsky #:

嗯,更复杂的 p-hacking :) TC 参数范围仍需多次测试和选择。它们不是从天花板上取下来的。

别说了。你不是反对优化过程本身吧?从纯粹的逻辑上讲,在采样间隔上获得所需的曲线与其他间隔无关。

 
fxsaber #:

哇哦你不会是在反对优化过程本身吧?在样本区间获得理想的曲线与其他区间没有逻辑联系。

之所以有联系,是因为您根据自己的知识或偏好设置了参数。最初,您知道如何通过哪些参数获得更好的曲线。另外,您可能在早期历史上进行过交易,并利用这一经验在新的历史上建立了 TS。这种格式塔疗法的深度可能是巨大的:)

我并不反对优化,我只是写出了可能存在的陷阱。
 
Andrey Dik #:

该系统能持续盈利多久?

我不太明白这个问题。左边的 OOS 是一年。是否应该向后增加?

我遇到过这样的系统行为,当右侧的 OOS 出现急剧的梅花时,我不认为这与发现的市场模式发生 180 度的急剧逆转有直接联系(这将表明神秘的原因、巫术的使用和一般的任何情况,而不是任何真正的问题,如重新培训或调整,因为当急剧的梅花总是在培训结束后发生时,这至少是奇怪的)。通常 情况下,这是由于代码中的一些错误 导致了假阳性(或假阴性),如 Max 上文所述,纠正这些错误 在最坏的情况下会导致 OOS 右侧的随机行为(过度训练),在最好的情况下会导致盈利能力逐渐减弱(发现的模式逐渐减弱和/或逐渐改变)。

我认为,代码中没有错误的表现是,代码完全按照编程前的设想运行。从这个意义上说,一切正常。

在一般情况下,代码中有错误的 TC 仍然是 TC。它只是与作者最初的意图不完全一致而已。