交易中的机器学习:理论、模型、实践和算法交易 - 页 3175

 
СанСаныч Фоменко 优化图。

它可用于监控过度训练。

如果在该曲面中可以找到一个单元格被其他颜色大致相同的单元格包围,则该中心单元格将给出未过度训练 TC 的参数。这个位置与所发现的最佳值是一个高原的事实相对应。

但是,如果 "表面 "看起来像豹皮,则 TS 无望,因为测试者发现了大量的最大值,这表明将来击中这些最大值的概率极低。

不可能。

根据特定的优化标准,图案(表面)的性质只能说明 TS 的特性。如果我们采用另一种标准,模式就会不同。对这一点的误解会导致人们误认为优化(学习)不应该达到全局最大值,而恰恰相反,它应该达到全局最大值。选择与策略相适应的优化标准才是正确学习的关键。

关于这一点,我们已经讨论过很多次了。

 
fxsaber #:
就是这样,我问了一个问题,然后专业人士就来解答))))))

就像一个离婚女人对一个年轻愚蠢的 IT 男一样)))至少现在可以用棍子还击了))))
 
fxsaber #:

请说明,这些间隔的含义是什么?

现在我正在对它们进行想象。

  1. 数字破碎机在列车上运行,通过测试进行过滤。
  2. 数字破碎机完全关闭。在考试中取几个最好的成绩。


第一点看起来很奇怪。就像测试仪中的 "前向测试 "一样。这是否比只进行优化而不进行筛选,但在训练+测试的组合区间内进行优化更好?

在医学中,一组 60 名病情大致相同的病人被随机分为三组,第一组接受新药治疗,第二组接受旧药治疗,第三组不接受治疗,给他们服用安慰剂。如果第一组的疗效好于第二组和第三组,那么这种药物就被认为是好药,并在一段时间内重复大量实验,即进行监测,然后释放到自由浮动中。

假阳性和假阴性结果的概率降低似乎是合乎逻辑的,但对我来说,这并不是防止错误的灵丹妙药。

我不理解也不认可在所有))))。

 
Andrey Dik #:

不,你不能。

根据特定的优化标准,图案(表面)的特征只能说明车辆的特性。如果我们采用另一种标准,图案就会不同。对这一点的误解导致人们误认为优化(训练)不应达到全局最大值,而恰恰相反,它应该达到全局最大值。选择与策略相适应的优化标准才是正确训练的关键。

关于这一点,我们已经讨论过很多次了。

每个人都有自己的观点。在我看来,你是唯一的一个。

你需要寻找的是高原,而不是个别的高峰,由于过程的随机性,这些高峰将永远不会再出现。

 
Valeriy Yastremskiy #:

在医学中,一组 60 名病情大致相同的病人被随机分为三组,第一组接受新药治疗,第二组接受旧药治疗,第三组不接受治疗,给他们服用安慰剂。如果第一组的疗效好于第二组和第三组,那么这种药物就被认为是好药,并在一段时间内重复大量实验,即进行监测,然后释放到自由浮动中。

出现假阳性和假阴性结果的概率降低似乎合乎逻辑,但在我看来,这并不是防止错误的灵丹妙药。

我不理解也不认可在所有))))。

将文件分成不同的部分,在你举的例子中,随机将病人纳入组中,这相当于我的样本,只有在预测因子与目标变量相关的情况下才会起作用,也就是说,这不是垃圾。在医学中,要弄清药物(预测因子)与疾病的关系,需要了解药物进入人体过程的生理学。我们必须有其他方法来确定预测因子与目标变量之间的关系--所有这些都是预处理,是在训练模型之前完成的,这一步是必须的。

同样,测试架构也是强制性的,必须在模型过度训练之前完成。

 
СанСаныч Фоменко #:

每个人都有自己的看法。在我看来,你是独一无二的。

你需要寻找的是高原,而不是个别的高峰,由于过程的随机性,这些高峰永远不会再出现了。

我并不在意我是唯一的一个,这只是说明了解问题的人真的很少))))。

是高原还是高峰--取决于优化标准的表面,标准!你以为他们为什么经常使用标准--MO 中的误差? 因为表面是单调的)))也就是说,他们总是试图选择这样一个标准,它尽可能单调,如果可能的话,有一个全局标准。

因此,我们不应寻找高原,而应寻找具有尽可能单调的超曲面的准则。

顺便说一句,误差标准恰好有一个值为 0 的全局。而在没有达到全局的情况下停止训练是另一个问题,与标准曲面无关。

 
我是多么可怜那些心智不成熟的可怜人啊,他们读了这些胡言乱语,还以为聪明人会在这里讨论一些聪明的....。
 
Maxim Dmitrievsky #:
人们可以得出结论,你这么做已经很多年了。或者,你也可以随机搜索,你现在就在这么做。

我刚才写道,随机搜索是一种无益的方法。

在测试抽样潜力时,我在预测因子选择中使用了随机化,而且在 CatBoost 中已经使用了多年。

随机化并不能为期望模型继续工作提供任何理由,因为预测因子的反应已经被随机化了。

 
Aleksey Nikolayev #:

在我看来,这像是马克西姆最近写过的 "Pi-hacking"。除非使用一些统计测试来确定分配量子的重要性,否则肯定是他干的。

我曾经举过一个简单的例子,在 SB 上选择一周中最适合交易的时间(这显然是不存在的)。虽然只有 5*24=120 个变量,但总能找到这样一个小时就足够了(我想时间间隔是半年)。这里也存在 "抽样稳定性"。

你建议进行哪些显著性检验?我并不是说选择量子片段的算法是完美的,恰恰相反,其中有很多垃圾,我想加以改进。

我不明白,你是根据什么迹象断定这是某种"π-黑客"行为的--到底是哪一部分,是选择量子片段还是筛选字符串,而量子片段(即我构建的图形)可以很好地筛选出字符串,而且无需训练?是的,这种方法与建立木质模型的常见方法有些不同,但区别并不大,概念依然存在。

关于 SB 上的例子,这里有两个考虑因素:

1.如果过程未知,只有数据,那么我们可以假设存在某种最佳交易时间的模式。或者,是否有否定这一假设的考虑?

2.如果这些观察结果在时间上相对均匀分布(事件历史),那么这更像是随机数生成器的错误。

在训练中,我使用的样本时间跨度较大--通常至少 10 年。

 
СанСаныч Фоменко #:

只有在预测因子与目标变量相关的情况下,将文件分成不同的部分,并在您所举的例子中,将患者随机分为一组,这与我的样本相对应。在医学中,要弄清药物(预测因子)与疾病的关系,需要 了解 药物进入人体 过程中的生理学原理 。我们必须有其他方法来确定预测变量和目标变量之间的关系--所有这些都是预处理,是在训练模型之前完成的,而这一步是必须的。

同样,测试架构也是强制性的,必须在模型过度训练之前完成。

遗憾的是没有。吞噬作用在显微镜下是可见的,但在医学科学中,显微镜并不能提供帮助,只有通过适当的实验才能证实假说。)

顺便说一句,病人并不知道他们属于哪一组。))))

一般来说,类似的情况,在不了解因果关系的情况下寻找这些关系。