交易中的机器学习:理论、模型、实践和算法交易 - 页 2550

 
Aleksey Nikolayev#:

一般来说,一旦训练(on train),就不仅仅是一个模型,而是由元参数定义的一组模型。例如,不同程度的插值多项式或拉索回归中的不同正则化系数等。然后确定元参数的最佳值(通过测试从这组模型中抽取最佳模型)。反过来,测试上的元参数的优化也可以由一些参数(元参数)决定,对于这些参数的优化,可以应用考试。例如,以何种比例将原始样本分为训练和测试。

但很可能我只是不理解你的想法)。

选择元参数的最佳方式不是通过一个测试部分,而是通过交叉验证或滚动前进将几个部分粘在一起。最近一直在讨论 这个问题。
 
elibrarius#:
最好不要在单个测试图上选择元参数,而是在几个通过交叉验证或滚动前进粘在一起的测试图上。最近已经讨论 过了。

我同意。其实我只想说,交叉验证也可以安排得很复杂,可以设置一些自己的参数(元参数),也可以通过多一个样本来优化(而不是从天花板上取)。

 
Aleksey Nikolayev#:

我同意。其实,我只是想表达这样一个观点:交叉验证也可以安排得很复杂,并设置一些自己的参数(元参数),这些参数也可以用另一个样本进行优化(而不是从天花板上取)。

正确理解--进行任何行动以使样本更像考试样本。

问题是如何最好地做到这一点。

一个经常使用的选项是,列举预测因子--但有一大堆的预测因子,太多。而我们能不能,比如说,比较字符串(一组预测因子)在两个样本中目标结果的相似性和稳健性?然后,我们可以从训练样本中剔除异常的(比如说,罕见的或在样本中没有发现的)字符串,由于这个原因,理论上来说,学习效果会好很多。

 
Aleksey Vyazmikin#:

正确的理解--进行任何行动,使样本训练更像考试样本。

问题是如何最好地做到这一点。

经常使用的一个选项是列举预测因子--但对于一个大的集合,有太多的预测因子。而我们能不能,比如说,比较字符串(一组预测因子)在两个样本中目标结果的相似性和稳健性?然后,我们可以从训练样本中剔除异常的(比如说,罕见的或在样本中没有发现的)字符串,由于这个原因,理论上来说,我们可以学习得更好。

Vladimir有一篇关于它的文章,我不记得包的名字了,但它只是从样本中踢出了不可预测的字符串
 
mytarmailS#:
Vladimir有一篇关于它的文章,我不记得那个包的名字了,但它只是从样本中丢出不可预测的字符串。

有意思,我得去找找看。但我想抛弃的不是可预测的字符串,而是那些在训练之外的样本中没有出现的字符串。当然,给它们做个标记也是很有意思的,而不是直接把它们扔掉--来识别它们。

 
Aleksey Vyazmikin#:

有意思,我得去查查。但是,我不想扔掉那些不可预测的,而是扔掉那些在训练之外的样本中没有出现的。当然,以某种方式标记它们甚至是有趣的,而不是直接把它们扔掉--以识别它们。

也许我们说的是去除观察中的异常值,这可能有两种类型--按响应大小和按预测器大小(两者可能合并在同一个观察中)。异常值本身被称为前者,而后者通常被称为其他东西。这门科学在线性回归方面得到了很好的发展。也许你可以检查每一个测试观察结果,看它在某种意义上是否是一个相对于考试的异常值。

 
Aleksey Vyazmikin#:

有意思,我得去查查。但是,我不想扔掉那些不可预测的,而是扔掉那些在训练之外的样本中没有出现的。当然,给它们做个标记也是很有意思的,而不是直接把它们扔掉--来识别它们。

你可以使用木制模型...
将模型分解成规则,分析规则以获得正确的统计数据(可重复性是另一回事......),看看规则是否出现在新的数据上......

"intrees "包有5行代码,去
 
mytarmailS#:
Vladimir有一篇关于这个问题的文章,我不记得包的名字了,但它只是从样本中丢掉了不可预测的字符串。

NoiseFiltersR请看这篇文章

 
elibrarius#:
最好不要在单个测试图上选择元参数,而是在几个通过交叉验证或滚动前进粘在一起的测试图上。这一点 最近被讨论过

如何正确地使用CV的结果? 取出模型的最佳参数并将其用于整个数据集,还是只用于选择好的数据集?

例如,输出结果是以下表格

        iterations      test-Logloss-mean       test-Logloss-std        train-Logloss-mean      train-Logloss-std
0       0       0.689013        0.005904        0.681549        0.007307
1       1       0.685340        0.011887        0.660894        0.001061
2       2       0.685858        0.012818        0.641069        0.004738
3       3       0.685975        0.023640        0.629656        0.000656
4       4       0.686613        0.024923        0.612977        0.002072
...     ...     ...     ...     ...     ...
95      95      0.863043        0.402531        0.123702        0.028628
96      96      0.866321        0.406193        0.122224        0.028623
97      97      0.869681        0.409679        0.120777        0.028611
98      98      0.873030        0.413121        0.119361        0.028595
99      99      0.874569        0.419064        0.117974        0.028572
 
Vladimir Perervenko#:

NoiseFiltersR请看这篇文章

虽然噪声预测器或多或少是清楚的,但噪声的例子并不清楚。我想知道更多关于如何定义它们(就理论而言,而不是所用包/函数的名称,当然R总是有文章的链接)。很明显,在分类时应该有一个 "不交易 "的类别,因为力争一直在市场中被认为是一个错误。然而,目前还不太清楚如何以一种或多或少的正式方式正确地描述这个类别。