交易中的机器学习:理论、模型、实践和算法交易 - 页 189

 
桑桑尼茨-弗门科


如果你拿起几乎任何一本关于数据挖掘的书,必然会描述去除相关预测因素的程序。

相互作用的预测因素不一定是相关的...他们在目标....,进行互动。

而互动的存在产生了物种的结果。

> summary(lm(data = train_sample_list[[1]], price_future_lag_diff_6 ~ price_diff_lag_11 * price_diff_min_lag_16))


Call:

lm(formula = price_future_lag_diff_6 ~ price_diff_lag_11 * price_diff_min_lag_16, 

    data = train_sample_list[[1]])


Residuals:

      Min        1Q    Median        3Q       Max 

-0.035970 -0.000824  0.000001  0.000847  0.027278 


Coefficients:

                                          Estimate Std. Error t value Pr(>|t|)    

(Intercept)                              3.883e-05  3.146e-05   1.234  0.21714    

price_diff_lag_11                        4.828e-02  9.092e-03   5.310 1.12e-07 ***

price_diff_min_lag_16                   -3.055e-02  1.141e-02  -2.678  0.00743 ** 

price_diff_lag_11:price_diff_min_lag_16 -3.520e+00  3.515e-01 -10.014  < 2e-16 ***

---

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1


Residual standard error: 0.0024 on 10465 degrees of freedom

Multiple R-squared:  0.01611, Adjusted R-squared:  0.01583 

F-statistic: 57.11 on 3 and 10465 DF,  p-value: < 2.2e-16

所有的预测因素都是显著的(以及它们的相互作用)。F-statistics是令人敬畏的...

 
阿列克谢-伯纳科夫

相互作用的预测因素不一定会有关联...他们在目标....,进行互动。

而互动的存在则产生了物种的结果。

> summary(lm(data = train_sample_list[[1]], price_future_lag_diff_6 ~ price_diff_lag_11 * price_diff_min_lag_16))


Call:

lm(formula = price_future_lag_diff_6 ~ price_diff_lag_11 * price_diff_min_lag_16, 

    data = train_sample_list[[1]])


Residuals:

      Min        1Q    Median        3Q       Max 

-0.035970 -0.000824  0.000001  0.000847  0.027278 


Coefficients:

                                          Estimate Std. Error t value Pr(>|t|)    

(Intercept)                              3.883e-05  3.146e-05   1.234  0.21714    

price_diff_lag_11                        4.828e-02  9.092e-03   5.310 1.12e-07 ***

price_diff_min_lag_16                   -3.055e-02  1.141e-02  -2.678  0.00743 ** 

price_diff_lag_11:price_diff_min_lag_16 -3.520e+00  3.515e-01 -10.014  < 2e-16 ***

---

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1


Residual standard error: 0.0024 on 10465 degrees of freedom

Multiple R-squared:  0.01611, Adjusted R-squared:  0.01583 

F-statistic: 57.11 on 3 and 10465 DF,  p-value: < 2.2e-16

所有的预测因素都是显著的(以及它们的相互作用)。F-statistics是令人敬畏的...

好吧,也许我只是对 "互动 "一词的含义有不同的看法。
 

Vizard_

没有数据...

没有数据,那就没有什么可讨论的。

休息......你!

 
Vizard_
你,至少不要愚蠢)只是忘记了谁在9年告诉你,你的网络没有正确配置,并与一个多面体分析师可以拉公式))))。
没有任何矫揉造作和秘密,我使用的是标准的DM工具,有时会做一些小的编辑。如果你只对推荐人感兴趣,那就听吧。
但现实情况有些不同......以前的实验是在真实数据上进行的。在简单的人工数据上做到了这一点。第一组被确认为绝对
正确。我刚刚添加了.........答案应该是100%,但jPrediction 11是如此尖锐的 "ii",以至于它设法给出了))))。简而言之,要进行微调。

该设备还不能工作。我不会给你数据的,你在炫耀,你自己会想办法的......第20版也许我会再看看,如果 "广告 "会像今天这样)))。


你是否知道,多次优化总是产生不同的结果。这就是优化,如果它总是得出同样的答案,那当然是好的,但它太奇怪了,试着优化几次,我肯定10次中有8次你会得到你的100% 所以这就是它的作用....
 
桑桑尼茨-弗门科
好吧,也许我只是对 "互动 "一词的含义有不同的看法。


在线性模型中处理相互作用有明确的规则。它们比线性组合处理要复杂一些:https://www.r-bloggers.com/interpreting-interaction-coefficient-in-r-part1-lm/

但你必须在大量的组合中挖掘,才能找到有意义的互动。现在这是个尴尬的问题。

Interpreting interaction coefficient in R (Part1 lm)
Interpreting interaction coefficient in R (Part1 lm)
  • grumble10
  • www.r-bloggers.com
Interaction are the funny interesting part of ecology, the most fun during data analysis is when you try to understand and to derive explanations from the estimated coefficients of your model. However you do need to know what is behind these estimate, there is a mathematical foundation between them that you need to be aware of before being able...
 
Mihail Marchukajtes:
你是否知道多次优化总是产生不同的结果?这是优化,如果它总是给出相同的结果就好了,但它太奇怪了,试着优化几次,我肯定你10次中有8次会得到你的100%。 所以它是这样的....

他甚至没有意识到,训练前的一般样本是随机分成几部分的:一些模式进入训练部分,另一些进入测试部分。而在这样的细分下,很可能会发现,一些澄清模式所需的模式在测试部分被挤占,而在训练部分没有体现。而且,由于该算法只在训练部分进行训练,没有心灵感应的能力来发现测试部分的内容,所以在计算泛化能力时就会出现错误。也就是说,没有什么令人惊讶的事情发生。

但当应该指定的模式变成均匀 地分布在样本的不同部分时,学习能力就会比上述情况更高。

换句话说,存在着个案效应,任何随机性都可能迟早会显示出其不理想的一面。

很有可能找到一种方法,通过这种方法,一般的样本不是随机地,而是确定地被划分成若干部分?但到目前为止,经验表明,所有决定性的样本分割都充满了拟合,随后是过度学习。

 
尤里-雷舍托夫

很可能找到一种方法,通过这种方法将一般的样本以确定的方式而不是随机的方式分成若干部分?但到目前为止,经验表明,样本划分中的所有决定性因素都充满了拟合和随后的再训练。

也许你想做几次训练,每次都随机划分样本?然后从这套准备好的训练好的模型中,我们可以选择,一般来说,我们可以评估这个模型有多好。
所以我们可以否定得到一个随机 拟合的模型的概率,而不被决定论所挟持。

 
安德烈-迪克
也许你想做几次训练,每次都随机拆分样本?从这套现成的训练有素的模型中,你可以选择,一般来说,你可以评估这个模型是否好。
因此,我们可以将得到随机 拟合模型的概率降低到零,而不被决定论所裹挟。

这在jPrediction中已经实现了,即在不同的CPU核上并行计算几个不同的样本分区(两个二进制分类器是每个空闲核的一个terrary)。处理器原来是100%的负载。问题是,CPU的核心数量是有限的,所以只能减少模式不平等分布的概率,但要把它们降到最低是很有问题的。除非你在超级计算机而不是PC上训练模式。

例如,如果你在中国的超级计算机天河二号 上计算模式,它有3,120,000个核心在样本的部分地区出现图案分布不均的概率将可以忽略不计。如果我们在一个4核工作人员(加上为其他任务保留的几个核)上计算模式,我们迟早会遇到不规则的情况,这并不奇怪。

 
我提醒你,没有人问 为什么这么做,但我让输出变量等于1和0的数量。我的做法是将信号利润从-10点调整到+50点。如果1和0的数量相等,模型就很少被一分为二。再次强调,如何划分并不重要,重要的是划分要稳定.....。
 
尤里-雷舍托夫

这在jPrediction中已经实现了,即在不同的CPU核上并行计算几个不同的样本分区(两个二进制分类器是每个空闲核的一个terrary)。处理器原来是100%的负载。问题是CPU的核心数量是有限的,所以只能减少不均匀模式分布的概率,但要尽量减少它们是很有问题的。除非你在超级计算机而不是PC上训练模式。

例如,如果你在中国的超级计算机天河二号 上计算模式,它有3,120,000个核心在样本的部分地区出现图案分布不均的概率将可以忽略不计。如果你在一个4核的工作人员上计算模式(并为其他任务保留几个核),迟早会遇到不规则的情况,这并不奇怪。

我的意思是,这是一个有用的事情。因此,你应该做40个分区,而不是4个分区,显然是不够的。对于4个核心来说,它需要10倍的时间来计算,但我想为了稳健性,可以牺牲时间。

"如果可以做,如果有任何好处,就应该做"。(c) 帕波-卡洛-阿尔贝托维奇。