交易中的机器学习:理论、模型、实践和算法交易 - 页 3104

 

一段视频道尽 A/B 测试之苦

(特别容易受影响的人请勿观看)


 
Maxim Dmitrievsky #:

一段视频道尽 A/B 测试之苦

(特别容易受影响的人请勿观看)


你不觉得他一开始说的是一个二进制的例子,但在代码中却从正态分布中抽取了一系列数字吗?

而且,所有这类测试都依赖于随机数生成器,你也应该考虑到这一点。对于每种现象来说,数字出现的性质可能更为复杂,尽管它可能具有正态分布。

正如他所指出的,用这种方法来解决问题,更合理的做法不是测量 "天数",而是评估到达阈值的动态和超出阈值的时间。

一般来说,观察真实数据中的现象对得出结论更为有用。

 
Aleksey Vyazmikin #:

你不觉得他一开始说的是一个二进制的例子,但在代码中他取的正是正态分布的数字范围吗?

而且,所有这类测试都依赖于随机数生成器,所以这一点也应该考虑在内。对于每种现象来说,数字出现的性质可能更加复杂,尽管它可能具有正态分布。

正如他所指出的那样,用这种方法处理问题时,更合理的做法不是测量 "天数",而是估算到达阈值的动态和超出阈值的时间。

一般来说,观察真实数据中的现象,对得出任何结论都会更有用。

如果你从来都不知道自己在说什么,也不知道上下文,那一定会非常困难)。

这里的重点是,即使你有来自同一分布的迹线和测试,你也不能总是确认或否定一个假设,例如,关于模型稳健性的假设。

再加上多重检验,这些检验的统计意义都要乘以零。

 
Maxim Dmitrievsky #:

如果你根本不知道自己在说什么,那一定很困难。)

这里的重点是,即使您有来自同一分布的迹线和检验,您也不能总是确认或否认一个假设,例如,关于模型稳健性的假设。

再加上多重检验,这些检验的统计意义都要乘以零。

我明白了。他说的是本质,他只是挂着耳朵....

 
Aleksey Vyazmikin #:

我明白了。他说的是本质,而他只是挂着耳朵....。

你没抓住重点。

 
Maxim Dmitrievsky #:

你没明白我的意思。

一个人在那里说了什么,得出了什么意义深远的结论,这已经很清楚了,但他没有意识到,结果取决于随机数生成器的算法。

唯一有价值的结论是,原始形式的计算机建模无法让你在不了解真实过程的情况下接近真实过程。

如果他把分布分为 0 和 1 两部分,并表明他的单位数量多了一个数量级,我会感到惊讶。你看,他说一套做一套。

我现在正试图通过分布在时间上的实际变化来预测未来 3 个月量子部分的分布概率(我有分类),通过测试,我成功地提高了 15%的准确率,而我认为这还不是极限。

总的来说,视频的作者为自己在实验中得出错误结论找了一个很好的 "借口"。是的,这很方便,但并不实用。我的意思是,从他的话中可以看出,有必要确定观察的时间/次数,并据此得出结论。总的来说,我真的不明白他的意思--除了向雇主说明理由之外,这有什么用呢?

 
Aleksey Vyazmikin #:

这个人在那里说了什么,做出了什么意义深远的结论,这已经很清楚了,但他没有意识到,他的结果取决于随机数生成器的算法。

P黑客是一个众所周知的问题,他试图向那些不了解本质的书呆子解释这个问题。

我们能不能不要用大量无意义的字母?
 
Maxim Dmitrievsky #:

P-hacking是一个众所周知的问题,他试图向那些不懂这一点的书呆子解释这个问题。

我们能不能不要堆砌那些毫无意义的字母?

很遗憾,你还是不明白我想表达的意思。

 
不要说脏话
 
Maxim Dmitrievsky #:

一段视频道尽 A/B 测试之苦

(特别容易受影响的人请勿观看)


是时候让我们都转向光明的一面了--转向 matstat!)

黑暗面一如既往地反对它)黑暗的意义在于,它总是试图把一切都归结为黑暗和不清晰--在极端版本中,归结为某种 "炫耀")。