交易中的机器学习:理论、模型、实践和算法交易 - 页 451

 
亚历山大-伊万诺夫
雷舍托夫向上帝介绍了自己吗?

有传言说;我本人没有出席葬礼。

 

这与交易没有关系,只是一个有趣的实验。


主成分法(PCA)可以用来抑制数据中的噪音,我想看看它在清理噪音图像方面的效果。

我把图像http://sites.psu.edu/siowfa15/wp-content/uploads/sites/29639/2015/10/Fall-beautiful-nature-22666764-900-562.jpg,给它添加了噪音。

这个图像可以表示为一个矩阵。矩阵的高度等于图像的高度,矩阵的宽度=图像的宽度×3(作为红、蓝、绿3个颜色通道)。
然后你可以用常见的R工具找到主要成分,只保留主要成分,并利用它们来尝试重建原始图像。据推测,关于噪声的信息将被储存在不太重要的组件中,通过丢弃它们,我们也将丢弃噪声。

以下是发生的情况

虽然图像质量受到影响,但不再有颗粒。而对于某些物体识别算法来说,第二张图像很可能更适合。

附加的文件:
 

一个不太粗糙的过滤器。过滤值可以在脚本中改变(SIZE_REDUCTION)。


 
Dr. Trader:

一个不太粗糙的过滤器。过滤值可以在脚本中改变(SIZE_REDUCTION)。


用一种噪音代替另一种噪音 :D

顺便说一下,这种颗粒状的图像很容易被合成视觉的NS所愚弄。我在什么地方看到过一篇文章,说的是嘈杂的路标会迷惑识别路标的NS :)

你很擅长R,是什么阻碍了你去尝试复现计划 https://en.wikipedia.org/wiki/Recurrence_plot

比方说,将图形转换为递归图,并将卷积NS教给这些图像,然后在学习后以转换后的形式输入图形的一个片段,得到结果的图像(预测),然后做反向转换为正常形式

直观地说,计算机视觉对递归图的识别要比时间序列 容易得多,而且不会损失有意义的特征。

但必须进行检查。

 
交易员博士

虽然图像质量受到影响,但不再有颗粒。而对于某些物体识别算法来说,第二张图片很可能更适合。

在我看来,这张图显示了过度优化--失去了做出正确决定的数据。
 
Maxim Dmitrievsky:

你很擅长R,是什么阻碍了你去尝试复现计划 https://en.wikipedia.org/wiki/Recurrence_plot

比方说,将图形转换为递归图,并对这些图像进行卷积NS的教学,然后在训练之后,以转换后的形式给出一块图形,得到结果的图像(预测),然后做反向转换为正常形式

直观地说,计算机视觉对递归图的识别要比时间序列容易得多,而且不会损失有意义的特征。

但我必须检查。

我没有试过递归图,但它的描述与阿里马的描述非常相似,这个模型也是搜索递归依赖关系的。

你也可以用函数acf()和pacf()来画自相关 图,它与递归图有点类似,但图中会有一个矢量而不是平面。

 
交易员博士

我没有试过递归图,但描述与阿里马非常相似,这个模型也是在寻找递归的依赖关系。

你也可以使用函数acf()和pacf()来绘制自相关图,这与递归图有点类似,但图中包含一个矢量而不是一个平面。


嗯,这里的主要优势是,整个空间总是被一个情节所填满,而不是像普通的自上而下或自下而上的情节在那里。对机器来说,它将更容易识别,图案的特殊性将说明特定图案的某些规律性。
 
马克西姆-德米特里耶夫斯基

直观地说,计算机视觉对递归图的识别要比时间序列容易得多,而且不会损失有意义的属性。

但有必要进行检查。

我试过了,我想我甚至写过它,结果和BP一样。



问题是,市场不断产生不同的BP,如果你通过BP或通过任何BP的转换来看市场,那些过去的事情在未来永远不会重复,所以用这样的特征工作对IR来说是没有用的,顺便说一下,对人类也是如此。

 
交易员博士

这与交易无关,只是一个有趣的实验。

谢谢你!用这种方法,你也可以从噪音中清理声音,例如,旧的或损坏的录音,通过去除它们的噪音成分...但所有这些光谱分析的任务不仅可以用PCA完成,也可以用傅里叶或小波完成。
 
Dr. Trader: 主成分法(PCA)可以用来抑制数据中的噪音,我想看看它在清理嘈杂的图像方面会有什么作用....。

撇开存在大量的类似任务的过滤器不谈。
在Photoshop等软件中,尝试其他的降采样算法------。
ICA、NMF、SVD等。
但由于你对带有DM元素的自动力方法感兴趣,你可以使用聚类,比如说。
K-Means, EM-c, DBSCAN, t-SNE等。
1.试着捕捉噪音。
2.如果你很幸运,那么就把它删除。
3.用最近的邻居代替空隙,等等。
然后我们给他拍一些有不同声音的照片,看看他们的表情如何。
如果你做不到,就让一个拿着铅笔的女孩来修饰吧)))。