Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 451

 
Alexander Ivanov:
O Reshetov apresentou-se a Deus?

Dizem que eu próprio não estive presente no funeral.

 

Não está relacionado com o comércio, apenas uma experiência interessante.


A Abordagem dos Componentes Principais (PCA) pode ser usada para suprimir o ruído nos dados, eu queria ver como funcionaria para limpar imagens ruidosas.

Eu levei a imagem http://sites.psu.edu/siowfa15/wp-content/uploads/sites/29639/2015/10/Fall-beautiful-nature-22666764-900-562.jpg, acrescentei-lhe barulho.

Esta imagem pode ser representada como uma matriz. A altura da matriz é igual à altura da imagem, e a largura da matriz = largura da imagem x3 (como 3 canais de cor vermelho, azul, verde).
E então usando ferramentas R comuns você pode encontrar os componentes principais, manter apenas os principais e tentar reconstruir a imagem original a partir deles. Supõe-se que a informação sobre o ruído será armazenada em componentes menos importantes, e descartando-os, descartamos o ruído também.

Eis o que aconteceu

Embora a qualidade da imagem tenha sofrido, não há mais grãos. E para alguns algoritmos de reconhecimento de objetos, a segunda imagem pode ser mais adequada.

Arquivos anexados:
 

Um filtro menos grosseiro. Os valores do filtro podem ser alterados no script(SIZE_REDUCTION)


 
Dr. Trader:

Um filtro menos grosseiro. Os valores do filtro podem ser alterados no script(SIZE_REDUCTION)


Substituição de um ruído por outro :D

Tais imagens granulosas, a propósito, são muito facilmente enganadas por NS de comp. visão. Vi um artigo algures sobre sinalização rodoviária ruidosa que confunde o NS que reconhece os sinais :)

Você é bom em R, o que o impede de tentar as parcelas de recorrência https://en.wikipedia.org/wiki/Recurrence_plot

digamos, converter os gráficos em gráficos de recorrência e ensinar os NS convolucionais a estas imagens, depois de aprender alimentar um fragmento do gráfico na forma convertida, obter a imagem resultante (previsão) e depois fazer a conversão inversa para a forma normal

Intuitivamente, as parcelas de recorrência serão reconhecidas pela visão por computador muito mais facilmente do que as séries temporais, sem perda de características significativas.

Mas tem de se verificar.

 
Dr. Trader:

Embora a qualidade da imagem tenha sofrido, não há mais grãos. E para alguns algoritmos de reconhecimento de objetos, a segunda imagem pode muito bem ser mais adequada.

Na minha opinião, a imagem mostra uma optimização excessiva - a perda de dados para tomar a decisão correcta.
 
Maxim Dmitrievsky:

Você é bom em R, o que o impede de tentar as parcelas de recorrência https://en.wikipedia.org/wiki/Recurrence_plot

digamos, converta gráficos em gráficos de recorrência e ensine NS convolucionais a essas imagens, depois do treinamento dê um pedaço de gráfico na forma convertida, obtenha a imagem resultante (previsão) e depois faça a transformação inversa para a forma normal

Intuitivamente, as parcelas de recorrência serão reconhecidas pela visão por computador muito mais facilmente do que as séries temporais, sem perda de características significativas.

Mas eu tenho de verificar.

Eu não tentei o enredo de recorrência mas a sua descrição é muito semelhante à de Arima, este modelo também procura por dependências de recorrência.

Você também pode desenhar o gráfico de autocorrelação com as funções acf() e pacf(), ele será um pouco semelhante ao gráfico Recurrence, mas o gráfico terá um vetor ao invés do plano.

 
Dr. Trader:

Ainda não tentei a trama de recorrência, mas a descrição é muito parecida com a do Arima, este modelo também procura por dependências de recorrência.

Você também pode desenhar o gráfico de autocorrelação usando as funções acf() e pacf() que serão um pouco similares ao gráfico de recorrência, mas o gráfico conterá um vetor em vez de um plano.


bem, a principal vantagem aqui é que todo o espaço é sempre preenchido com um terreno, não como um terreno normal de cima para baixo ou de baixo para cima. Será mais fácil de identificar para a máquina, e as peculiaridades dos padrões dirão sobre certas regularidades do padrão em particular
 
Maxim Dmitrievsky:

Intuitivamente, as parcelas de recorrência serão reconhecidas pela visão computadorizada muito mais facilmente do que as séries temporais, sem perda de atributos significativos.

Mas é necessário verificar.

Eu tentei e acho que até escrevi sobre isso, o resultado é o mesmo que com a BP.



O problema é que o mercado gera constantemente BPs diferentes, aquelas coisas que foram no passado nunca se repetirão no futuro se você olhar para o mercado através de BPs ou através de qualquer transformação de BP, então trabalhar com tais características é inútil para a inspeção óptica e para um humano também, a propósito...

 
Dr. Trader:

Não tem nada a ver com comércio, apenas uma experiência interessante.

Obrigado! Este método também pode ser usado para limpar sons de ruídos, por exemplo, gravações antigas ou danificadas, removendo os seus componentes de ruído... Mas todas estas tarefas de análise espectral podem ser feitas não só com PCA, mas também com Fourier ou wavelets
 
Dr. Trader: The Principal Component Approach (PCA) pode ser usado para suprimir o ruído nos dados, eu queria ver como funcionaria para limpar imagens barulhentas....

Deixando de lado a existência de um grande número de filtros para tarefas semelhantes,
no Photoshop, etc., tente outros algoritmos de downsampling -
ICA, NMF, SVD, etc.
Mas como você está interessado na abordagem autodinâmica com elementos DM, você pode usar o clustering, por exemplo.
K-Means, EM-c, DBSCAN, t-SNE etc.
1. Tenta apanhar o barulho.
2. Se tiveres sorte, remove-o.
3. Substituir os espaços vazios pelo vizinho mais próximo, etc.
Depois damos-lhe fotografias com ruídos diferentes e vemos como ficam.
Se você não pode fazer isso, deixe uma garota com lápis retocá-lo))))