Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 2239

 
Fast235:

teclado fino+toque, qualquer um deles terá falhas

este é definitivamente falho.

 
Eu baixei os arquivos (amostra) daquela competição que eu não posso mencionar, e eles estão todos em formato .parguet, eu acho que encontrei uma solução, mas eu preciso de python, qualquer um pode convertê-los para csv?
Convert Parquet to CSV
Convert Parquet to CSV
  • 2018.07.06
  • Joe Joe 7,987 10 10 gold badges 50 50 silver badges 110 110 bronze badges
  • stackoverflow.com
How to convert Parquet to CSV from a local file system (e.g. python, some library etc.) but WITHOUT Spark? (trying to find as simple and minimalistic solution as possible because need to automate everything and not much...
 
elibrarius:

O mercado e os participantes e seus algoritmos mudam ao longo do tempo. É estranho que você espere um sistema estável treinado uma vez. Re-treine uma vez por semana ou todos os dias (nas árvores é rápido).

Esta é uma questão filosófica :)

Você precisa entender a rapidez com que o mercado muda, a frequência da reaprendizagem depende disso, como você mede isso?

Penso que o mercado é composto por muitas predisposições diferentes, o seu conjunto é limitado e eu apenas ensino o modelo para identificar essa predisposição e ganhar dinheiro com ela.

 
Vladimir Perervenko:

Porque não gostas das coisas fora da caixa ? Na verdade você só precisa da parte responsável pela comunicação entre MKL e Python (ZeroMQ).

Boa sorte.

Eu não sabia disso)) Obrigado!

 
Maxim Dmitrievsky:

Só não entendo bem porque complicar a tarefa com fotografias, quando se pode fazê-lo com convolução 1d? :) uma imagem não acrescenta nenhuma informação à fila

Sim, você está certo, se um vetor de característica convertido em uma matriz e alimentado em convolução, não vai mudar muito ( Eu já verifiquei :))) No meu caso, a idéia é fazer o máximo uso das propriedades da rede convolucional para encontrar e usar templates locais. Estes padrões são invariáveis no que diz respeito à tradução, ou seja, uma convolução de várias camadas pode encontrar o mesmo padrão em lugares diferentes na imagem. A mesma arquitetura com redução agressiva intermediária do mapa de características permite formar uma hierarquia entre os templates em diferentes camadas de convolução. Portanto, estou tentando encontrar uma interpretação gráfica da citação que permita a convolução para encontrar esses templates.

 
welimorn:

Sim, você está certo, se o vetor de característica é convertido em uma matriz e alimentado em convolução, não vai mudar muito( já verificado :))) No meu caso, a idéia é fazer o máximo uso da propriedade da rede de convolução para procurar e usar padrões locais. Estes padrões são invariantes no que diz respeito à tradução, ou seja, uma convolução de várias camadas pode encontrar o mesmo padrão em lugares diferentes na imagem. Da mesma forma, uma arquitetura com redução agressiva intermediária de mapas de características permite formar uma hierarquia entre modelos em diferentes camadas de convolução. Portanto, estou tentando encontrar uma interpretação gráfica de uma citação que permita à convolução encontrar esses modelos.

E como se converte um vetor em uma matriz?

 
welimorn:

Sim, você está certo, se o vetor de característica é convertido em uma matriz e alimentado em convolução, não vai mudar muito( já verificado :))) No meu caso, a idéia é fazer o máximo uso da propriedade da rede de convolução para procurar e usar templates locais. Estes padrões são invariantes de transferência, ou seja, a convolução de várias camadas pode encontrar o mesmo padrão em lugares diferentes na imagem. Da mesma forma, a arquitetura com redução agressiva de mapas de características intermediárias nos permite formar uma hierarquia entre os templates em diferentes camadas de convolução. Portanto, estou tentando encontrar uma interpretação gráfica de uma citação que permitirá à convolução encontrar esses templates.

A propósito. É correcto procurarmos padrões em diferentes lugares na tabela?
Eu acho que não.
Por exemplo, encontramos um padrão em 20 pontos após o qual devemos comprar. E se este padrão não estava na barra 0-m mas 20-50-200 barras atrás e é tarde demais para comprar, devemos vender. O inverso vai encontrá-lo e comprar. Ele responderá à pergunta se o padrão estava na seção do gráfico mostrado a ele. Mas devemos procurar o padrão apenas na parte direita do gráfico, ou seja, na barra 0.

Assim, acontece que as redes convolucionais não são adequadas para trabalhar com citações. A aparência do padrão em qualquer outro lugar que não seja a barra 0 só interferirá no trabalho lucrativo.
Se o gráfico tiver 100 pontos e o padrão tiver 20. Então a rede de convolução vai sinalizar que há um padrão aqui 80 vezes!!!

Ia fazê-los, mas mudei de ideias.
 
welimorn:

Sim, você está certo, se o vetor de característica é convertido em uma matriz e alimentado em convolução, não vai mudar muito( já verificado :))) No meu caso, a idéia é fazer o máximo uso da propriedade da rede de convolução para procurar e usar templates locais. Estes padrões são invariantes no que diz respeito à tradução, ou seja, uma convolução de várias camadas pode encontrar o mesmo padrão em lugares diferentes na imagem. Também a arquitetura com redução agressiva de mapas de características intermediárias permite formar uma hierarquia entre os templates em diferentes camadas de convolução. Portanto, estou tentando encontrar uma interpretação gráfica de uma citação que permita à convolução encontrar esses templates.

Podias tentar parcelas de recorrência. Eu fiz, mas não funcionou, e está lento novamente.

 
Maxim Dmitrievsky:

podes tentar parcelas de recorrência. Eu fiz, mas não funcionou, e é lento, outra vez.

ou uma decomposição em série, PCA por exemplo com uma transformação inversa....

você pode decompor a série em átomos e remontá-los.


aqui estão os dois primeiros componentes na janela de 100

aqui estão 2 e 3 componentes

aqui estão 3 e 4 componentes

aqui estão 30 e 31 componentes

dessa forma podes decompor até 100, uma coisa fixe...

tudo isto sobre novos dados, sem atraso, etc...


......

......

.....

Huh... A maioria das pessoas nem sequer percebeu do que eu estava a falar )))) provavelmente)))

 
mytarmailS:

ou decomposição em série, PCA por exemplo, com transformação inversa....

a série pode ser atomizada e remontada


aqui estão os dois primeiros componentes na janela 100

aqui estão 2 e 3 componentes

aqui estão 3 e 4 componentes

aqui estão 30 e 31 componentes

dessa forma podes decompor até 100, uma coisa fixe...

tudo isto sobre novos dados, sem atraso, etc...


......

......

.....

Huh... A maioria das pessoas nem sequer sabe do que estou a falar )))) ))

Isso é certo. A maioria não entendeu nada do que estava a falar. Bem, é assim que é suposto ser.

Você veio por caminhos rotundos para a construção, que é bem conhecida, amplamente aplicada na prática e bem provada, chamada de "nonius tracking system". E apesar de ainda não teres a maior parte do tempo, tens a essência disso.