Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 613

 
Vladimir Perervenko:

Surpreendido. Que tipo de modelo é que conta durante mais de uma hora?

Deve demorar no máximo 1-2 minutos.

88-50-20-2 rede, 86400 linhas de dados de treinamento em 88 preditores. + 28800 para os dados de validação e para a seção de teste (no entanto, eles são contados rapidamente).

 
Vizard_:

Professor, tenho vergonha de perguntar. Quanto deve custar um modelo?
De certeza que não vai trazer tostões? Talvez haja uma fórmula (preço-qualidade)?)).


Bem, obviamente não dois kopecks, Trickster.....Você deve entender que, você não é um garotinho.....

A busca de um modelo generalizado no espaço de dados multidimensional não é uma tarefa rápida e otimizadora. Aumentar os requisitos e regras cada vez mais rigorosas para a construção de modelos para reduzir o efeito de sobre-aprendizagem leva ao aumento do tempo necessário para encontrar um modelo desse tipo. Portanto, os dados precisam de ser sacudidos completamente....

Por que o mesmo arquivo na AWS e Reshetny's tem tempo diferente? AWS 2-5 minutos, Reshetov 3 horas e o seu modelo é duas vezes melhor que o modelo AWS/ Porquê?

 
elibrarius:

Rede 88-50-20-2, 86.400 linhas de dados de treinamento em 88 preditores. + 28.800 por dados de validação e parcela de teste (no entanto, eles contam rapidamente)


Com um conjunto assim, Reshet estaria a contar para sempre :-)

Deixa-me contar-te um segredo. Alfa nos dados só pode estar em uma seção muito curta. Com os meus dados ainda não fui capaz de aumentar este parâmetro mais de 50 linhas. Ou seja, eu tenho 100 colunas e 50 filas. Isto cobre cerca de duas semanas do mercado. Ou seja, se eu começar a aumentar o intervalo de treinamento, a qualidade do modelo cai abaixo de 75% e a qualidade do CB torna-se tal que é impossível trabalhar nele, por sua conta e risco. Então não entendo o que queres fazer com estes milhares de discos. Você não pode construir um modelo para todo o mercado com o nível aceitável de qualidade de treinamento - quanto maior a área de treinamento, pior é o modelo. E se mostrar bons resultados em tal área, então não tem nada a ver com o conceito de generalização..... Sabes o que quero dizer com "......".

Sabes porque não consegues construir modelos num longo trecho com bom desempenho??? Porque tais dados... inputs.... que poderia construir um tal modelo NÃO existe na natureza em princípio..... Não existem tais dados, caso contrário já teriam sido usados em comum há muito tempo. Quero dizer, dados....... publicamente disponíveis, e não insider ou qualquer.... Então... não entendo porque tantas linhas????

 
Mihail Marchukajtes:

Com um conjunto assim, Reshetov estaria contando para sempre :-)

Deixa-me contar-te um segredo. Alfa nos dados só pode estar em uma seção muito curta. Com os meus dados ainda não fui capaz de aumentar este parâmetro mais de 50 linhas. Quero dizer, tenho 100 colunas e 50 filas.

Você não pode construir tais modelos, o comprimento da amostragem deve ser pelo menos 5 vezes o número de características, e você tem mais características do que a amostragem e a maldição da dimensionalidade

Você mostra ignorância ao invés de revelar o segredo do Forex.

 
Mihail Marchukajtes:
Então não percebo o que queres fazer com estes milhares de discos? Você não será capaz de construir um modelo sobre todo o mercado com um nível aceitável de qualidade de treinamento. E se mostrar bons resultados em tal área, então não tem nada a ver com o conceito de generalização..... Sabes o que quero dizer com "......".

É uma M1, apenas 60 dias. Portanto, não para todo o mercado, mas para os últimos 3 meses.

Quando a duração duplica, o modelo já não constrói.... Optimizar a duração, claro, mas ainda não chegámos a isso. Eu gostaria de descobrir o número de camadas primeiro.

Se você construir pelo menos 10 modelos, levará de 8 a 10 horas para calculá-los(((

Há 3 fórmulas para calcular, encontrar min e max, contá-las, depois 2-3 entre elas, e 2-3 fora. E depois, de tudo isso, escolha os melhores modelos, e se já estiverem calculados - para montá-los.

PS Hm. Isto é com 2 camadas escondidas, e a mesma quantidade com 1 camada.

Em geral, vinte e quatro horas irão determinar o modelo.

 
elibrarius:

Em geral, 24 horas determinarão o modelo.


Não sou uma aberração mineira, a etiqueta de preço é 3 vezes maior do que todas as cartas normais).

As aberrações dos mineiros aumentaram o preço por 3 vezes em todas as cartas normais.

 
elibrarius:

É uma M1, apenas 60 dias. Portanto, não para todo o mercado, mas para os últimos 3 meses.

Ao duplicar a duração, o modelo não foi mais construído.... Optimizar a duração, claro, mas ainda não cheguei a isso. Eu gostaria de descobrir o número de camadas primeiro.

Se você construir pelo menos 10 modelos, levará de 8 a 10 horas para calculá-los(((

Há 3 fórmulas para calcular, encontrar min e max, contá-las, depois 2-3 entre elas, e 2-3 fora. E depois, de tudo isso, escolha os melhores modelos, e se já estão calculados - para montá-los.

PS Hmm. Isso é com 2 camadas escondidas, e a mesma quantidade com 1 camada.

Em geral, 24 horas determinarão o modelo.

De preferência, você deve tentar construir um modelo baseado no princípio da análise fractal usando tais dados. Quando vários prazos são utilizados para a entrada. Maxim mostrou-nos um bom vídeo sobre a fractalidade do mundo.
Em geral posso sugerir-lhe um servidor dedicado para i7 3-4Ghz e ssd por apenas $7-8 por mês. Conta bem, e o computador não vai estar tão ocupado.
 

Tenho a ideia de que a entrada (e possivelmente a saída) pode ser alimentada com distribuições de cotações de uma certa profundidade, ou momentos de distribuições

Isso irá obter uma imagem suavizante e probabilística e, talvez, um número limitado de certas variantes, o que é importante. Mas eu ainda não o fiz - para isso preciso de bombear a análise de variância.

Se tivermos em conta os fractais, então mb. as relações de distribuição entre as diferentes tf. Mas o tema precisa de ser trabalhado seriamente, desenhando um diagrama.

 
Mihail Marchukajtes:

Encontrar um modelo generalizável no espaço de dados multidimensional não é uma questão rápida do ponto de vista da optimização, porque o aumento das exigências e a introdução de regras cada vez mais rigorosas para a construção de modelos, a fim de reduzir o efeito do excesso de aprendizagem, implica um aumento do tempo necessário para encontrar um modelo desse tipo. Portanto, os dados precisam de ser sacudidos completamente....

Por que o mesmo arquivo na AWS e Reshetny's tem tempo diferente? AWS 2-5 minutos, Reshetov 3 horas e o seu modelo é duas vezes melhor que o modelo AWS/ Porquê?

O modelo da Reshetov não é uma referência. Por exemplo, a busca de um conjunto de preditores nele é feita tentando diferentes variantes - o modelo pega um conjunto aleatório de preditores, é treinado e lembra-se do resultado. Isto é repetido um grande número de vezes num loop, sendo o melhor resultado utilizado como modelo final. Este processo pode ser acelerado visivelmente se você primeiro fizer uma seleção de preditores com um algoritmo especial, e depois treinar o modelo Reshetov apenas uma vez nesse conjunto em particular. E você obtém a qualidade do modelo Reshetov a uma velocidade comparável à do AWS. O "custo" de tal modelo vai cair significativamente, mas a qualidade vai permanecer a mesma.

 
Aleksey Terentev:
Eu acho que você deveria tentar construir um modelo baseado no princípio da análise fractal com tais dados. Quando vários períodos de tempo devem ser introduzidos. Maxim mostrou um bom vídeo sobre a fractalidade do mundo.
Em geral posso sugerir-lhe um servidor dedicado para i7 3-4Ghz e ssd por apenas $7-8 por mês. Conta bem, e o computador não vai estar tão ocupado.
Alguns TFs e eu usamos) Apenas analisando a cada minuto. Não preciso de um servidor, obrigado!