Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 596

 
Aleksey Terentev:
Tente a validação cruzada (dobra K).
Como ajudará a aumentar o impacto dos novos dados?
 
elibrarius:
Como é que isso ajuda a aumentar o impacto dos novos dados?
Pense nisso, você treina o modelo alimentando blocos individuais de dados, o que dará ao modelo alguma independência da seqüência de séries temporais, o que resulta na avaliação dos novos dados sem "viés".
 
Aleksey Terentev:
Pense nisso: você ensina o modelo alimentando blocos de dados separados, que dará ao modelo alguma independência da seqüência de séries temporais e novos dados serão avaliados sem "viés".

"Sequências de tempo independentes de sequência" é assegurada por agitação. Sem ele, o modelo não dá em nada.

E a questão é como aumentar a importância dos dados mais recentes ao misturá-los para que o modelo capte mais rapidamente as novas tendências do mercado.

 
elibrarius:

"Sequências de tempo independentes de sequência" é assegurada por agitação. Sem ele, o modelo não dá em nada.

E a questão é como, com a mistura, aumentar a importância dos dados mais recentes, para que o modelo capte mais rapidamente as novas tendências do mercado.

O pré-treinamento é realizado com dados antigos. As etapas finais de treinamento são conduzidas com base em novos dados.
 

Isto é, treino em 2 passos?
Treinamento sobre uma grande quantidade de dados + reciclagem do modelo resultante em dados novos.
É possível tentar.


Eu tive uma ideia, basta adicionar dados novos 2 -3 vezes ao conjunto de dados de treino total. Mesmo com o baralhamento, o significado vai aumentar.

 
elibrarius:

Eu estava a pensar, se tudo está baralhado, como podemos fazer com que os novos dados tenham um efeito mais forte no treino?

Há um truque para duplicar os exemplos de treinamento mais recentes várias vezes.
E por exemplo, no pacote gbm você pode definir algum coeficiente de importância para cada exemplo de treinamento, mas não é um neurônio, eu apenas dei um exemplo.


elibrarius:

"Séries de tempos independentes de sequência" é fornecida por baralhamento. Sem ele, o modelo não dá em nada.

A maioria dos modelos não tem nada a ver com dependência de sequência. Em neurônios, por exemplo, um erro é calculado para cada exemplo de treinamento, e então a soma de todos os erros afeta as mudanças de pesos. A soma não muda quando a ordem das somas muda.

Mas os modelos têm frequentemente um parâmetro batch.size ou algo semelhante que influencia a percentagem de dados de treinamento a serem tomados para treinamento. Se você pegar uma porcentagem muito pequena dos dados de treinamento, e desligar a mistura, então o modelo pegará sempre o mesmo pequeno conjunto, e tudo acabará mal. Eu não sei sobre o Darch especificamente, mas desligar a mistura não deve causar um fracasso completo, você tem algo errado com os outros parâmetros.


Aleksey Terentev:
Tente a validação cruzada (dobra K).

Eu concordo plenamente. O que quer que seja que o autor do modelo diga em voz alta sobre a sua protecção contra o excesso de alimentação, só o k-fold mostrará se é verdade ou não.

 
Está na hora de arredondares e tirares uma conclusão.
E mostra a prática.
 
Alexander Ivanov:
Está na hora de fazeres um levantamento e tirares uma conclusão.
E mostra a prática.

Em breve... "Quase pronto."

Esta é a coisa mais difícil que já fiz na minha vida.

 
Maxim Dmitrievsky:

em breve... "Quase pronto."

Esta é a coisa mais difícil que já fiz na minha vida.

Ugh, esfregar canetas para experimentar a demonstração 😀👍👍👍👍 como uma avozinha fresca e saborosa pie😂😀
 
Imho claro, mas aqui em cada página do ramo, você precisa começar com o slogan do SanSanych - "lixo dentro - lixo fora". E todos os seus talentos cognitivos e criativos devem, em primeiro lugar, visar a redução do lixo na entrada, e só depois tentar carregar ao extremo o hardware do computador.