Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 2254

 
Maxim Dmitrievsky:

Não pensei muito nisso, apenas um palpite baseado em bisbilhotar por aí.

hmm vai dar-te batatas fritas que o cão nunca viu antes. Mas semelhante aos que você viu. Numa transformação inversa pode ter algum efeito, acho eu. Adiciona algum barulho.

Isto é uma suposição.

Estou a ficar um pouco confuso aqui...

Qualquer forma de PCA é linear não distorce nada, se você tiver todos os componentes você pode colocar de volta o que você decompôs sem perdas.

 
mytarmailS:

Eu já estou confuso aqui...

qualquer forma de PCA é linear não distorce nada, se você tem todos os componentes que você pode colocar de volta o que você decompôs sem perda

Então há uma armadilha em outro lugar. Funciona bem com imagens com PCA, e pior com citações, embora mais rápido.

Bem, isso é compreensível... imagens e números são fáceis de prever, mas o mercado é não-estacionário. Se você utiliza PCA, os componentes deixam de ser relevantes quando a volatilidade muda ou outra coisa qualquer.

como filtros digitais ))))

 
Maxim Dmitrievsky:

O seu PCA não resolve, os componentes deixam de ser relevantes quando a volatilidade muda

Eu não sei o que queres dizer, mas...

se você somar todos os componentes do PCA nos novos dados você recebe o mesmo preço tique para tique, então... Não sei o que queres dizer com relevância.

 
mytarmailS:

Eu não sei o que queres dizer, mas...

Se você somar todos os componentes PCA nos novos dados, você recebe o mesmo preço tique por tique, então... Eu não sei o que queres dizer com relevância.

Vamos falar sobre o cão mais tarde, estou com sono)

os codificadores não funcionaram empiricamente

 
Maxim Dmitrievsky:

Vamos falar sobre o cão mais tarde, estou com sono.)

os codificadores não funcionaram empiricamente.

está bem

 
mytarmailS:

Vais ser o primeiro.

Observando um curso sobre o método Bayesiano de 2019, há algumas idéias interessantes, mas as fórmulas inibem a compreensão. Eis um pensamento, que tentou abordagens modernas com a lógica Bayesiana. O palestrante geralmente argumenta que todo MO sem métodos Bayesianos para estimar a probabilidade no MO é apenas um ajuste.


Falando em ajuste, estou cada vez mais inclinado a concluir que os modelos CatBoost degradam seus resultados em amostras fora do treinamento por causa da amostra não representativa e da forma como o modelo é construído. A questão é que nos modelos clássicos as árvores são simétricas e não há poda, o que pode levar a uma situação em que há muito poucos dados em uma folha, mas a folha não ganha um peso pequeno, e se esta for uma partição defeituosa, então em amostras fora do treinamento, se houver muitos exemplos na folha defeituosa, isso levará a uma distorção significativa dos resultados. E pode haver milhares dessas folhas. Se a amostra fosse representativa, não haveria problema, pois o peso na folha seria adequado e consistente com a natureza da distribuição dos dados (entropia). Você deve tentar desviar as folhas com um pequeno número de exemplos, zerando os seus pesos.

A idéia é que o modelo só responderia aos dados que tem conhecimento, não a um julgamento como "se isto é certo, isto é errado", como é o caso agora.
 
Aleksey Vyazmikin:

Observando um curso sobre o método Bayesiano de 2019, há algumas idéias interessantes, mas as fórmulas dificultam a compreensão. Eis um pensamento, que tentou abordagens modernas com a lógica Bayesiana. O palestrante geralmente argumenta que todo MO sem métodos Bayesianos para estimar a probabilidade no MO é apenas um ajuste.


Falando em ajuste, estou cada vez mais inclinado a concluir que os modelos CatBoost degradam seus resultados em amostras fora do treinamento por causa da amostra não representativa e da forma como o modelo é construído. A questão é que nos modelos clássicos as árvores são simétricas e não há poda, o que pode levar a uma situação em que há muito poucos dados em uma folha, mas a folha não ganha um peso pequeno, e se esta for uma partição defeituosa, então em amostras fora do treinamento, se houver muitos exemplos na folha defeituosa, isso levará a uma distorção significativa dos resultados. E pode haver milhares dessas folhas. Se a amostra fosse representativa, não haveria problema, pois o peso na folha seria adequado e consistente com a natureza da distribuição dos dados (entropia). Devemos tentar contornar as folhas com um pequeno número de exemplos, zerando os seus pesos.

A idéia é que o modelo reage apenas a dados sobre os quais tem uma idéia, não um tipo de julgamento "se isto está certo, isto está errado", como acontece agora.

A representatividade é uma condição importante.

O katbust, quando dividido, produz folhas com um pequeno número de exemplos por folha? A profundidade recomendada ali é 6, ou seja, 2^6=64, ou seja, uma folha terá em média 1/64 das filas de toda a amostra. Se você tiver pelo menos 10000 filas de treinamento, haverá cerca de 156 exemplos por folha em média. Acho que isto é bastante representativo na minha opinião.

Embora se você fizer as árvores simétricas, pode haver alguma distorção lá. Quão pequenas foram as folhas e quantas filas foram submetidas para treinamento?

 
elibrarius:

A representatividade é um pré-requisito importante.

O katbust, quando dividido, produz folhas com um pequeno número de exemplos na folha? A profundidade recomendada ali é 6, que é 2^6=64, ou seja, a folha terá em média 1/64 das linhas de toda a amostra. Se você tiver pelo menos 10000 filas de treinamento, haverá cerca de 156 exemplos por folha em média. Acho que isto é bastante representativo na minha opinião.

Embora se você fizer as árvores simétricas, pode haver alguma distorção lá. Quão pequenas foram as folhas e quantas filas foram submetidas para treinamento?

Neste momento não tenho números exactos - isto é apenas um palpite. Tenho de voltar aos meus códigos antigos, acho que tive a oportunidade de obter tais estatísticas lá - esqueci-me. Você está certo em dizer que a média não parece assustadora, mas isso não significa que não haverá muitos exemplos em uma só folha.

Vemos que as margens de extrema probabilidade na amostra de treinamento e na amostra de teste geralmente diferem significativamente - presumo que o motivo seja apenas as folhas com pequeno número de exemplos, tais folhas são raramente encontradas na amostra de teste.

 

Existe uma visualização da estimativa estatística de activação das folhas das árvores - um dos modelos antigos.

O y é o número da folha e o x é a linha de amostragem. A cor mostra o coeficiente de peso da folha modulo.

Pode-se ver que mesmo aqui há raras ativações foliares, o que significa que a suposição é válida - é um exame de amostra


 
Aleksey Vyazmikin:

Existe uma visualização da estimativa estatística de activação das folhas das árvores - um dos modelos antigos.

O y é o número da folha e o x é a linha de amostragem. A cor mostra o coeficiente de peso da folha modulo.

Você pode ver que mesmo aqui há raras ativações de folhas, então a suposição é razoável - é uma amostragem


Rara ativação no Exame significa antes que o mercado mudou e o que costumava acontecer no traine deixou de acontecer. E também não é necessariamente o caso de haver poucas ativações na folha do estagiário.