Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 1854

Novo comentário
 
Como é que não existe um arquivo OI na bolsa de valores? parece haver lá alguns serviços pagos, talvez eles vendam
 
Maxim Dmitrievsky:
Como é que não existe um arquivo OM na bolsa?
Esse é o ponto de que não há arquivo. Há muito que se sugere que os programadores incluam OM na copiadora que se possa tirar da história. Mas aparentemente há algumas restrições. Como opção, posso perguntar ao tipo que me fez um conselheiro. Ele está sempre a escrevê-lo, mas não para todos os símbolos. Eu parei de escrevê-lo apenas por causa do indicador de mau desempenho :-(.
 

Uma característica estranha no comportamento dos diferentes métodos de detecção de erros que descobri. Modelo de regressão. Aprender com o professor y = 0 ou 1. Dados Titanic.

   oob   RMSEr     AvgEr     AvgRelEr    Train  RMSEr     AvgEr     AvgRelEr

        0.409762  0.333394  0.431368          0.406325  0.330199  0.430042
        0.384805  0.293965  0.377680          0.380747  0.289936  0.377605
        0.383891  0.286546  0.356373          0.370912  0.275152  0.358349
        0.370671  0.261466  0.321370          0.353781  0.250322  0.326013
        0.380332  0.259588  0.299060          0.337633  0.227993  0.296931
        0.388428  0.248587  0.245976          0.309293  0.191325  0.249176
        0.401764  0.237416  0.195562          0.273932  0.150077  0.195456

Para Treinar tudo é como deveria ser, quanto mais forte ensinamos, menos erros para todos os métodos.

No OOV o erro RMSE chega a 0,370671 e depois começa a crescer dizendo que o sobretreinamento começou. Mas a AvgEr e a AvgRelEr continuam a descer mais. Pareceu-me que todos os erros deveriam comportar-se em sincronia, ou seja, deveriam ter começado a subir juntamente com a RMSE.
Fórmulas de cálculo:

for (r=0;r<rows;r++){
  RMSEr += Sqr (pred[r] - y[r]);
  AvgEr += fabs(pred[r] - y[r]);
}
//После суммирования:
RMSEr= sqrt(RMSEr / rows);
AvgEr = AvgEr / rows;

Os cálculos são muito semelhantes ( a quadratura (Sqr) e o módulo de valor (fabs) remove o sinal ), mas o comportamento das curvas é diferente...
Treino repetido com o modelo de classificação, também tem um mínimo no ponto em que o RMSE atinge 0,370671.
Alguém já encontrou tal comportamento de erros? Como pode ser explicado?

 
elibrarius:

Uma característica estranha no comportamento dos diferentes métodos de detecção de erros que descobri. Modelo de regressão. Aprender com o professor y = 0 ou 1. Dados Titanic.

Para Treinar tudo é como deveria ser, quanto mais forte ensinamos, menos erros para todos os métodos.

No OOV o erro RMSE chega a 0,370671 e depois começa a crescer dizendo que o sobretreinamento começou. Mas a AvgEr e a AvgRelEr continuam a descer mais. Pareceu-me que todos os erros deveriam comportar-se em sincronia, ou seja, deveriam ter começado a subir juntamente com a RMSE.
Fórmulas de cálculo:

Os cálculos são muito semelhantes ( a quadratura (Sqr) e o módulo de valor (fabs) remove o sinal ), mas o comportamento das curvas é diferente...
Treino repetido com o modelo de classificação, também tem um mínimo no ponto em que o RMSE atinge 0,370671.
Alguém já encontrou tal comportamento de erros? Como pode ser explicado?

E este é realmente um tópico quando o erro é reduzido pela primeira vez durante a otimização e, portanto, começa a crescer. Pura e teoricamente, se assumirmos que o sobretreinamento começa quando o erro começa a crescer, então, em essência, devemos parar de treinar no momento ou pouco antes do erro começar a crescer. É uma questão do método de detecção em si. Que métodos de avaliação irão implementá-la é outra questão, mas o fato de que o erro começa a crescer como sinal do início da reconversão é genial. sem qualquer sarcasmo :-) Agora vou pensar no que vai tornar isso possível...
 
Mihail Marchukajtes:
E este é realmente um tópico quando durante a otimização o erro diminui no início e, portanto, começa a crescer. Pura e teoricamente, se assumirmos que no início do erro começa o sobretreinamento do crescimento, então na verdade devemos parar de treinar no início do crescimento do erro ou pouco antes dele. É uma questão do método de detecção em si. Que métodos de avaliação irão implementá-lo é outra questão, mas o fato de que o erro começa a crescer como sinal do início da reconversão é genial. sem qualquer sarcasmo :-) Agora vou pensar no que vai tornar isso possível...

Este é um método há muito conhecido para determinar o sobretreinamento, penso que cerca de 50 anos, ou seja, desde o início das redes neuronais e das árvores. Ver artigos de V. Perervenko, por exemplo.
Não estou claro, nesta situação, sobre comportamentos de erro diferentes. Por RMSE podemos determinar o início da reconversão, por outros não.

 
elibrarius:

Este é um método há muito conhecido para determinar o sobretreinamento, penso eu, há cerca de 50 anos, ou seja, desde o início das redes neurais e das árvores. Veja por exemplo artigos de V. Perervenko.
Não estou claro, nesta situação, sobre comportamentos de erro diferentes. Por RMSE você pode determinar o início da reconversão, por outros não.

Sim???? Eu sou tão estúpido :-)
 
elibrarius:

Uma característica estranha no comportamento dos diferentes métodos de detecção de erros que descobri. Modelo de regressão. Aprender com o professor y = 0 ou 1. Dados Titanic.

Para Treinar tudo é como deveria ser, quanto mais forte ensinamos, menos erros para todos os métodos.

No OOV o erro RMSE chega a 0,370671 e depois começa a crescer dizendo que o sobretreinamento começou. Mas a AvgEr e a AvgRelEr continuam a descer mais. Pareceu-me que todos os erros deveriam comportar-se em sincronia, ou seja, deveriam ter começado a subir juntamente com a RMSE.
Fórmulas de cálculo:

Os cálculos são muito semelhantes ( a quadratura (Sqr) e o módulo de valor (fabs) remove o sinal ), mas o comportamento das curvas é diferente...
Treino repetido com o modelo de classificação, também tem um mínimo no ponto em que o RMSE atinge 0,370671.
Alguém já encontrou tal comportamento de erros? Como é que isto pode ser explicado?

É como a SMA e EMA, AvrEr é mais atrasado - presumo - um jogo de números.

 
Alguém já lidou com o Keras, como preparar dados para a LSTM?
 
Mihail Marchukajtes:
Aí é que está: não há arquivo. Há muito que sugerimos que os programadores incluam o OM no livro de cópias para que possa ser retirado da história. Mas parece que há algumas restrições. Como opção, posso perguntar ao tipo que o fez por mim. Ele está sempre a escrevê-lo, mas não para todos os símbolos. Deixei de escrevê-lo apenas por causa do mau desempenho do indicador :-(.

Misha, eu gravei um vídeo para ti.

 
Maxim Dmitrievsky:

Misha, eu fiz-te um vídeo, vou carregá-lo em breve.

Vá em frente. Vamos ver que tipo de besta :-)
1...184718481849185018511852185318541855185618571858185918601861...3399
Novo comentário