Otimização e testes fora da amostra. - página 5

 

Candidato, não é tão simples com rentabilidade. Se tomarmos os mesmos conjuntos A, B, C em NS, então a rentabilidade da estratégia após o treinamento normal será assim: é máxima na seção A, muito menos na seção B, e muito pior na seção C. E é assim conosco: grandes resultados na história, mas fora dela - perdas... O problema é escolher uma estratégia onde a área C é quase certamente pior em termos de rentabilidade, mas ainda assim comparável à área A.

Apenas, vamos terminar com as redes neurais.

Eu não pretendo promovê-los aqui. Mas os princípios de teste que eu aprendi quando os estava fazendo são bastante razoáveis. E aqui, ao contrário do ajuste de metaquotas, podemos ao menos confiar na capacidade de generalização (o principal bem devido ao qual um consultor especializado pode permanecer rentável no futuro; nosso otimizador é completamente desprovido deste bem).

 
lna01:
Vita:

Eu queria dizer que o verdadeiro testador MetaTrader permite que você obtenha os mesmos resultados ao otimizar uma amostra + conjunto de amostras como otimizando uma amostra seguida por um teste fora da amostra. No testador, o botão "Propriedades do especialista", depois as abas "Teste" e "Otimização" permitem que você se livre de perdas de qualquer comprimento e profundidade que desejar.

Tudo depende da definição da tarefa. Se negligenciarmos o grau de uniformidade da distribuição de lucros ao longo do tempo de teste, as capacidades padrão do testador MT são realmente suficientes e o tempo gasto será comparável. Vale a pena negligenciar? Cada um tem sua própria experiência e pontos de vista. O processo pode de fato ser chamado de adaptação, mas eu acho que o termo aproximação seria mais preciso. Nem todas as aproximações podem ser extrapoladas para o futuro e o critério de uniformidade do lucro apenas permite rejeitar sabidamente as variantes de extrapolação. IMHO, é claro.


O que se quer dizer é a aplicabilidade do testador a um problema de otimização em uma amostra com testes subseqüentes fora da amostra. Os mesmos resultados, mas é preciso abordá-lo pelo outro lado - para reduzir o número de perdas consecutivas e os valores das perdas. Isso é tudo.
 
Mathemat:

Candidato, não é tão simples com rentabilidade. Se tomarmos os mesmos conjuntos A, B, C em NS, então a rentabilidade da estratégia após o treinamento normal será a seguinte: na parte A é máxima, na parte B é significativamente menor, e na parte C é ainda pior. E é assim conosco: grandes resultados na história, mas fora dela - perdas... O problema é encontrar uma estratégia que é quase certamente pior em termos de rentabilidade na área C, mas ainda comparável à área A.


Penso que a analogia com a aproximação dá a resposta: sabemos que quanto melhor a aproximação, menos adequada ela é para extrapolação (claro que rejeitamos o caso do gráfico de função analítica com sua adivinhação). Portanto, uma boa solução provavelmente não é a que dá mais lucro em A, mas a que dá mais lucro uniforme em A+B. Agora começamos a extrapolação e, novamente naturalmente, o erro aumenta à medida que o horizonte de previsão cresce.
 
Mathemat:

Discordo categoricamente, Vita. Caso contrário, nas redes neurais não haveria divisão de todos os dados em três partes, fundamentalmente diferentes: otimização real - apenas na primeira parte; a segunda serve apenas para determinar o momento de término do treinamento, e a terceira - apenas para testes individuais. Isto é, o verdadeiro ajuste só vai no primeiro, e no terceiro, é o que quer que se revele... E a escolha - "navalha de Occam" ou perda de confiança no sistema - é deixada para o criador do sistema.

Grosso modo, a otimização em A+B+C não é de modo algum a mesma que o processamento descrito acima.


Por uma questão de clareza, só por precaução.

A - conjunto de parâmetros obtidos durante a otimização sobre a amostra

B - conjunto de parâmetros obtidos após o teste A fora da amostra.

O processo de obtenção de B é o processo de otimização na amostra seguido por um teste fora da amostra. É neste processo que você deve se livrar do ajuste de curvas?

C é o conjunto de parâmetros obtidos através da otimização da população de amostra + fora da amostra.

Eu defendo que C é tão bom quanto B em termos de ajuste de curvas.

C-B= o conjunto de parâmetros que não são lucrativos nem na amostra nem fora dela, mas lucrativos para a população como um todo.

O processo de obtenção do B pode ser realizado por um testador padrão.

 

Candidato, não estou dizendo que uma boa solução dá o máximo lucro em A. O otimizador faz isso melhor: ele dá um máximo absoluto em A, mas nada em fora da amostra. De acordo com o modelo de aprendizagem NS, o candidato provável para uma boa solução é o lucro máximo em B com lucro já aceitável, mas não máximo em A.

Sobre seu comentário: quase concordo, mas não A+B, mas A+B+C.

2 Vita: Pensei ter escrito tudo claramente na página anterior. ... Os conjuntos A, B, C não se sobrepõem. Por exemplo:

A - de 1º de janeiro de 2004 a 31 de dezembro de 2005,

B - 1 de janeiro de 2006 a 31 de outubro de 2006, e

C - a partir de 1 de novembro de 2006 até o presente.

A razão usual de comprimento dos dados em NS é A:B:C = 60:20:20.

 
Mathemat:

Sobre seu comentário: Eu quase concordo, mas não A+B, mas A+B+C.

Sou reconhecidamente muito pessimista em relação a A+B+C :). É precisamente por causa da acumulação natural de erros que só se pode obter um lucro comparável a A e B em C por acidente.
 
Candidato, eu também, hehe... Mas se funcionar dessa maneira, não é mais o pior candidato a ser considerado como um picador de couve verde. É a trama C que é a verdadeira trama de avaliação da EA, e é por isso que a incluí entre aspas. E é onde quase todo o erro é normalmente concentrado, enquanto as áreas A e B tendem a ter significativamente menos erros.
 
Mathemat:

Eu não pretendo promovê-los aqui. Mas os princípios dos testes, que eu aprendi enquanto os fazia, são bastante sensatos. E aqui, ao contrário do ajuste de metaquotas, podemos ao menos confiar na capacidade de generalização (a principal propriedade devido à qual um Expert Advisor pode permanecer rentável no futuro; nosso otimizador carece completamente desta propriedade).


Ah, certo! A capacidade de generalização deve ser uma propriedade do Expert Advisor, não do otimizador. A lei deve ser estabelecida no Expert Advisor; a idéia do Expert Advisor deve ser tão abrangente e sistemática quanto possível. Mas eu não faria tal reclamação contra o otimizador. Eu acho absurdo, assim como é absurdo tentar puxar absolutamente qualquer consultor especializado para o nível de rentabilidade em todos os momentos e no futuro com um otimizador capaz de generalizar. Não é culpa de um otimizador de metaquotas que não haja lei, nenhuma idéia lucrativa e a chamada capacidade de generalização que ela possa otimizar. A única coisa que resta é encaixar a curva.
 
Vita, bem visto. Mas eu diria que a capacidade de generalização é uma propriedade não só da EA, mas também do algoritmo de aprendizagem, que deve identificar corretamente esta capacidade. O algoritmo da metaquota não revela essa capacidade, mas a destrói pela super-otimização. Mas não foi criado para uma otimização séria...
 
Mathemat:

Candidato, não estou dizendo que uma boa solução dá o máximo lucro em A. O otimizador faz isso melhor: ele dá um máximo absoluto em A, mas nada em fora da amostra. De acordo com o modelo de aprendizagem NS, o candidato provável para uma boa solução é o lucro máximo em B com lucro já aceitável, mas não máximo em A.

Sobre seu comentário: quase concordo, mas não A+B, mas A+B+C.

2 Vita: Pensei ter escrito tudo claramente na página anterior. ... Os conjuntos A, B, C não se sobrepõem. Por exemplo:

A - de 1º de janeiro de 2004 a 31 de dezembro de 2005,

B - 1 de janeiro de 2006 a 31 de outubro de 2006, e

C - a partir de 1 de novembro de 2006 até o presente.

A razão usual de comprimento dos dados em NS é A:B:C = 60:20:20.


Deus esteja com eles, A,B e C. Eles têm um significado diferente em meus postos. Não são linhas de tempo. Eles são os conjuntos de parâmetros que a otimização produz. Ah, vamos lá.