Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 2843
Você está perdendo oportunidades de negociação:
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Registro
Login
Você concorda com a política do site e com os termos de uso
Se você não tem uma conta, por favor registre-se
SanSanych Fomenko, devemos esperar uma amostra?
Do que se trata?
Estou vendo. Você tem uma familiaridade superficial com modelos de aprendizado de máquina.
O primeiro elemento da cadeia é o pré-processamento, que consome de 50% a 70% do trabalho. É aqui que o sucesso futuro é determinado.
O segundo elemento da cadeia é o treinamento do modelo em um conjunto de treinamentos.
O terceiro elemento da cadeia é a execução do modelo treinado no conjunto de testes. Se o desempenho do modelo nesses conjuntos for diferente em pelo menos um terço, o modelo será retreinado. Isso acontece de vez em quando, ou até com mais frequência. Um modelo com treinamento excessivo é um modelo que é preciso demais. Desculpe-me, o básico.
O que é isso?
Escrevi anteriormente
Fórum sobre negociação, sistemas de negociação automatizados e teste de estratégias de negociação
Aprendizado de máquina na negociação: teoria, modelos, prática e algo-trading
Aleksey Vyazmikin, 2022.12.08:44
Pode me enviar sua amostra? Temos a mesma visão do problema de treinamento deficiente de modelos. Gostaria de comparar o quanto seu método de seleção é melhor que o meu e se ele se ajusta à sua amostra.
Você respondeu que era uma boa ideia, mas apagou a mensagem.
Pelo que entendi agora, estou discutindo modelos de aprendizado de máquina e a otimização incorporada a esses modelos. Foi aí que você começou, com as redes neurais.
Você está discutindo a otimização em si, o que, para mim, não é relevante no aprendizado de máquina.
Boa sorte em sua busca por um ótimo global.
Pelo que entendi agora, estou discutindo modelos de aprendizado de máquina e a otimização incorporada a esses modelos. Foi aí que você começou, com as redes neurais.
Você está discutindo a otimização como tal, o que, para mim, não é relevante no aprendizado de máquina.
Boa sorte em sua busca pelo ótimo global.
Cheguei à ideia mais importante: há uma conexão inegável entre a otimização e o retreinamento do modelo. O modelo deve ser sempre deixado de forma bastante "grosseira" e certamente não é necessário nenhum ótimo global.
A simples rejeição de um ótimo global obviamente não evitará o ajuste excessivo. O ajuste excessivo consiste em uma adaptação muito grande do modelo a essa amostra específica, em detrimento da regularidade existente. Isso ocorre devido à flexibilidade extremamente alta de quase todos os algoritmos de MO. Portanto, a maneira padrão de lidar com isso é introduzir uma penalidade para a flexibilidade excessiva do modelo no critério de otimização (regressão lasso, como exemplo). Você pode simplesmente restringir a flexibilidade do modelo de forma prescritiva, mas matematicamente é apenas uma penalidade mais rígida.
A propósito, esse é um bom exemplo de por que deveria ser possível criar critérios personalizados.
Preferir um extremo global em favor de um platô é um pouco diferente. Não se trata mais de uma questão de ajuste excessivo a uma amostra específica à custa da dependência existente e imutável. Aqui estamos falando sobre o fato de que, devido à não estacionariedade dos preços (sobre o que você escreveu no início), a dependência muda e precisamos procurar valores estáveis (robustos) de parâmetros que permanecerão bons o suficiente mesmo com pequenas mudanças na dependência.
Não é necessário misturar tudo em uma única pilha.
Quando estou procurando uma lista aceitável de preditores - otimização no sentido de calças. Mas o significado é bem diferente: tentar evitar "lixo dentro - lixo fora". Há uma diferença qualitativa aqui em relação à tentativa de encontrar o algoritmo "certo" que encontra o ótimo global. Nenhum ótimo global proporcionará uma TS lucrativa sobre o lixo.
A escolha de calças é um exemplo de otimização multicritério - a escolha é feita por comprimento, tamanho, cor, tecido, preço, marca, etc.) É claro que a superfície de Pareto não é construída, mas há uma mistura implícita na cabeça do comprador de todos os critérios em um único compromisso. A mesma coisa acontece com a seleção de recursos. A diferença importante em relação às calças é que, nesse caso, uma formalização explícita do critério de otimização do compromisso será útil, pois a confiança constante na intuição levará a falhas imprevisíveis.
Se o modelo estiver funcionando, ele tem configurações nas quais funciona bem em dados desconhecidos. também é provável que tenha configurações que não proporcionam desempenho satisfatório em dados desconhecidos - esse caso é chamado de treinamento excessivo. na verdade, o critério de estimativa não foi escolhido corretamente. o critério correto produzirá uma curva roxa para um modelo funcional. o problema se resume à maximização (máximo global) do critério de estimativa correto. em outras palavras, se encontrarmos o máximo global do critério correto, obteremos uma curva roxa.
E vice-versa, se o critério for escolhido incorretamente, a maximização desse critério incorreto resultará em uma curva vermelha.
E isso pressupõe que o modelo funcione, mas vemos como o critério de avaliação é importante.
Mas se o modelo não estiver funcionando, nada ajudará, nem o critério nem a otimização.
Portanto, modelo->critério->otimização do critério
A escolha de calças é um exemplo de otimização multicritério - a escolha é feita por comprimento, tamanho, cor, tecido, preço, marca etc.) É claro que a superfície de Pareto não é construída, mas há uma mistura implícita na cabeça do comprador de todos os critérios em um único compromisso. A mesma coisa acontece com a seleção de recursos. A diferença importante em relação às calças é que, nesse caso, uma formalização explícita do critério de otimização do compromisso será útil, pois a confiança constante na intuição levará a falhas imprevisíveis.
A seleção de calças é um bom exemplo de otimização orientada por critérios. Nem todas as calças boas servirão a todos. A otimização orientada pelo usuário fornece as melhores calças, as que melhor se ajustam (critério máximo global).
calças -> critério de avaliação de calças -> seleção (otimização do critério de avaliação de calças)
Uma simples rejeição do extremo global obviamente não evitará o supertreinamento (overfitting, superajuste). O sobreajuste consiste em uma adaptação muito grande do modelo a essa amostra específica, em detrimento da regularidade existente. Isso ocorre devido à flexibilidade extremamente alta de quase todos os algoritmos de MO. Portanto, a maneira padrão de lidar com isso é introduzir uma penalidade para a flexibilidade excessiva do modelo no critério de otimização (regressão lasso, como exemplo). É possível simplesmente restringir a flexibilidade do modelo de forma diretiva, mas matematicamente é apenas uma penalidade mais rígida.
A propósito, esse é um bom exemplo de por que deveria ser possível criar critérios personalizados.
Preferir um extremo global em favor de um platô é um pouco diferente. Não se trata mais de uma questão de ajuste excessivo a uma amostra específica à custa da dependência existente e imutável. Aqui estamos falando sobre o fato de que, devido à não estacionariedade dos preços (sobre o que você escreveu no início), a dependência muda e é necessário procurar valores estáveis (robustos) de parâmetros que permanecerão bons o suficiente mesmo com pequenas mudanças na dependência.
Não misture tudo em uma única pilha.
A escolha de uma calça é um exemplo de otimização multicritério - a escolha é feita por comprimento, tamanho, cor, tecido, preço, marca etc.) É claro que a superfície de Pareto não é construída, mas há uma mistura implícita na cabeça do comprador de todos os critérios em um único compromisso. A mesma coisa acontece com a seleção de recursos. A diferença importante em relação às calças é que, nesse caso, uma formalização explícita do critério de otimização do compromisso será útil, pois a confiança constante na intuição levará a falhas imprevisíveis.
É bom ver uma postagem de alguém sobre o assunto!
Se o modelo estiver funcionando, ele terá configurações nas quais funcionará bem em dados desconhecidos. também é provável que ele tenha configurações que não proporcionem um desempenho satisfatório em dados desconhecidos - esse caso é chamado de supertreinamento. na verdade, o critério de estimativa não foi escolhido corretamente. o critério correto proporcionará uma curva roxa para o modelo em funcionamento. o problema se resume a maximizar (máximo global) o critério de estimativa correto. em outras palavras, se encontrarmos o máximo global do critério correto, obteremos uma curva roxa.
e vice-versa, se o critério for escolhido incorretamente, a maximização desse critério incorreto resultará em uma curva vermelha.
E isso pressupõe que o modelo funcione, mas vemos como o critério de avaliação é importante.
Mas se o modelo não estiver funcionando, nada ajudará, nem o critério nem a otimização.
Portanto, modelo->critério->otimização do critério
.
Exemplos de critérios integrais: saldo, fator de lucro e outros. Esses critérios fazem uma avaliação resumida sem levar em conta os resultados dos eventos intermediários do processo (no comércio, são as transações). Por exemplo, dois resultados com o mesmo saldo final de 10.000, em um caso 1.000 transações lucrativas e, no outro caso, 999 não lucrativas e 1 lucrativa. É óbvio que, embora o critério integral seja o mesmo em ambos os casos, a forma como o resultado foi alcançado é coordenadamente diferente.
Um exemplo de um critério derivado é o desvio padrão de uma linha de equilíbrio que vai do ponto inicial ao ponto final. Esses critérios, diferentemente dos critérios integrais, levam em conta os resultados intermediários do processo.
Os critérios integrais também podem ter o direito de ser, pois são aplicáveis a determinados tipos de sistemas (por exemplo, onde o número de transações por unidade de tempo é praticamente uma constante).
Mas, tanto para os critérios integrais quanto para os derivados, é necessário atingir um ótimo global. A escolha dos critérios determina a robustez do sistema no futuro.
Se o pesquisador tiver a ideia de que talvez seja necessário buscar não o máximo global, mas algo no meio, nesse caso será necessário reconsiderar imediatamente os critérios de avaliação do modelo.