Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3175

 
СанСаныч Фоменко gráfico de otimização na forma de uma "superfície bidimensional".

Ele pode ser usado para monitorar o excesso de treinamento.

Se nessa superfície for possível identificar uma parte em que uma célula esteja cercada por outras células com aproximadamente a mesma cor, então essa célula central fornecerá os parâmetros do TC NÃO com excesso de treinamento. Essa posição corresponde ao fato de que o ótimo encontrado é um platô.

No entanto, se a "superfície" se parecer com a pele de um leopardo, o TS não tem esperança, pois o testador encontrou um grande número de máximos, o que indica uma probabilidade extremamente baixa de atingi-los no futuro.

Não é possível.

A natureza do padrão (superfície) informa apenas sobre as características do TS de acordo com um critério de otimização específico. Se usarmos outro critério, o padrão será diferente. A incompreensão desse fato leva a concepções errôneas de que a otimização (aprendizado) não deve ser realizada até o máximo global; pelo contrário, deve. É a escolha de um critério de otimização adequado à estratégia que é a chave para o aprendizado correto.

Tudo isso já foi discutido muitas vezes antes.

 
fxsaber #:
É assim que as coisas são, eu fiz uma pergunta e depois os profissionais vieram com suas respostas))))))

Como uma divorciada em um jovem e estúpido cara de TI))) pelo menos revide com paus agora))))
 
fxsaber #:

Por favor, esclareça qual é o significado desses intervalos.

No momento, estou imaginando esse esquema neles.

  1. O triturador de números funciona em trem, filtrando por teste.
  2. O triturador de números é completamente desligado. E alguns dos melhores resultados são obtidos no exame.


O primeiro ponto parece estranho. A la "teste avançado" no testador. É melhor do que apenas a otimização sem filtragem, mas em um intervalo combinado: treinamento + teste?

Na medicina, um grupo de 60 pacientes com aproximadamente a mesma doença é dividido aleatoriamente em três grupos, o primeiro grupo é tratado com um novo medicamento, o segundo com um antigo, o terceiro grupo não é tratado e recebe um placebo. E se o primeiro grupo for melhor do que o segundo e o terceiro, o medicamento é reconhecido como bom e o experimento é repetido em um grande número de vezes, ou seja, monitorado e, em seguida, liberado para flutuação livre.

Parece lógico que a probabilidade de resultados falsos positivos e negativos diminui, mas, para mim, isso não é uma panaceia contra erros.

E eu não entendo nem reconheço a avaliação categórica dos resultados em estudos ruidosos em todos)))).

 
Andrey Dik #:

Não, você não pode.

O caráter do padrão (superfície) informa apenas sobre as características do veículo de acordo com um critério de otimização específico. Se usarmos outro critério, o padrão será diferente. A incompreensão desse fato leva ao equívoco de que a otimização (treinamento) não deve ser realizada até o máximo global; pelo contrário, deve. É a escolha de um critério de otimização adequado à estratégia que é a chave para o treinamento correto.

Tudo isso já foi discutido muitas vezes antes.

E todos mantiveram sua própria opinião. Ao que me parece, você é o único.

Você precisa procurar platôs, não picos individuais, que, devido à aleatoriedade do processo, nunca mais aparecerão.

 
Valeriy Yastremskiy #:

Na medicina, um grupo de 60 pacientes com aproximadamente a mesma doença é dividido aleatoriamente em três grupos, o primeiro é tratado com um novo medicamento, o segundo com um antigo, o terceiro não é tratado e recebe um placebo. E se o primeiro grupo for melhor do que o segundo e o terceiro, o medicamento é reconhecido como bom e o experimento é repetido em um grande número de vezes, ou seja, monitorado e, em seguida, liberado para livre circulação.

Parece lógico que a probabilidade de resultados falsos positivos e negativos diminui, mas, para mim, isso não é uma panaceia contra erros.

E eu não entendo nem reconheço a avaliação categórica dos resultados em estudos ruidosos em todos)))).

Dividir o arquivo em seções diferentes e, no exemplo que você deu, a inclusão aleatória de pacientes no grupo, que corresponde à minha amostra, só funciona se os preditores forem relevantes para a variável-alvo, ou seja, não é uma bobagem. Na medicina, a descoberta da relação de um medicamento (preditor) com uma doença é feita por meio da compreensão da fisiologia do processo de colocação do medicamento no corpo. Temos que ter outros métodos para determinar a relação entre o preditor e a variável de destino - tudo isso é pré-processamento, que é feito ANTES do treinamento do modelo, e essa etapa é obrigatória.

Da mesma forma, a arquitetura de teste é obrigatória e deve ser feita ACIMA do treinamento excessivo do modelo.

 
СанСаныч Фоменко #:

E cada um fica com sua própria opinião. Parece-me que você é único.

Você precisa procurar platôs, não picos individuais, que, devido à aleatoriedade do processo, nunca mais aparecerão.

Não me importo realmente com o fato de estar no único número, isso apenas mostra que há realmente poucas pessoas que entendem a problemática))))

se há platôs ou picos - depende da superfície do critério de otimização, do critério! Por que você acha que eles costumam usar o critério - erro no MO? Porque a superfície é monotônica))), ou seja, eles sempre tentam escolher um critério que seja o mais monotônico possível e que tenha um global, se possível.

Portanto, não devemos procurar um platô, mas um critério com a hipersuperfície mais monótona possível.

A propósito, o critério de erro tem exatamente um global com o valor 0. E o fato de que você precisa interromper o treinamento sem atingir o global é outra questão e não tem nada a ver com a superfície do critério.

 
como tenho pena dessas pobres pessoas com mentes imaturas que leem essas bobagens e pensam que aqui pessoas inteligentes discutem algo inteligente....
 
Maxim Dmitrievsky #:
Pode-se concluir que você vem fazendo isso há anos. Ou você poderia simplesmente fazer uma busca aleatória, o que está fazendo agora.

Acabei de escrever que a pesquisa aleatória é uma abordagem improdutiva.

Eu uso a randomização com um elemento de aleatoriedade na seleção de preditores ao testar o potencial de amostragem, e a utilizo há anos no CatBoost.

A randomização não dá nenhuma justificativa para esperar que o modelo continue funcionando, porque as respostas do preditor foram randomizadas nele.

 
Aleksey Nikolayev #:

Na minha opinião, isso se parece com pi-hacking, sobre o qual Maxim escreveu recentemente. A menos que alguns testes estatísticos sejam usados para determinar a importância dos quanta alocados, definitivamente é ele.

Certa vez, dei um exemplo simples quando a melhor hora da semana para negociação foi selecionada no SB (quando ela obviamente não existe). Havia apenas 5*24=120 variantes, mas era suficiente que essa hora fosse sempre encontrada (o intervalo de tempo era de meio ano, eu acho). Também existe uma "estabilidade de amostragem".

Que testes de significância você sugere? Não estou dizendo que o algoritmo de seleção de segmentos quânticos é perfeito, pelo contrário - há muito lixo e quero aprimorá-lo.

Não entendo, com base em que sinais você decidiu que se trata de algum tipo de "pi-hacking" - e qual parte exatamente, seleção de segmentos quânticos ou triagem de cadeias, que são bem e sem treinamento triadas por segmentos quânticos (ou seja, gráficos que construí)? Sim, o método é um pouco diferente da abordagem comum para construir modelos de madeira, mas não muito, o conceito permanece.

Com relação ao exemplo no SB, há duas considerações aqui:

1. Se o processo for desconhecido e houver apenas dados, é possível presumir um padrão de que há uma melhor hora para negociar. Ou há alguma consideração para rejeitar essa hipótese?

2. Se essas observações foram distribuídas de forma relativamente uniforme ao longo do tempo (histórico de eventos), então isso se assemelha mais a um erro do gerador de números aleatórios.

No treinamento, uso amostras de um período grande, geralmente de pelo menos 10 anos.

 
СанСаныч Фоменко #:

Dividir o arquivo em seções diferentes e, no exemplo que você deu, incluir aleatoriamente pacientes em um grupo, o que corresponde à minha amostra, só funciona se os preditores forem relevantes para a variável-alvo, ou seja, não é uma bobagem. Na medicina, descobrir a relação de um medicamento (preditor) com uma doença é feito por meio da compreensão da fisiologia do processo de introdução do medicamento no corpo. Temos que ter outros métodos para determinar a relação entre o preditor e a variável-alvo - tudo isso é pré-processamento, que é feito ANTES do treinamento do modelo, e essa etapa é obrigatória.

Da mesma forma, a arquitetura de teste é obrigatória e deve ser feita ACIMA do treinamento excessivo do modelo.

Infelizmente, não. A fagocitose é visível em um microscópio, mas na ciência da medicina, onde o microscópio não ajuda, as hipóteses são confirmadas por experimentos adequados)

E, a propósito, os pacientes não sabem em que grupo estão.))))

Em geral, condições semelhantes, sem entender as relações de causa e efeito, buscam essas relações.