Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 2107

 
elibrarius:
É assim que deve ser. O balanceamento por classe NS é necessário. As árvores podem se dar bem como estão.

Bem, eles nem sempre - já escrevi antes.

 

Parece que eu queimei um Expert Advisor (abordagem de treinamento) rentável no meu artigo:

O gráfico mostra o resultado financeiro do modelo no final de cada mês, se você treinar o primeiro modelo em 12 meses e depois adicionar a ele o histórico de cada novo mês - colando o contrato Si futuro no USDRUB_TOM.

 
Aleksey Vyazmikin:

Bem, eles nem sempre lidam - eu já escrevi antes.

Acho que aumentar a profundidade das árvores ajudará tanto quanto o equilíbrio.
 
Aleksey Vyazmikin:

Sim, essencialmente adicionando ruído aos índices preditores. Isso pode afetar os limites de quantização aumentando a seleção de áreas com um, mas por idéia o mesmo efeito deve ser com a adição de duplicatas, apenas assumo que as duplicatas são cortadas pelo algoritmo CatBoost antes do início do treinamento (necessidade de verificar), então sim é uma opção.

É mais provável que a quantização negue esse barulho. Se uma coluna tiver 10000 valores diferentes, quantificando até 255 quanta, obterá uma média de 40 valores diferentes em um quantum. Ou outro exemplo - se originalmente existissem 1000 exemplos, adicionar ruído com a obtenção de 10000 exemplos, depois quantificá-lo em 255 quanta/valores diferentes - trabalho desnecessário na minha opinião com esta adição de ruído.


Olhei para o código recentemente - não vi nenhuma remoção duplicada. Ao contrário, os duplicados são removidos de 40 amostras diferentes e fundidos em 1 quantum.

 
elibrarius:
Penso que aumentar a profundidade das árvores ajudará tanto quanto o equilíbrio.

Você pode tentar aumentar a profundidade também. Você também deve diminuir a taxa de aprendizagem em paralelo - também melhora os resultados em amostras desequilibradas.

elibrarius:

A quantização irá negar este barulho. Se uma coluna tiver 10000 valores diferentes, quantificar até 255 quanta produzirá uma média de 40 valores diferentes em uma única quantização. Ou outro exemplo - se originalmente existissem 1000 exemplos, adicionar ruído com a obtenção de 10000 exemplos, depois quantificá-lo em 255 quanta/valores diferentes - trabalho desnecessário na minha opinião com esta adição de ruído.

Existem diferentes métodos de quantização utilizados ali, incluindo a aglomeração de objetos no intervalo.

elibrarius:

Estava a olhar para o código recentemente - não vi nenhuma remoção duplicada. Pelo contrário, a partir de 40 exemplos diferentes, são feitas duplicações combinando em 1 quantum.

Se você encontrou o processo de quantização (definição de limite) no código, você pode postar este código? Deve haver funções lá?

 

O que o aumento da profundidade tem a ver com isso?

você tem uma grande nuvem de pontos de uma classe e algumas amostras da outra com lado a lado (ou talvez até mesmo dentro) que nunca executam.

A segunda classe precisa ser inchada até um tamanho são, ou usar um algoritmo de classificação de classe

 
Maxim Dmitrievsky:

O que o aumento da profundidade tem a ver com isso?

você tem uma grande nuvem de pontos de uma classe e algumas amostras de outra classe com lado a lado (ou talvez até mesmo dentro) que nunca executam.

A segunda classe precisa de ser inflada até um tamanho são

Aumentar a profundidade ajudará a destacar áreas com um pequeno número de amostras nas folhas, outra coisa é que a percentagem de folhas com zeros pode permanecer a mesma, e então as árvores subsequentes irão novamente obscurecer essas unidades. Ao treinar tais amostras, você pode ver como a Recall vai a zero no meio do treinamento, e depois volta a pequenas porcentagens novamente.

Podes inflar se eu der uma amostra? Se o método funcionar, então vou pensar em como implementá-lo no MT5.

 
Aleksey Vyazmikin:

Aumentar a profundidade ajudará a destacar áreas com um pequeno número de amostras nas folhas, outra coisa é que a percentagem de folhas com zeros pode permanecer a mesma, e então as árvores subsequentes irão novamente obscurecer essas unidades. Ao treinar tais amostras, você pode ver como a Recall vai a zero no meio do treinamento, e depois volta a pequenas porcentagens novamente.

Podes inflar se eu der uma amostra? Se o método funcionar, então vou pensar em como implementá-lo no MT5.

Sim, eu posso. É tudo treta sobre folhas e outras coisas. As aulas devem ser equilibradas
 
Maxim Dmitrievsky:
Eu posso. É tudo treta sobre folhas e coisas assim. As aulas devem ser equilibradas.

Aqui está uma amostra - dividida em 3 partes, eu entendo que só o train.csv precisa ser modificado?

Coluna alvo "Target_100" - as últimas 4 colunas não estão envolvidas no treinamento (você pode se concentrar na coluna de datas lá) - você precisa dela para construir o equilíbrio.

Файл из Облака Mail.ru
Файл из Облака Mail.ru
  • cloud.mail.ru
Облако Mail.ru - это ваше персональное надежное хранилище в интернете.
 
Aleksey Vyazmikin:

Parece que eu queimei um Expert Advisor (abordagem de treinamento) rentável no meu artigo:

O gráfico mostra o resultado financeiro do modelo no final de cada mês, se você treinar o primeiro modelo em 12 meses e depois adicionar a ele o histórico de cada novo mês - colando o contrato Si futuro no USDRUB_TOM.

o equilíbrio rentável sobe no mesmo ângulo

ou geometricamente, se reinvestido