Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3356

 
Maxim Dmitrievsky #:
Eu esperava que alguém pudesse pelo menos pesquisar a dica no Google.

Mesmo que você tenha curvas de probabilidade em seu treinamento, sobre quais dados novos você pode falar. E Busting e Forrest pecam muito com isso. Busting é excesso de confiança, Forrest é falta de confiança. Desde que, é claro, você planeje usar o limite.

Eu mesmo observei que, quando você aumenta o limite, a qualidade das negociações não melhora nem mesmo na linha de base. Então, qual é a probabilidade de retorno do modelo? Nada :)

Na imagem de Sanych, há um busting autoconfiante, que pode ser visto pelos outliers da coluna da borda. O vale deveria ser mais suave. Esse é um modelo de treinamento excessivo.

Ele mostra o resultado do modelo em intervalos de "probabilidade" com passo de 0,05. O CatBoost coloca a separação de classes em 0,5 com bastante precisão (magnetta é 1, aqua é 0).

Você pode ver que o resultado da barbatana é positivo a partir de 0,35 - a curva verde se eleva acima da curva vermelha.

É isso que você deseja calibrar: deslocar o ponto de separação de classes para o ponto de geração de receita?

 
Aleksey Vyazmikin #:

É exatamente isso que você quer calibrar, mudando o ponto de divisão de classes para o ponto de geração de renda?

Não.
 
La. Você pode perguntar 30 vezes, mas não pode pesquisar no Google.
 
Maxim Dmitrievsky #:
Não.

Então, qual é o objetivo?

 

Acho que todo mundo já ouviu falar sobre calibração, mas ela não tem utilidade prática, justamente porque a amostra não é representativa.

A estimativa probabilística de folhas individuais, em minha opinião, fornece um resultado mais razoável do que a reponderação da soma das folhas do modelo.

 
Aleksey Vyazmikin #:

Acho que todo mundo já ouviu falar sobre calibração, mas não há utilidade prática nisso, simplesmente porque a amostra não é representativa.

A estimativa probabilística de folhas individuais, em minha opinião, fornece um resultado mais razoável do que a reponderação da soma das folhas do modelo.

Todo mundo já ouviu de tudo, mas ninguém respondeu a nada. Sem mencionar outras nuances que não são divulgadas, mas apenas adivinhadas, que acabam sendo o caso.

E se você tem um modelo fraco (com baixa expectativa), mas estável em OOS, não faz sentido calibrar também? E se você pensar sobre isso.
 
Maxim Dmitrievsky #:
Todos ouviram tudo, mas ninguém respondeu nada. Sem mencionar outras nuances que não são reveladas, mas apenas adivinhadas que acabam sendo isso.

E se você tiver um modelo fraco (com baixa expectativa), mas estável em OOS, não faz sentido calibrá-lo também? E se você pensar sobre isso.

Agora tive a ideia de uma calibração constante, com algum peso - algo como EMA para cada intervalo. Assim, pelo menos haverá um efeito de adaptação à volatilidade do mercado e à obsolescência do modelo.

Não vejo sentido na calibração estática em alguns dados separados. Em meus preditores, investiguei a questão da estabilidade dos indicadores estatísticos, e há poucos indicadores desse tipo, e o modelo está cheio desses preditores erráticos. É por isso que estou procurando estabilidade à qual algo como isso possa ser aplicado.....

Na captura de tela acima, mostrei o modelo na seção - você pode ver como o Recall nas bordas é geralmente baixo, o que já fala sobre medidas estatísticas não iguais para a mesma ponderação, e muitas vezes elas não serão suficientes para falar, mesmo em teoria, sobre estabilidade nesse intervalo de "probabilidade". Portanto, também desse ponto de vista, calibrar o total parece uma ideia duvidosa.

Estou mais interessado na ideia de reponderar os valores nas folhas, no entanto, já escrevi sobre isso anteriormente, mas não recebi nenhum feedback aqui - portanto, é tudo por minha conta....

 
Novamente algumas novas definições.
Pela última vez: o classificador é calibrado porque gera probabilidades incorretas. Elas não têm sentido em sua forma original. Supere isso.
 
O Catbusta tem um código aberto - você pode consultá-lo para saber exatamente o que está sendo oferecido.