Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3293

 
Maxim Dmitrievsky #:

Um cronograma diferente é usado no MoD

Na inferência de Kozol, é mais fácil trabalhar com a tendência do que com a variação. Por isso, a conclusão não hipotética de que a complexidade do modelo ou o aumento do número de recursos atrapalha mais do que ajuda.


De onde vem esse gráfico?

O MO usa critérios completamente diferentes, como o AIC, que é penalizado por ter muitos parâmetros.

Esse e outros critérios de informação estão de acordo com uma suposição comum em modelagem, de que, entre dois modelos com o mesmo desempenho, é escolhido aquele com menos parâmetros.

Não devemos nos esquecer de que o próprio conceito de "modelo" é uma redução da realidade. Não há extremos aqui. Há um equilíbrio entre o enrijecimento e a aceitabilidade da precisão do modelo. Mas o principal não é a precisão do modelo, e sim seu refinamento, sua capacidade de generalização. E isso é compreensível, já que o principal inimigo da modelagem é o ajuste excessivo, o irmão da precisão do modelo.

 
СанСаныч Фоменко #:

De onde é esse gráfico?

O básico do básico

https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff

 
СанСаныч Фоменко #:

Não devemos nos esquecer de que a própria noção de "modelo" é uma condensação da realidade. Não há extremos aqui. Há um equilíbrio entre o refinamento e a aceitabilidade da precisão do modelo. Mas o principal não é a precisão do modelo, e sim seu refinamento, sua capacidade de generalização. E isso é compreensível, já que o principal inimigo da modelagem é o ajuste excessivo, o irmão da precisão do modelo.

Você confunde constantemente o conceito de "extremo" com "pico agudo" (o ponto em que uma função não tem derivada).

Até mesmo uma superfície plana tem um extremo.

Outra coisa é que os FFs sempre tentam escolher de tal forma que a superfície do FF seja a mais suave possível e o extremo global seja o único. O único extremo global deve ser a única solução inequívoca do problema.

Se o extremo global do FF não for o único e, mais ainda, se ele não tiver uma derivada, isso significa uma escolha incorreta do FF (o critério para avaliação do modelo). A incompreensão desse fato leva ao termo "ajuste excessivo", e a incompreensão desse fato leva à busca de algum extremo local ambíguo.

Podemos fazer uma analogia: um especialista - um médico - é treinado, exames de qualificação (FF) são desenvolvidos para certificação, para um médico não pode haver o conceito de "supertreinado" ou "superajustado", se um médico não obtém a pontuação máxima - isso significa que ele está subtreinado. E, de acordo com o senhor, um bom médico deve ser sempre um subtreinado com baixo desempenho.

Mais uma vez, o problema do "treinamento excessivo" é a escolha errada dos critérios de avaliação do modelo. Parece que esses especialistas descolados estão presentes no fórum, mas eles repetem sempre os mesmos erros. O desenvolvimento de critérios de estimativa corretos não é menos importante do que a escolha de preditores, caso contrário, é simplesmente impossível estimar adequadamente o modelo.

Prevejo uma enxurrada de objeções, mas tudo bem, estou acostumado com isso. Se for útil para alguém - ótimo, e para aqueles que não serão úteis - tanto faz, então eles acham que está tudo bem do jeito que está.

 
Andrey Dik #:

Você continua confundindo o conceito de "extremo" com "pico agudo" (o ponto em que uma função não tem derivada).

Até mesmo uma superfície plana tem um extremo.

Outra coisa é que os FFs sempre tentam escolher de modo que a superfície do FF seja a mais suave possível e o extremo global seja o único. O único extremo global deve ser a única solução inequívoca do problema.

Se o extremo global do FF não for o único e, mais ainda, se ele não tiver uma derivada, isso significa uma escolha incorreta do FF (o critério para avaliação do modelo). A incompreensão desse fato leva ao termo "ajuste excessivo", e a incompreensão desse fato leva à busca de algum extremo local ambíguo.

Podemos fazer uma analogia: um especialista - um médico - é treinado, exames de qualificação (FF) são desenvolvidos para certificação, para um médico não pode haver o conceito de "supertreinado" ou "superajustado", se um médico não obtém a pontuação máxima - isso significa que ele está subtreinado. E, de acordo com o senhor, um bom médico deve ser sempre um não cientista com treinamento insuficiente.

Mais uma vez, o problema do "supertreinamento" é a escolha errada dos critérios de avaliação do modelo. Parece que esses especialistas descolados estão presentes no fórum, mas eles repetem os mesmos erros várias vezes. O desenvolvimento de critérios de estimativa corretos não é menos importante do que a seleção de preditores, caso contrário, é simplesmente impossível estimar adequadamente o modelo.

Prevejo uma enxurrada de objeções, mas tudo bem, estou acostumado com isso. Se for útil para alguém - ótimo, e aqueles que não serão úteis não se importam, então acham que está tudo bem como está.

Você está confundindo as entidades. Você está tentando encaixar a otimização na aproximação, ou vice-versa.

A aproximação e a otimização são abordagens diferentes na solução de problemas de aprendizado de máquina.


A aproximação refere-se à criação de um modelo que aproxima a relação entre os dados de entrada e saída. Isso pode ser, por exemplo, a construção de uma função linear ou não linear que melhor descreva os dados. A aproximação não leva em consideração a meta ou o problema a ser resolvido, mas busca apenas criar um modelo que melhor se ajuste aos dados.


A otimização, por outro lado, refere-se a encontrar os parâmetros ideais do modelo para atingir uma meta ou um problema específico. Nesse caso, o modelo pode ser mais complexo e conter mais parâmetros do que no caso da aproximação. A otimização leva em conta a meta ou o objetivo e ajusta os parâmetros do modelo para obter o melhor resultado possível.


Em geral, a aproximação e a otimização costumam ser usadas em conjunto para criar modelos eficazes de aprendizado de máquina. Primeiro, a aproximação é realizada para criar o modelo e, em seguida, a otimização é realizada para ajustar os parâmetros desse modelo para atingir a meta ou a tarefa desejada.

 
A rede neural não se importa com seus FFs. Ela executa sua tarefa com dados prontos para uso. A discussão aqui é como encontrar um equilíbrio entre a variação e o viés desse modelo. Mitramiles colocou diferentes FFs na segunda extremidade do NS. Obteve todos os mesmos ajustes.

Você escreveu sobre encontrar um alvo f-i, que já definimos por padrão.

Você ainda precisa perceber a diferença.
 
É por isso que foi escrito acima sobre a importância da marcação adequada ou do Oracle, com base no conhecimento especializado ou em decisões algorítmicas. Isso é o que você traz para o modelo a priori. Nenhum FF vai lhe salvar nesse ponto.

Isso já foi discutido várias vezes, dando voltas e mais voltas. Ou algo concreto é discutido, ou cada um puxa a carga para o seu lado.
 

Bem, eu lhe disse.

Eu entenderia se Sanych começasse a revidar, mas Max....

FF é uma avaliação, nós avaliamos tudo. Se julgarmos mal o que fazemos, isso não significa que estamos fazendo errado. Sem uma avaliação adequada, é 50/50 e então eles dizem - isso não funciona, aquilo não funciona.... Não tenho a pretensão de ser um especialista em design de avaliação, é uma tarefa muito difícil.

"É apenas a mesma coisa sendo dita em círculos" - essas palavras não são minhas, se é que são)))))) É possível mudar as palavras em alguns lugares para que soe ainda pior. Aqui, o critério de avaliação é "número de palavras", o que não é uma avaliação correta, pois ao mudar as palavras em alguns lugares, o significado pode mudar drasticamente.

 
Não posso deixar de compartilhar as notícias impressionantes (tão verdadeiras para mim): foi encontrado um algoritmo ainda mais forte do que o SSG.
 
Há uma substituição constante de conceitos, é impossível se comunicar.
 
Maxim Dmitrievsky #:
Há uma substituição constante de conceitos, é impossível se comunicar.

Concordo, ninguém se entende, não há um critério único para avaliar uma declaração e sua carga semântica. Ninguém sabe quem quer dizer o quê, como naquela anedota:

- O que você quer dizer?

- Eu quero dizer o que eu quero dizer.

É assim que acontece no MoD.