Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 556

 
Aleksey Terentev:
Sobreajustamento - Ocorre na presença de grandes pesos (~10^18), uma consequência da multicolinearidade, que leva ao modelo instável A(x, w).


O sobretreinamento é tratado por: parada precoce da aprendizagem de modelos, limitação do crescimento de pesos (L1(Lasso) e regularização L2), limitação de laços na rede (Dropout), também possível aplicação de funções de penalização (ElacticNet, Lasso).

E a regularização L1 leva à selecção de características, uma vez que zera nos seus coeficientes de peso.

A remoção de características "ruidosas" é a selecção de características. Há métodos para isto. Isto nem sempre beneficia o modelo, por isso às vezes é utilizada a regularização L2 (ajuda a resolver o problema da multicolinearidade).


SanSanych Fomenko, a sua declaração sobre a relação de características e alvos é um pouco presunçosa. Porque como você pode afirmar algo que ainda não foi provado; é para isso que o modelo MO é construído. Um modelo que é construído e funcionando dá alguma estimativa do que é a relação com a precisão "mais ou menos".

E o exemplo com calças e saias, mostra a escassez de conhecimento do pesquisador sobre a área de estudo, pois em tal modelo você joga fora atributos valiosos sobre o local de residência, época do ano, latitude e longitude da região de residência, e assim por diante.


O meu exemplo é um caso degenerado, pensamento puro, classificação sem erros. Não existem tais características na economia, mas na genética, se não 100%, um pouco menos é possível.

Agora sobre a regularização.

Sem dúvida.

Mas a consistência é importante.

Primeiro, sempre, a seleção dos traços com base na "relação" com o alvo. Se em mercados bolsistas, com base em relações econômicas.

Isto é sempre primeiro e depois tudo o resto.


Tenho um TS a trabalhar com o rf. Eu seleciono 27 preditores entre várias centenas de atributos usando a "relação". Então seleciono de 27 com algoritmo padrão em cada barra (H1), 5 a 15 permanecem, são sempre diferentes. Eu limito o número de árvores, 100 é muito, 50 não é suficiente, o erro a 50 não estabiliza.

Esta é uma experiência concreta. O erro de classificação ZZ é ligeiramente inferior a 30%. Não há forma de reduzir - precisa de outros preditores, e não há ideias em preditores.

 
SanSanych Fomenko:

Como você tem tantos parâmetros ao mesmo tempo para a entrada, então é claro o que você quer dizer.

Nesse caso, a reciclagem é um pouco secundária aqui, o que provavelmente me chamou a atenção. É mais perto de "facilitar" os cálculos.

 
Aleksey Terentev:

Uma vez que você tem tantos parâmetros ao mesmo tempo para entrada, é claro o que você quer dizer.

Nesse caso, o excesso de equipamento é algo secundário aqui, o que provavelmente me chamou a atenção. Está mais perto de "facilitar" os cálculos.


Porquê secundário?

O que é primário?

O que pode ser mais assustador do que o excesso de roupa?

 
SanSanych Fomenko:

Porquê secundário?

O que é primário?

O que pode ser mais assustador do que o excesso de formação (over-fitting)?

Na questão levantada sobre os parâmetros de amostragem para classificação com algumas correlações entre os dados de destino, você mencionou a sobreajustamento. Eu tentei corrigi-lo e generalizei esta questão à tarefa de seleção de recursos. Ao mesmo tempo, fiz considerações sobre a sobretreinamento, onde a questão da seleção surge como conseqüência.
É por isso que eu digo que na questão levantada, o sobretreinamento é secundário.
Embora você tenha notado corretamente, eu deveria ter dito: "A seleção dos parâmetros é secundária à reciclagem, e vale a pena considerar a questão com mais detalhes a partir daí.
 
Adicionado um indicador de sinal, se estiver interessado. https://www.mql5.com/ru/blogs/post/712023
 
Lê quando quiseres.
https://habrahabr.ru/post/345950/
Добро пожаловать в эру глубокой нейроэволюции
Добро пожаловать в эру глубокой нейроэволюции
  • habrahabr.ru
От имени команды Uber AI Labs, которая также включает Joel Lehman, Jay Chen, Edoardo Conti, Vashisht Madhavan, Felipe Petroski Such и Xingwen Zhang. В области обучения глубоких нейронных сетей (DNN) с большим количеством слоев и миллионами соединений, для тренировки, как правило, применяется стохастический градиентный спуск (SGD). Многие...
 

acontece que simples NS além dos limites da amostra de treinamento funciona bastante mal (vai para uma constante tangente hiperb.)... no caso de regressão, ou seja, não muito melhor do que RF

artigo muito ilustrativo

https://habrahabr.ru/post/322438/


Нейронные сети в картинках: от одного нейрона до глубоких архитектур
Нейронные сети в картинках: от одного нейрона до глубоких архитектур
  • 2022.02.17
  • habrahabr.ru
Многие материалы по нейронным сетям сразу начинаются с демонстрации довольно сложных архитектур. При этом самые базовые вещи, касающиеся функций активаций, инициализации весов, выбора количества слоёв в сети и т.д. если и рассматриваются, то вскользь. Получается начинающему практику нейронных сетей приходится брать типовые конфигурации и...
 
Maxim Dmitrievsky:

acontece que simples NS além dos limites da amostra de treinamento funciona bastante mal (vai para uma constante tangente hiperb.)... no caso de regressão, ou seja, não muito melhor do que RF

artigo muito ilustrativo

https://habrahabr.ru/post/322438/


IMHO, é um artigo útil e estimulante de pensamento, sem reivindicações de novidade mas com bom senso prático.


Aleksey Terentev:
Lê quando quiseres.
https://habrahabr.ru/post/345950/

IMHO é um artigo inútil, má tradução, ou eu sou um mau leitor, mas para mim parece um amontoado trivial de idéias ultrapassadas e, infelizmente, outra confirmação de profunda crise de aprendizagem como tecnologia de ponta, até mesmo o verdadeiro pai dessa tendência Jeffrey Hinton em seus artigos sobre redes neurais em cápsulas tem falado sobre isso ultimamente.

Respeito ao Uber Taxi, no entanto...))

 
Ivan Negreshniy:
IMHO artigo útil e informativo, sem pretensões de novidade, mas com um bom senso prático.

É por isso que é fácil ficar confuso, digamos que estávamos usando linear ou regressão e tudo estava bem, e então decidimos mudar para o MLP para as mesmas tarefas... e de jeito nenhum :)

É por isso que todos preferem usar a classificação, embora a regressão seja boa para prognosticar :)

Eu diria até que para tendências mais adequadas é linear ou regressão, e para flattens - MLP.

 

O exercício com a veste produziu um padrão incrível.

Aqui está o quociente do EURCAD


E aqui está a autocorrelação dos incrementos absolutos


Regularidade espantosa!

1. O que é que isso significa?

2. Como pode ser usada esta regularidade?


PS.

Nem todos os pares de moedas têm esta visão.

Aqui está USDJPY