Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 1487

 
Aleksey Vyazmikin:

É por isso que precisamos dar estimativas ao classificar os preditores e seus valores e não pegar aqueles preditores com valores (faixas) muito lotados, mas dar preferência aos que estão distribuídos por toda a amostra.

Tudo fica sempre muito bem no backtest)
Presumo que você precise de um uniforme para a frente? A floresta não sabe nada sobre o avançado em treinamento.
 
elibrarius:
Bem, tudo fica sempre muito bem no fundo)
Acho que precisas de um uniforme para a frente? A floresta não sabe nada sobre o avançado em treino.

A avaliação deve ser feita sobre as duas amostras envolvidas no treinamento.

 
Aleksey Vyazmikin:

A avaliação deve ser feita sobre as duas amostras envolvidas no treinamento.

a segunda é a validação?
 

Depois haverá um ajuste com a trama de validação. Embora possa funcionar se a validação for maior do que a formação. Na NS de Ivan Butko, o treinamento está em um pequeno lote e a validação está em um lote várias vezes maior. Normalmente consideramos a validação de 15-25% de todos os dados, mas no seu vídeo é cerca de 80%.

 
elibrarius:
a segunda é a validação?

Sim, se se aplicar.

Em geral, eu acho que quanto maior a amostra, melhor - é uma questão de robustez de previsão, não apenas de aprendizagem.

Pode ser possível pré-processar os dados, para agrupar apenas os intervalos de valores preditores que não são raros, mas que são fortemente enviesados pela amostra.

Substituí-los convencionalmente por -1 e proibir fazer divisões iniciais sobre eles, pelo menos até uma profundidade de 2-3.

 
elibrarius:

Depois haverá um ajuste com a trama de validação. Embora possa funcionar se a validação for maior do que a formação. Na NS de Ivan Butko, o treinamento está em um pequeno lote e a validação está em um lote várias vezes maior. Aqui normalmente consideramos variantes com validação de 15-25% de todos os dados, e no seu vídeo cerca de 80%.

Não haverá muito ajuste, porque não treinamos essencialmente na validação, apenas retiramos informações adicionais sobre a estrutura do mercado também.

 
Aleksey Vyazmikin:

Sim, se se aplicar.

Em geral, eu acho que quanto maior a amostra, melhor - é uma questão de robustez de previsão, não apenas de aprendizagem.

Pode ser possível pré-processar os dados, para agrupar apenas os intervalos de valores preditores que não são raros, mas que estão altamente lotados em toda a amostra.

Substituí-los convencionalmente por -1 e proibir fazer divisões iniciais sobre eles, pelo menos até uma profundidade de 2-3.

Demasiado complicado... O algoritmo padrão de construção de árvores é simples e rápido.
Aleksey Vyazmikin:

Não haverá nenhum ajuste especial, porque não estamos aprendendo sobre validação, apenas retiramos informações adicionais sobre a estrutura do mercado.

A única variante aceitável é se a validação for proporcional ou maior do que o treinamento.
E chegamos a um ponto em que só temos de incluir a validação no plano de treino.
 
Graal:

Não, que tipo de svm é este "Parzen window", suavização do kernel e"quase-optimal" no sentido de que é quase perfeito (Mitchell tinha-o em algum lugar), mas apenas muito lento, cada iteração - ordenando todo o conjunto de dados para um novo ponto e convolução com o kernel

Não sei que efeito terá na não-estacionaridade... e se for lento, é difícil até mesmo montecarrelar.

imho o principal problema é a escalada/transformação de dados, a extracção de laço uma vez que mesmo a regressão não linear ou SVM dão bons resultados se os padrões forem repetidos (em VR artificial)

ou seja, os problemas com a selecção de padrões são rebuscados.
 
Maxim Dmitrievsky:

o principal problema é escalar/converter os dados, destacando os loops

Sim, exactamente.

 
elibrarius:
Demasiado complicado... A única variante aceitável é se a validação for proporcional ou maior do que o treinamento.
E chegamos a um ponto em que só precisamos de incluir a validação no plano de treino.

Os algoritmos padrão são projetados para trabalhar com fenômenos estacionários, sistemas fechados, por isso qualquer informação é considerada a priori útil e não há avaliação do ponto de vista da aleatoriedade, mas apenas a possibilidade de usá-la para a tarefa (classificação por alvo), enquanto temos muito ruído e eu propus uma forma lógica de combatê-lo.

E sim, eu me afastei da validação como tal ao coletar herbário, deixando os critérios para avaliação das folhas, incluindo a eficiência nas parcelas temporais. Agora eu tenho mais de 50 mil folhas de todas as variantes de árvores, das quais apenas cerca de 200 são selecionadas como sinal e 600 (3 por folha de sinal) como filtros, melhorando significativamente os resultados (na maioria dos períodos).

Temos de assumir que tudo o que podemos fazer é desenvolver um algoritmo que se ajuste melhor aos dados, porque não conhecemos o futuro e existem muitas variações, mesmo com base nos valores preditores disponíveis. E se tivermos sorte, seremos capazes de encontrar um padrão que continuará a existir por algum tempo, por isso é importante procurar tal padrão com certos critérios, e a lógica sugere que pelo menos deve ser um padrão que ocorra em toda a amostra. É por isso que a tarefa é criar um algoritmo que cria muitos desses padrões e constrói árvores a partir deles.

Um exemplo simples de perootooting cuja protecção será possível é detectar uma parte de uma amostra com uma certa gama de preços a que foi fixado um flat longo - quando treinarmos agora vamos ter duas gamas de preços (ou retornados do TF superior) para negociar, mas é improvável que um flat seja fixado na mesma parte no futuro. E com a abordagem sugerida por mim, com as mesmas características, é mais provável que os níveis de greve sejam encontrados como significativos para a geração de eventos.