Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 2550

 
Aleksey Nikolayev #:

Em geral, uma vez treinado (no trem) não há apenas um modelo, mas um conjunto de modelos definidos por metaparâmetros. Por exemplo, diferentes graus de polinomial de interpolação ou diferentes coeficientes de regularização na regressão do laço, etc. Depois é determinado o melhor valor para o metaparâmetro (o melhor modelo do conjunto é obtido através de testes). Por sua vez, a otimização do metaparâmetro no teste também pode ser determinada por alguns parâmetros (metaparâmetros), para otimização dos quais o exame pode ser aplicado. Por exemplo, em que proporções dividir a amostra original em trem e teste.

Mas muito provavelmente não entendo a sua ideia).

A melhor maneira de escolher metaparâmetros não por uma seção de teste, mas com várias seções coladas por validação cruzada ou rolando para frente. Tem sido discutido recentemente.
 
elibrarius #:
É melhor selecionar os meta-parametros não em um único lote de teste, mas em vários colados por validação cruzada ou rollicking forward. Tem sido discutido recentemente.

Eu concordo. Na verdade, eu só queria dizer que a validação cruzada também pode ser organizada de forma complicada e ser definida com alguns parâmetros próprios (meta-parâmetros) que também podem ser otimizados por mais uma amostra (e não retirá-los do teto).

 
Aleksey Nikolayev #:

Eu concordo. Na verdade, eu só queria expressar a idéia de que a validação cruzada também pode ser organizada de forma complicada e ser definida com alguns de seus próprios parâmetros (meta-parâmetros), que também podem ser otimizados usando outra amostra (em vez de retirá-los do teto).

Correctamente compreendido - realizar quaisquer acções para tornar a amostra mais parecida com uma amostra de exame.

A questão é como melhor fazer isto.

Uma opção, que é frequentemente utilizada, a enumeração de preditores - mas com um grande conjunto deles em demasia. E podemos, digamos, comparar cordas (conjunto de preditores) para a similaridade e robustez do resultado alvo nas duas amostras? Então podemos deixar cair fios anômalos (digamos, raros ou não encontrados na amostra) da amostra de treinamento e, devido a isso, aprender muito melhor, em teoria.

 
Aleksey Vyazmikin #:

Correctamente compreendido - realizar qualquer acção para que a amostra de comboio se pareça mais com uma amostra de exame.

A questão é como melhor fazer isto então.

Uma opção frequentemente utilizada é a de enumerar os preditores - mas com um conjunto grande há muitos deles. E podemos, digamos, comparar cordas (conjunto de preditores) para a similaridade e robustez do resultado alvo nas duas amostras? Então podemos deixar cair fios anômalos (digamos, raros ou não encontrados na amostra) da amostra de treinamento e devido a isso aprender muito melhor, em teoria.

Vladimir tinha um artigo sobre isso, eu não me lembro do nome do pacote, mas ele apenas expulsou fios imprevisíveis da amostra.
 
mytarmailS #:
Vladimir tinha um artigo sobre isso, não me lembro do nome daquele pacote, mas estava apenas deixando cair fios imprevisíveis da amostra

Interessante, vou ter de procurar. Mas quero descartar não as cordas previsíveis, mas aquelas que não ocorrem na amostra fora do treinamento. É até interessante marcá-los, é claro, e não apenas jogá-los fora - para identificá-los.

 
Aleksey Vyazmikin #:

Interessante, vou ter de ir ver. Mas, eu não quero jogar fora as que não são previsíveis, mas as que não ocorrem na amostra fora do treinamento. É até interessante marcá-los de alguma forma, é claro, em vez de simplesmente jogá-los fora - para identificá-los.

Talvez estejamos falando de remover aberrações nas observações, que podem ser de dois tipos - por tamanho de resposta e por tamanho de previsão (ambos podem ser combinados na mesma observação). Os outliers propriamente ditos são chamados os primeiros, enquanto os segundos são normalmente chamados de outra coisa. Esta ciência está bem desenvolvida para a regressão linear. Provavelmente você pode verificar cada observação de teste para ver se é um outlier em algum sentido relativo a um exame.

 
Aleksey Vyazmikin #:

Interessante, vou ter de ir ver. Mas, eu não quero jogar fora os que não são previsíveis, mas os que não ocorrem na amostra fora do treinamento. É até interessante marcá-los, é claro, e não apenas jogá-los fora - para identificá-los.

Podes usar modelos de madeira...
Decompor o modelo em regras, analisar as regras para as estatísticas certas (repetibilidade é outra coisa...), ver se a regra aparece nos novos dados...

O pacote "intrees" é de 5 linhas de código e vai
 
mytarmailS #:
Vladimir tinha um artigo sobre isso, eu não me lembro do nome do pacote, mas ele estava apenas deixando cair fios imprevisíveis da amostra

PacoteNoiseFiltersR. Dê uma olhada no artigo.

 
elibrarius #:
É melhor selecionar os meta-parametros não em um único lote de teste, mas em vários colados por validação cruzada ou rollicking forward. Isto foi discutido recentemente.

E como usar corretamente os resultados do CV? para pegar os melhores parâmetros do modelo e ensiná-lo a todo o conjunto de dados, ou usá-lo apenas para selecionar bons conjuntos de dados

Por exemplo, a saída é a seguinte tabela

        iterations      test-Logloss-mean       test-Logloss-std        train-Logloss-mean      train-Logloss-std
0       0       0.689013        0.005904        0.681549        0.007307
1       1       0.685340        0.011887        0.660894        0.001061
2       2       0.685858        0.012818        0.641069        0.004738
3       3       0.685975        0.023640        0.629656        0.000656
4       4       0.686613        0.024923        0.612977        0.002072
...     ...     ...     ...     ...     ...
95      95      0.863043        0.402531        0.123702        0.028628
96      96      0.866321        0.406193        0.122224        0.028623
97      97      0.869681        0.409679        0.120777        0.028611
98      98      0.873030        0.413121        0.119361        0.028595
99      99      0.874569        0.419064        0.117974        0.028572
 
Vladimir Perervenko #:

PacoteNoiseFiltersR. Dê uma olhada no artigo.

Enquanto os preditores de ruído são mais ou menos claros, os exemplos de ruído não o são. Eu gostaria de saber mais sobre como defini-los (em termos teóricos, não nomes de pacotes/funções utilizados, embora, claro, R sempre tem links para artigos). É claro que deve haver uma classe "não negociar" na classificação, já que esforçar-se para estar no mercado o tempo todo é considerado um erro. Mas não é muito claro como esta classe pode ser descrita corretamente de uma forma mais ou menos formal.