Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 190

 
Andrey Dik:

Isto é, é útil para fazer isto. Portanto, em vez de 4 divisões, o que obviamente não é suficiente, você deveria fazer 40 divisões. Para 4 núcleos levará 10 vezes mais tempo para calcular, mas suponho que o tempo pode ser sacrificado em favor da robustez.

Não obviamente.

Por exemplo, esperar 10 horas por cálculos em vez de 1 hora é inaceitável para o daytrading. Mesmo se deixarmos o computador durante a noite, obteremos um modelo baseado em dados inevitavelmente ultrapassados.

Portanto, é necessário um compromisso sensato entre o tempo computacional e a qualidade da simulação. E a variante mais ideal é paralisar tudo o que poderia ser calculado em paralelo, enquanto que tudo o que não poderia ser paralelizado deveria ser calculado sequencialmente.

Como último recurso, você pode atualizar para um número maior de núcleos ou construir um cluster computacional de vários computadores pessoais.

E nem sequer estou a falar do facto de que o código do algoritmo de aprendizagem de máquinas também tem muitas vezes algumas possibilidades potenciais para uma maior optimização.

Também é possível, que alguma parte do multitarefa possa ser transferida da CPU para a GPU.

Ou seja, há muitas soluções potenciais para o problema (a lista pode continuar e continuar) e "fazer uma corcunda" no software não é o melhor deles e, como a experiência mostra, muitas vezes é o mais inadequado.

Распределенные вычисления в сети MQL5 Cloud Network
Распределенные вычисления в сети MQL5 Cloud Network
  • cloud.mql5.com
Заработать деньги, продавая мощности своего компьютера для сети распределенных вычислений MQL5 Cloud Network
 
Yury Reshetov:

Não é óbvio.

Por exemplo, esperar 10 horas em vez de 1 hora para os cálculos é inaceitável para o daytrading. Mesmo se você deixar o computador durante a noite, você receberá um modelo com dados obviamente desatualizados.

Portanto, é necessário um compromisso sensato entre o tempo de computação e a qualidade de modelagem. E a melhor maneira é paralelizar tudo o que pode ser calculado em paralelo, enquanto que tudo o que não pode ser calculado sequencialmente.

Como último recurso, é possível atualizar para um número maior de núcleos, ou construir um cluster computacional de vários computadores pessoais.

E nem sequer estou a falar do facto de que o código do algoritmo de aprendizagem de máquinas também tem muitas vezes algumas possibilidades potenciais para uma maior optimização.

Também é possível que algumas das multitarefas possam ser movidas da CPU para a GPU.

Isto é, há muitas soluções potenciais (a lista pode ser continuada) e "fazer um ouvido de porco" no software não é a melhor - e como a experiência mostra, é muitas vezes a mais inadequada.

Não estou insistindo na "opção de corcunda", apenas perguntando: quanto mais variantes os dados forem divididos, melhor o treinamento pode ser obtido através da análise dos resultados. Digamos que em 90% dos casos vemos que o modelo produz resultados adequados nos dados de teste e apenas 10% causam sobretreinamento, o que significa que o modelo vale algo em si mesmo. E se for ao contrário, vale a pena reciclar. E se você dividir os dados em apenas 4 variantes diferentes, a probabilidade de obter um modelo sobre-treinado é extremamente alta.

Mais uma vez, não estou tocando nos aspectos de "hardware", apenas especificando os de "software".

 
Vizard_:
...
Não ter vantagem sobre a conhecida..... mas ninguém vai acreditar nisso))))

Dê um exemplo concreto de conhecidos ... que "têm vantagens".

E de você nada além de críticas sem fundamento, que sempre termina com o fato de que você não dá uma amostra, você não mostra o software (todos estritamente classificados, as testemunhas são removidas). Mas você desenha alguns números irrealistas que ninguém, exceto você não pode confirmar, nem negar.

Pergunta banal para um enigma: se, de acordo com as citações você "tem a oportunidade de receber" 92% e kopecks de capacidade de generalização, por que você ainda está engajado em críticas vazias sobre alguns não "ter vantagens com o conhecido ...", e não estão envolvidos na compra: fábricas, jornais, navios a vapor, ilhas, iates, etc.? E quando posso ver a tua cara na capa da Forbes?

 
Alexey Burnakov:


Existem regras claras para tratar as interações em modelos lineares. Eles são um pouco mais complicados do que o tratamento de combinação linear:https://www.r-bloggers.com/interpreting-interaction-coefficient-in-r-part1-lm/

Mas você tem que cavar através de muitas combinações para encontrar interações significativas. Isso é que é uma chatice.

Deu uma olhadela, obrigado.

A minha perplexidade só aumentou com a leitura, embora com uma nova compreensão da palavra "interacção".

Minha perplexidade se baseia no fato de que qualquer figura nas estatísticas deve ter algum tipo de conteúdo.

Pegue esta equação lm

zz ~ rsi*stoch

Individualmente cada indicador tem um certo significado, mas qual é o significado do seu produto? Qual é o significado desta "interação"? Ou será que apenas recebemos um novo preditor de conteúdo desconhecido e vemos como ele afeta a variável alvo?

 
SanSanych Fomenko:

Deu uma olhadela, obrigado.

A minha perplexidade só aumentou com a leitura, embora com uma nova compreensão da palavra "interacção".

Minha perplexidade se baseia no fato de que qualquer figura nas estatísticas deve ter algum tipo de conteúdo.

Pegue esta equação lm

zz ~ rsi*stoch

Individualmente cada indicador tem um certo significado, mas qual é o significado do seu produto? Qual é o significado desta "interação"? Ou será que apenas recebemos um novo preditor de conteúdo desconhecido e vemos como ele afeta a variável alvo?

É engraçado ouvir-te às vezes )

Nenhuma nova entidade é fisicamente obtida a partir da multiplicação, embora a interação conte exatamente como uma multiplicação na regressão clássica.

O ângulo de inclinação para o primeiro preditor dependerá do nível do segundo preditor. Esta é a essência da interação. Isto é uma simplificação. Há nuances. Mas conhecendo todos os coeficientes de tal nível, podemos dizer que, por exemplo, o aumento do nível x1 em 1 aumentará o nível alvo em 0,1 quando o nível x2 = 3. Então, é assim.

 
Andrey Dik:

Não insisto na "variante hump", só estou perguntando: quanto mais variantes os dados forem divididos, mais você pode obter um melhor treinamento e analisar os resultados obtidos.

...

Mais uma vez, não estou a tocar em aspectos de "hardware", apenas a especificar os de "software".

Digamos que qualquer tolo poderia simplesmente ligar um laço de 10 iterações e aumentar o tempo de computação em uma ordem de grandeza, em prol de uma redução insignificante da probabilidade de irregularidades nas distribuições de padrões em partes de uma amostra. O código fonte do jPrediction é de domínio público e está disponível para modificação para qualquer um que se sinta como ele.

Estou muito mais interessado em gastar o meu tempo e esforço para atingir objectivos de uma forma mais promissora: criar um algoritmo que seja menos exigente em recursos computacionais e de tempo computacional para treinar modelos com maior generalizabilidade.

 
Yury Reshetov:

Digamos que qualquer tolo pode tomar um ciclo de 10 iterações e aumentar o tempo de cálculo por uma ordem de grandeza, em prol de uma redução insignificante da probabilidade de irregularidade das distribuições de padrões em partes de uma amostra. O código fonte do jPrediction está disponível publicamente e acessível para modificação a qualquer um que se sinta como ele.

Estou muito mais interessado em gastar o meu tempo e esforço para atingir um objectivo semelhante de uma forma mais promissora: criar um algoritmo que seja menos exigente em recursos computacionais e de tempo de um computador.

Yuri, não te estou a pedir para mudares ou modificares nada no teu software, e nem sequer sei nada sobre Java, por isso, embora quisesse ver através do teu código, não percebo nada lá.

Só estou perguntando, pergunta teórica, o que você acha, será útil se houver a possibilidade de quebrar os dados em tantas variantes quanto possível? Sim ou não.

 
Andrey Dik:

...

Apenas perguntando, uma pergunta teórica, você acha que faria algum bem poder decompor os dados em tantas opções quanto possível? Sim, ou não.

Não faz sentido discutir tarefas que são banalizadas pelo "número, não pela habilidade". Por exemplo, se um escavador pode cavar uma vala a uma distância de n metros em um dia, então m escavadores podem cavar a mesma vala a uma distância de m*n metros para o mesmo tempo. O que há para discutir? Se a criticidade do tempo de escavação de uma trincheira, você deve dividir o tempo restante antes do prazo em dias pela distância que um escavador pode cavar por dia e prever alguns escavadores extras para contingências. A solução é trivial e não há nada para discutir.

É possível discutir as tarefas, que solução não é tão trivial, por exemplo, como aumentar a produtividade de cavar a mesma trincheira com menos escavadores para o mesmo tempo? Já existem opções emergentes, por exemplo: substituir escavadoras por uma escavadora ou melhorar as suas pás, etc., etc.

 
Yury Reshetov:

Não adianta discutir problemas trivialmente resolvidos por "números, não por habilidade". Por exemplo, se um escavador pode cavar uma vala de n metros em um dia, então os escavadores podem cavar a mesma vala de m*n metros no mesmo tempo. O que há para discutir? Se o tempo crítico para cavar uma trincheira, você precisa dividir o tempo restante antes do prazo pelo número de escavadores e fazer provisões para vários escavadores adicionais para circunstâncias imprevistas. A solução é trivial e não há nada para discutir.

É possível discutir tarefas, que solução não é tão trivial, por exemplo, como aumentar a produtividade da escavação da mesma vala com menos escavadores para o mesmo tempo? Já existem opções emergentes, por exemplo: substituir escavadoras por escavadoras ou melhorar as suas pás, etc., etc.

A resposta é florida, tomo isso como um sim.

Suponha que eu tenha um rack de 64 clusters em casa, cada um com 4 CPUs de 8 núcleos, por que não deveria usá-lo para este fim? Especialmente se isso me fizer bem.

 

Temos andado a fazer confusão por nada em 191 páginas. Está na hora de todos irem para casa de mãos vazias.

Veja https://www.mql5.com/ru/forum/3457/page3396#comment_2939962

Eu cito:

Vladimir Karputov:

É isso mesmo. A aprendizagem da máquina já não é necessária. Todos são espancados por uma suite de escritório normal.

Интересное и Юмор
Интересное и Юмор
  • www.mql5.com
Форум трейдеров MQL5.community