Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 1801

 
Aleksey Vyazmikin:

Deve haver algum algoritmo, porque acontece que para 15000 elementos de 3 combinações, precisamos de manter o array na memória por 4 terabytes! E ainda mais, calculei, se gastarmos 8 bits por elemento.

Então ficamos com uma opção onde não armazenamos esta matriz na memória, mas na verdade recalculamos desde o início até a linha desejada (coluna) em cada chamada. Em vez de um enorme consumo de memória, haverá um enorme consumo de tempo. É bastante normal para problemas combinatórios.

 
mytarmailS:

olhou para...

O arquivo de saldo atual não contém preços, os preços que você me enviou anteriormente não correspondem ao tamanho do saldo atual


O apêndice tem tanto o saldo como a OHLCV num só ficheiro - talvez seja mais conveniente assim.

Eu tinha verificado um erro no indicador e foi assim - ainda tenho que lidar com os indicadores separadamente.

Arquivos anexados:
Balans_OHLCV.zip  6871 kb
 
Aleksey Nikolayev:

Isso nos deixa com a opção de não armazenar o array na memória, mas realmente recalculá-lo desde o início até a linha (coluna) que queremos. Em vez de um enorme consumo de memória, haverá um enorme consumo de tempo. Esta é uma situação bastante normal para problemas combinatórios.

Se houver uma sequência, deve haver uma fórmula ou outra solução rápida que não seja passar por todos os pontos. O excesso de mortes é igualmente ineficiente de aplicar.

Na verdade, esta é uma função com pontos conhecidos...

Acho que você pode definir áreas e construir uma mesa nas suas fronteiras. Suponha que haja um padrão para cada 10000 elementos, então conte a partir deste ponto. É estranho que tal problema ainda não tenha sido resolvido.
 
Aleksey Vyazmikin:

Penso que é possível definir áreas, e depois construir uma tabela com base nos seus limites. Suponha que haja um padrão para cada 10000 elementos, então conte a partir deste ponto.

Bem, sim, você pode armazenar não toda a matriz, mas uma versão altamente fina e começar a contar a partir da linha mais próxima.

Mas o que é que vais fazer com tantas combinações?

 
Aleksey Nikolayev:

Bem, sim, você pode armazenar uma versão muito fina de um array, ao invés de todo o array, e ler até o lugar certo, começando com a linha mais próxima.

Mas o que é que vais fazer com tantas combinações?

Cada combinação será verificada quanto ao histórico e será dado um veredicto - lixo ou reserva.

O ideal, penso eu, seria seleccionar cerca de 1k folhas - cotos, que devem ser verificados quanto à similaridade entre si, deixar único, penso eu, na vizinhança de 10k será deixado. E desses resquícios de grupos de reunião para negociar (esse método eu já implementei).

Como resultado, se eu coletar folhas mais eficazes do que posso obter de uma árvore (muitas árvores), então este método tem direito à vida, mas se não, então o método da ganância é mais eficaz.

 

Você pode recomendar um fórum para aprendizagem de Python e máquinas onde você pode fazer perguntas geralmente nerds?

 
Vladimir Karputov:

Pode sugerir um fórum para a aprendizagem de Python e máquinas onde possa fazer perguntas geralmente nerds?

www.cyberforum.ru

Não estou registado, mas pesquiso muito no Google. As perguntas mostram que é um fórum de estudantes, o fórum está activo - novos tópicos todos os dias

finja ser um estudante, você vai parecer um dos seus :)

 
Aleksey Vyazmikin:

Cada combinação será verificada quanto à história e será feito um veredicto - lixo ou reserva.

O ideal, penso eu, cerca de 1k de folhas - cotos, que devem ser verificados quanto à semelhança entre eles, deixar único, penso que cerca de 10k ficará. E desses resquícios de grupos de reunião para negociar (esse método eu já implementei).

Como resultado, se eu coletar folhas mais eficazes do que posso obter da árvore (muitas árvores), então este método tem direito à vida, e se não, então o método da ganância é mais eficaz.

O excesso completo é uma estrada para lado nenhum. Confira o pacote de otimização rBayesianOptimization. Para o seu problema pode ajudar.

Quanto a combinações, veja o pacote pracma::combs(), randcombs(), perms(), randperm()/.

Boa sorte.

 
Vladimir Perervenko:

Um exagero completo é uma estrada para lado nenhum. Veja o pacote de otimização rBayesianOptimization. Pode ajudar para o seu problema.

Para combinações, veja o pacote practicema::combs(), randcombs(), perms(), randperm()/.

Boa sorte.

Porque é que o caminho é para lado nenhum? Para mim, trata-se de encontrar uma referência para avaliar métodos de construção de modelos mais rápidos.

Obrigado pela sugestão de usar pacotes para R, mas não sou bom nisso, de todo.

Você também acha que é impossível obter o valor de uma combinação de conjunto de um conjunto sem um loop?

 
Aleksey Vyazmikin:

Porquê o caminho para lado nenhum? Para mim, trata-se de encontrar uma referência para avaliar métodos de construção de modelos mais rápidos.

Obrigado pela sugestão de usar pacotes para R, mas eu não sou bom nisso, de forma alguma.

Você também acha que é impossível obter o valor de uma combinação de um conjunto a partir de um conjunto sem um ciclo?

Se for um sistema numérico, então você pode obter a combinação dos bits 01101101

você pode facilmente obter a combinação 01101101 bit da 109 sem tentar todas as variantes.