Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3260

[Forester]

Aleksey Vyazmikin #:
15000 * 100 * 4 bytes / 1024 / 1024 ≈ 5,72 MB

Essa é a matriz de entrada.
A saída será de 15.000 linhas para cada uma das 15.000 linhas. Como em todos os outros exemplos, é cerca de 1,7 Gg (se duplicado por 8 bytes).

[Aleksey Vyazmikin]

Forester #:

Essa é a matriz de entrada.
A saída será de 15.000 traços para cada uma das 15.000 linhas. Como em todos os outros exemplos, cerca de 1,7 Gg cada (se em Double by 8 bytes)

Concordo que não é assim que se conta.

[mytarmailS]

fxsaber #:

Até o momento, não vejo nenhum obstáculo técnico para calcular uma matriz de um milhão por um milhão em um simples computador doméstico. Mas a comparação entre NumPy e MQL5 é muito importante para mim.

Você tem certeza?

Por exemplo, uma matriz de entrada com 50.000 colunas/100 linhas dará uma matriz de correlação de 50 .000 x 50. 000 x 8 bytes / (1024 x 1024 x 1024) = 18,63 GB

[fxsaber]

Maxim Dmitrievsky #:

https://drive.google.com/file/d/1ATJkHwUY8jzeRp-rdTsYBeYHor-68EPB/view?usp=share_link

input int inRows = 100; // Длина строки
input int inCols = 15000; // Количество строк

bool IsEqual( matrix<double> &Matrix1, const matrix<double> &Matrix2 )
{
  Matrix1 -= Matrix2;  
  
  const bool Res = (MathAbs(Matrix1.Mean()) < 1 e-15);
  
  Matrix1 += Matrix2;
  
  return(Res);
}

#define  TOSTRING(A) #A + " = " + (string)(A) + " "

void OnStart()
{  
  double Array[];  
  Print(FileLoad("qwe\\arr.csv", Array)); // RAM-drive. https://www.mql5.com/ru/forum/86386/page3258#comment_49549438
  
  matrix<double> Matrix;  
  Matrix.Assign(Array);
  Matrix.Init(inCols, inRows);
  Matrix = Matrix.Transpose();
  
  ArrayFree(Array);  
  Print(FileLoad("qwe\\matr.csv", Array)); // RAM-drive. https://www.mql5.com/ru/forum/86386/page3258#comment_49549438

  matrix<double> Matrix2;
  Matrix2.Assign(Array);
  Matrix2.Init(inCols, inCols);
  Matrix2 = Matrix2.Transpose();
    
  ArrayFree(Array);
  
  matrix<double> Matrix1 = CorrMatrix(Matrix); // https://www.mql5.com/ru/forum/86386/page3256#comment_49538685

  Print(TOSTRING(IsEqual(Matrix1, Matrix2)));
}

Coincidência total dos valores de cálculo do NumPy com MQL5.

1500000
225000000
IsEqual(Matrix1, Matrix2) = true 

[Aleksey Vyazmikin]

Forester #:

Essa é a matriz de entrada.
A saída será de 15.000 traços para cada uma das 15.000 linhas. Como em todos os outros exemplos, cerca de 1,7 Gg cada (se em Double by 8 bytes)

Em geral, infelizmente, o python não sabe como trabalhar com int - ele o converte em double aparentemente.

import numpy as np
import time

def calc_corr_matrix():
    arr = np.random.randint(1, 101, size=(15000,100), dtype=np.int32)
    corr_matrix = np.corrcoef(arr)
    size_in_mb = corr_matrix.nbytes / 1024**2
    print("Array size:", size_in_mb, "MB")
    return corr_matrix

np.random.seed(123)

start_time = time.time()
corr_matrix = calc_corr_matrix()
end_time = time.time()

print("Time taken:", end_time - start_time, "seconds")

Array size: 1716.61376953125 MB
Time taken: 4.62926459312439 seconds

[Maxim Dmitrievsky]

Aleksey Vyazmikin #:

Em geral, infelizmente, o python não sabe como trabalhar com int - ele o converte em double, aparentemente.

Pare de enviar spam com bobagens. A correlação em ints não conta.

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:

Pare de enviar spam de besteiras. A correlação em ints não conta.

Você não precisa abrir a América. Não é comum contar, mas vale a pena pensar em como isso pode ser feito.

[Maxim Dmitrievsky]

Aleksey Vyazmikin #:

Os Estados Unidos não precisam ser descobertos. Não é algo comum de se considerar, mas vale a pena pensar em como isso pode ser feito.

Em um novo tópico, pense em algo

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:

na nova linha de discussão, crie

Que bando de gente - eu vou perder tempo com ele e ele é grosseiro.

Que diabos...

[Forester]

Aleksey Vyazmikin #:

Os Estados Unidos não precisam ser descobertos. Não é algo comum de se considerar, mas vale a pena pensar em como isso pode ser feito.

Já descrevi a maneira: pegue as f-iys do Alglib (há 8 peças chamadas de PearsonCorrM) e mude os tipos de dados. Mesmo em uchar de 1 byte. Os ints de 4 bytes não trarão muito ganho.
Faça isso você mesmo se precisar.