Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3279

Novo comentário
 
Alexander Ivanov #:
e não tenho medo.

E é isso mesmo.

 
Grigori.S.B #:

E com razão.

Serão notícias tristes do mundo real.

 

Estou tentando encontrar rapidamente cadeias curtas semelhantes em uma cadeia longa.

É possível usar Alglib de forma otimizada?

#include <Math\Alglib\statistics.mqh> // https://www.mql5.com/ru/code/11077

const vector<double> GetCorr( const CMatrixDouble &Matrix, const vector<double> &Pattern )
{
  CMatrixDouble Vector;
  CMatrixDouble Corr;
  
  Vector.Col(0, Pattern);

  CBaseStat::PearsonCorrM2(Vector, Matrix, Matrix.Rows(), 1, Matrix.Cols(), Corr);
  
  return(Corr.Row(0));
}

#property script_show_inputs

input int inRows = 300; // Длина короткой строки
input int inCols = 1000000; // Длина длинной строки

void FillArray( double &Array[], const int Amount )
{
  for (uint i = ArrayResize(Array, Amount); (bool)i--;)
    Array[i] = MathRand();
}

void FillMatrix( CMatrixDouble &Matrix, const double &Array[], const int Rows )
{
  Matrix.Resize(Rows, ArraySize(Array) + 1 - Rows);

  double ColArray[];
  vector<double> Vector;
  
  for (uint i = (uint)Matrix.Cols(); (bool)i--;)
  {
    ArrayCopy(ColArray, Array, 0, i, Rows);
    Vector.Swap(ColArray);
    
    Matrix.Col(i, Vector);
  }
}

void FillData( double &Array[], double &Pattern[], CMatrixDouble &Matrix, const int Rows, const int Cols )
{
  FillArray(Array, Cols + Rows - 1);
  FillArray(Pattern, Rows);

  FillMatrix(Matrix, Array, Rows);    
}

#define  TOSTRING(A) #A + " = " + (string)(A) + " "

// Поиск похожей строки в длинной строке.
void OnStart()
{  
  if (inRows < inCols)
  {
    PrintCPU(); // https://www.mql5.com/ru/forum/86386/page3256#comment_49538685
    
    double Array[]; // Длинная строка, где будет искать.
    double Pattern[]; // Короткая строка, с которой будем сравнивать.
    CMatrixDouble Matrix;
    
    FillData(Array, Pattern, Matrix, inRows, inCols); // Заполнили данные.
            
    Print(TOSTRING(inRows) + TOSTRING(inCols));

    vector<double> vPattern;  
    vPattern.Assign(Pattern);

    ulong StartTime, StartMemory; // https://www.mql5.com/ru/forum/86386/page3256#comment_49538685

    BENCH(vector<double> Vector1 = GetCorr(Matrix, vPattern))
//    BENCH(vector<double> Vector2 = GetCorr(Array, Pattern))
  
//    Print(TOSTRING(IsEqual(Vector1, Vector2)));
  }      
}


Resultado.

EX5: 4000 AVX Release.
TerminalInfoString(TERMINAL_CPU_NAME) = Intel Core i7-2700 K  @ 3.50 GHz 
TerminalInfoInteger(TERMINAL_CPU_CORES) = 8 
TerminalInfoString(TERMINAL_CPU_ARCHITECTURE) = AVX 
inRows = 300 inCols = 1000000 
vector<double> Vector1 = GetCorr(Matrix, vPattern) - 6725703 mcs, 8 MB

Em mais de seis segundos, essa implementação via Alglib procura por cadeias curtas semelhantes (300) na milionésima cadeia. O NumPy pode fazer isso?

 
fxsaber #:

Tentando encontrar rapidamente cadeias curtas semelhantes em uma cadeia longa.

É mais adequado usar o Alglib?


Resultado.

Em mais de oito segundos, essa implementação por meio do Alglib busca a milionésima string semelhante à string curta (300). O NumPy pode fazer isso?

E como você avaliará a matriz obtida? Não entendo o princípio dessa avaliação.

 
Forester #:
E como você avaliará a matriz 300*1000000 resultante? Não entendo o princípio dessa estimativa.

  1. Uma linha para 1.000.000.
  2. Pegamos os valores no intervalo [0..299] e os colocamos na primeira coluna da matriz 300x1000000.
  3. Os valores no intervalo [1..300] são tomados e colocados na segunda coluna da matriz 300x1000000.
  4. E assim por diante.
A correlação dessa matriz com algum padrão em 300 é calculada. O resultado é o milionésimo vetor dos coeficientes de Pearson correspondentes.
 
fxsaber #:
Essa implementação leva mais de seis segundos para pesquisar no Alglib uma milionésima cadeia de caracteres semelhante a uma cadeia curta .

Também tenho uma média de cerca de 6 segundos.

Fiz várias execuções.

 system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.15    0.03    5.70 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.38    0.02    5.16 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.18    0.01    6.10 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.08    0.00    5.99

Mas fiz isso da maneira mais comum, não procurei nenhuma solução de ciência de foguetes.

 
mytarmailS #:

Também tenho uma média de cerca de seis segundos.

Fiz algumas corridas

mas fiz da maneira usual, não procurei nenhuma solução de ciência de foguetes.

Que tipo de R você tem?

O R da Microsoft usa a bíblia da Intel para vetores e matrizes....

 
СанСаныч Фоменко #:

Qual é o seu R?

O Microsoft R usa a bíblia da Intel para vetores e matrizes....

regular...

mas eu escrevi a função em C++ no R.

 
mytarmailS #:

comum

Gostaria de saber se o Microsoft R + intel = pontos ou realmente mais rápido?

 
СанСаныч Фоменко #:

Gostaria de saber se Microsoft R + Intel = pontos ou realmente mais rápido?

Nunca experimentei, mas também estou curioso.

Mas estou interessado no aumento geral da velocidade em qualquer ação, não apenas em matrizes e vetores

1...327232733274327532763277327832793280328132823283328432853286...3399
Novo comentário