Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3278

[Alexander Ivanov]

а я не боюсь

[Maxim Dmitrievsky]

Alexander Ivanov #:
а я не боюсь

Будешь первым в очереди на киберимпланты стоять?)

[Grigori.S.B]

Alexander Ivanov #:
а я не боюсь

И это правильно.

[Renat Akhtyamov]

Grigori.S.B #:

И это правильно.

тут вести с реала будут печальные

[fxsaber]

Пробую быстро найти похожие короткие строки в длинной.

Оптимальнее через Alglib возможно ?

#include <Math\Alglib\statistics.mqh> // https://www.mql5.com/ru/code/11077

const vector<double> GetCorr( const CMatrixDouble &Matrix, const vector<double> &Pattern )
{
  CMatrixDouble Vector;
  CMatrixDouble Corr;
  
  Vector.Col(0, Pattern);

  CBaseStat::PearsonCorrM2(Vector, Matrix, Matrix.Rows(), 1, Matrix.Cols(), Corr);
  
  return(Corr.Row(0));
}

#property script_show_inputs

input int inRows = 300; // Длина короткой строки
input int inCols = 1000000; // Длина длинной строки

void FillArray( double &Array[], const int Amount )
{
  for (uint i = ArrayResize(Array, Amount); (bool)i--;)
    Array[i] = MathRand();
}

void FillMatrix( CMatrixDouble &Matrix, const double &Array[], const int Rows )
{
  Matrix.Resize(Rows, ArraySize(Array) + 1 - Rows);

  double ColArray[];
  vector<double> Vector;
  
  for (uint i = (uint)Matrix.Cols(); (bool)i--;)
  {
    ArrayCopy(ColArray, Array, 0, i, Rows);
    Vector.Swap(ColArray);
    
    Matrix.Col(i, Vector);
  }
}

void FillData( double &Array[], double &Pattern[], CMatrixDouble &Matrix, const int Rows, const int Cols )
{
  FillArray(Array, Cols + Rows - 1);
  FillArray(Pattern, Rows);

  FillMatrix(Matrix, Array, Rows);    
}

#define TOSTRING(A) #A + " = " + (string)(A) + " "

// Поиск похожей строки в длинной строке.
void OnStart()
{  
  if (inRows < inCols)
  {
    PrintCPU(); // https://www.mql5.com/ru/forum/86386/page3256#comment_49538685
    
    double Array[]; // Длинная строка, где будет искать.
    double Pattern[]; // Короткая строка, с которой будем сравнивать.
    CMatrixDouble Matrix;
    
    FillData(Array, Pattern, Matrix, inRows, inCols); // Заполнили данные.
            
    Print(TOSTRING(inRows) + TOSTRING(inCols));

    vector<double> vPattern;  
    vPattern.Assign(Pattern);

    ulong StartTime, StartMemory; // https://www.mql5.com/ru/forum/86386/page3256#comment_49538685

    BENCH(vector<double> Vector1 = GetCorr(Matrix, vPattern))
//    BENCH(vector<double> Vector2 = GetCorr(Array, Pattern))
  
//    Print(TOSTRING(IsEqual(Vector1, Vector2)));
  }      
}

Результат.

EX5: 4000 AVX Release.
TerminalInfoString(TERMINAL_CPU_NAME) = Intel Core i7-2700K  @ 3.50GHz 
TerminalInfoInteger(TERMINAL_CPU_CORES) = 8 
TerminalInfoString(TERMINAL_CPU_ARCHITECTURE) = AVX 
inRows = 300 inCols = 1000000 
vector<double> Vector1 = GetCorr(Matrix, vPattern) - 6725703 mcs, 8 MB

Больше шести секунд такая реализация через Alglib ищет в миллионной строке похожие на короткую (300). NumPy могет?

[Forester]

fxsaber #:

Пробую быстро найти похожие короткие строки в длинной.

Оптимальнее через Alglib возможно ?

Результат.

Больше восьми секунд такая реализация через Alglib ищет в миллионной строке похожие на короткую (300). NumPy могет?

А как вы будете оценивать полученную матрицу? Не понимаю принцип такой оценки.

[fxsaber]

Forester #:
А как вы будете оценивать полученную матрицу 300*1000000? Не понимаю принцип такой оценки.

1. Строка на 1 000 000.
2. Берутся значения  в интервале [0..299] и помещаются в первый столбец матрицы 300x1000000.
3. Берутся значения  в интервале [1..300] и помещаются во второй столбец матрицы 300x1000000.
   
4. И т.д.

Считается корреляция этой матрицы с каким-то паттерном на 300. Получаем на выходе миллионнный вектор соответствующих коэффициентов Пирсона.

[mytarmailS]

fxsaber #:
     Больше шести секунд такая реализация через Alglib ищет в миллионной строке похожие на короткую 

У  меня тоже в среднем получаеться около 6-ти секунд

несколько запусков сделал

 system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.15    0.03    5.70 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.38    0.02    5.16 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.18    0.01    6.10 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.08    0.00    5.99 

но я самым обычным способом считал, не искал каких то рокет сайнс решений

[СанСаныч Фоменко]

mytarmailS #:

У  меня тоже в среднем получаеться около 6-ти секунд

несколько запусков сделал

но я самым обычным способом считал, не искал каких то рокет сайнс решений

У Вас какой R?

В майкрософтовском R используется интеловская библа для векторов и матриц....

[mytarmailS]

СанСаныч Фоменко #:

У Вас какой R?

В майкрософтовском R используется интеловская библа для векторов и матриц....

обычный..

но функцию написал на с++ в R