トレーディングにおける機械学習：理論、モデル、実践、アルゴトレーディング - ページ 3279

[Grigori.S.B]

Alexander Ivanov #:
怖くないよ

その通りだ。

[Renat Akhtyamov]

Grigori.S.B #:

そしてそれは当然である。

現実の世界からは悲しいニュースになるだろう。

[fxsaber]

長い文字列の中から似たような短い文字列を素早く見つけようとしています。

Alglibを最適に使うことは可能ですか？

#include <Math\Alglib\statistics.mqh> // https://www.mql5.com/ru/code/11077

const vector<double> GetCorr( const CMatrixDouble &Matrix, const vector<double> &Pattern )
{
  CMatrixDouble Vector;
  CMatrixDouble Corr;
  
  Vector.Col(0, Pattern);

  CBaseStat::PearsonCorrM2(Vector, Matrix, Matrix.Rows(), 1, Matrix.Cols(), Corr);
  
  return(Corr.Row(0));
}

#property script_show_inputs

input int inRows = 300; // Длина короткой строки
input int inCols = 1000000; // Длина длинной строки

void FillArray( double &Array[], const int Amount )
{
  for (uint i = ArrayResize(Array, Amount); (bool)i--;)
    Array[i] = MathRand();
}

void FillMatrix( CMatrixDouble &Matrix, const double &Array[], const int Rows )
{
  Matrix.Resize(Rows, ArraySize(Array) + 1 - Rows);

  double ColArray[];
  vector<double> Vector;
  
  for (uint i = (uint)Matrix.Cols(); (bool)i--;)
  {
    ArrayCopy(ColArray, Array, 0, i, Rows);
    Vector.Swap(ColArray);
    
    Matrix.Col(i, Vector);
  }
}

void FillData( double &Array[], double &Pattern[], CMatrixDouble &Matrix, const int Rows, const int Cols )
{
  FillArray(Array, Cols + Rows - 1);
  FillArray(Pattern, Rows);

  FillMatrix(Matrix, Array, Rows);    
}

#define  TOSTRING(A) #A + " = " + (string)(A) + " "

// Поиск похожей строки в длинной строке.
void OnStart()
{  
  if (inRows < inCols)
  {
    PrintCPU(); // https://www.mql5.com/ru/forum/86386/page3256#comment_49538685
    
    double Array[]; // Длинная строка, где будет искать.
    double Pattern[]; // Короткая строка, с которой будем сравнивать.
    CMatrixDouble Matrix;
    
    FillData(Array, Pattern, Matrix, inRows, inCols); // Заполнили данные.
            
    Print(TOSTRING(inRows) + TOSTRING(inCols));

    vector<double> vPattern;  
    vPattern.Assign(Pattern);

    ulong StartTime, StartMemory; // https://www.mql5.com/ru/forum/86386/page3256#comment_49538685

    BENCH(vector<double> Vector1 = GetCorr(Matrix, vPattern))
//    BENCH(vector<double> Vector2 = GetCorr(Array, Pattern))
  
//    Print(TOSTRING(IsEqual(Vector1, Vector2)));
  }      
}

度。

EX5: 4000 AVX Release.
TerminalInfoString(TERMINAL_CPU_NAME) = Intel Core i7-2700 K  @ 3.50 GHz 
TerminalInfoInteger(TERMINAL_CPU_CORES) = 8 
TerminalInfoString(TERMINAL_CPU_ARCHITECTURE) = AVX 
inRows = 300 inCols = 1000000 
vector<double> Vector1 = GetCorr(Matrix, vPattern) - 6725703 mcs, 8 MB

Alglibを使ったこのような実装は、6秒以上かけて、100万番目の文字列の中から似たような短い文字列(300)を探す。NumPyならできる？

[Forester]

fxsaber #:

長い文字列の中から似たような短い文字列を素早く見つけようとする。

Alglibを使う方が最適ですか？

結果は？

Alglibを使ったこのような実装は、短い文字列(300)に似た100万番目の文字列を8秒以上かけて検索する。NumPyでできるのか？

また、得られた行列をどのように評価するのか？評価の原理がよくわからない。

[fxsaber]

Forester #:
そして、出来上がった300*1000000の行列をどのように評価するのでしょうか？このような推定の原理が理解できない。

1. 度行が度。
2. 区間[0..299]の値を取り、300x1000000の行列の1列目に入れる。
3. 区間[1..300]の値を取り、300x1000000の行列の2列目に入れる。
   
4. 、度重なる。

この行列と300のあるパターンとの相関が計算される。出力は，対応するピアソン係数の100万番目のベクトルである．

[mytarmailS]

fxsaber #:
この実装では、 短い 文字列に似た100万番目の文字列をAlglibから検索するのに6秒以上 かかる。

私も平均6秒くらいだ。

何度か実行した。

 system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.15    0.03    5.70 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.38    0.02    5.16 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.18    0.01    6.10 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.08    0.00    5.99 

しかし、私は最も普通の方法でそれを行った。

[СанСаныч Фоменко]

mytarmailS #:

僕も平均6秒くらいだよ。

何本か走ったけど

ロケット科学的な解決策を探したわけじゃない。

Rの種類は？

マイクロソフトのRはベクトルと行列にインテルのバイブルを使っている。

[mytarmailS]

СанСаныч Фоменко #:

あなたのRは？

マイクロソフトのRは、ベクトルと行列にインテルのバイブルを使っている。

通常の...

しかし、私はRのC++で関数を書いた。

[СанСаныч Фоменко]

mytarmailS #:

普通

マイクロソフトのR＋インテル＝ポンツなのか、それとも本当に速いのか。

[mytarmailS]

СанСаныч Фоменко #:

マイクロソフトのR＋インテル＝ポンツなのか、それとも本当に速いのか。

試したことはないが、興味はある。

でも、行列やベクトルだけでなく、どんなアクションでも一般的なスピードアップに興味があるんだ。