トレーディングにおける機械学習：理論、モデル、実践、アルゴトレーディング - ページ 1854

[Maxim Dmitrievsky]

証券取引所にOIアーカイブがないのはなぜ？ 有料サービスがあるようなので、売っているのかもしれません。

[Mihail Marchukajtes]

Maxim Dmitrievsky:
なぜ取引所にOMアーカイブがないのでしょうか？

それが、アーカイブがない点です。以前から開発者の間では、コピー機の中に、履歴から取り出せるようなOMを入れることが提案されていました。しかし、どうやら制約があるようだ。オプションとして、私を担当してくれた男性にアドバイザーをお願いすることもできます。彼はいつも書いていますが、すべての記号のために書いているわけではありません。書くのをやめたのは、もっぱらインジケータの性能が悪いからです :-) 。

[Forester]

私が発見したエラー検出方法の違いによる挙動の奇妙な特徴。回帰モデル。教師y＝0または1での 学習。タイタニックのデータです。

   oob   RMSEr     AvgEr     AvgRelEr    Train  RMSEr     AvgEr     AvgRelEr

        0.409762  0.333394  0.431368          0.406325  0.330199  0.430042
        0.384805  0.293965  0.377680          0.380747  0.289936  0.377605
        0.383891  0.286546  0.356373          0.370912  0.275152  0.358349
        0.370671  0.261466  0.321370          0.353781  0.250322  0.326013
        0.380332  0.259588  0.299060          0.337633  0.227993  0.296931
        0.388428  0.248587  0.245976          0.309293  0.191325  0.249176
        0.401764  0.237416  0.195562          0.273932  0.150077  0.195456

トレインは すべてそうであるように、強く教えれば教えるほど、すべてのメソッドでエラーが少なくなるためです。

OOVでは RMSE誤差は0.370671に 達し、その後増加し始め、オーバートレーニングが始まったことを示しています。しかし、AvgErとAvgRelErはさらに下がり続けています。すべての誤差が同期している、つまりRMSEとともに上昇を始めているはずだと思ったのです。
計算式。

for (r=0;r<rows;r++){
  RMSEr += Sqr (pred[r] - y[r]);
  AvgEr += fabs(pred[r] - y[r]);
}
//После суммирования:
RMSEr= sqrt(RMSEr / rows);
AvgEr = AvgEr / rows;

計算方法は非常に似ていますが（二乗（Sqr）と値剰余（fabs）は符号を削除します）、曲線の挙動が異なります...。
分類モデルで学習を繰り返すと、RMSEが0.370671に なるところで最小にもなります。
このような誤差の挙動に遭遇した方はいらっしゃいますか？どう説明すればいいのでしょうか。

[Mihail Marchukajtes]

elibrarius:

私が発見したエラー検出方法の違いによる挙動の奇妙な特徴。回帰モデル。教師y＝0または1での 学習。タイタニックのデータです。

トレインは すべてそうであるように、強く教えれば教えるほど、すべてのメソッドでエラーが少なくなるためです。

OOVでは RMSE誤差は0.370671に 達し、その後伸び始め、オーバートレーニングが始まったと言います。しかし、AvgErとAvgRelErはさらに下がり続けています。すべての誤差が同期している、つまりRMSEとともに上昇を始めているはずだと思ったのです。
計算式。

計算方法は非常に似ていますが（二乗（Sqr）と値剰余（fabs）は符号を削除します）、曲線の挙動が異なります...。
分類モデルで学習を繰り返すと、RMSEが0.370671に なるところで最小にもなります。
このような誤差の挙動に遭遇した方はいらっしゃいますか？どう説明すればいいのでしょうか。

そして、これは実は、最適化の際に初めて誤差が小さくなり、その結果、誤差が大きくなり始めた場合のトピックでもあるのです。純粋に理論的に、誤差が大きくなり始めるとオーバートレーニングが始まると仮定すれば、要するに誤差が大きくなり始めるか、その直前でトレーニングを止めればいいのです。検出方法そのものが問題なのです。どのような評価方法で実施するかは別の問題ですが、再トレーニングの始まりのサインとして誤差が大きくなり始めるというのは、天才的です。皮肉抜きで）あとは、それを可能にするものは何か...。

[Forester]

Mihail Marchukajtes:
そして、これは実際に最適化の際に、最初はエラーが減少し、その結果大きくなり始める場合のトピックです。純粋に理論的に、 誤差が大きくなり始めた時点でオーバートレーニングが始まると 仮定すれば、実際には誤差が大きくなり始めた瞬間、あるいはその直前でトレーニングをきっちり止めるべきでしょう。検出方法そのものが問題なのです。どのような評価方法で実施するかは別の問題ですが、 再トレーニングの始まりのサインとして誤差が大きくなり始めるというのは天才的な ことだと思います。皮肉抜きで）あとは、それを可能にするものは何か...。

これはオーバートレーニングの判定方法として古くから知られているもので、50年くらい前、つまりニューラルネットワークやツリーのごく初期からだと思います。例えば、V. Perervenkoの記事を参照してください。
このような状況で、エラーの動作の違いについてよくわかりません。RMSEによって、再トレーニングの開始を判断することができ、それ以外では判断できない。

[Mihail Marchukajtes]

elibrarius:

これは、オーバートレーニングの判定方法として、50年くらい前から、つまりニューラルネットワークやツリーのごく初期から、長く知られている方法だと思います。例えば、V. Perervenkoの記事をご覧ください。
このような状況で、エラーの動作の違いについてよくわかりません。RMSEによって、再トレーニングの開始を判断することができ、そうでない場合は再トレーニングを行わない。

そうなんですか？私ってバカだなぁ :-)

[Aleksey Vyazmikin]

elibrarius:

私が発見したエラー検出方法の違いによる挙動の奇妙な特徴。回帰モデル。教師y＝0または1での 学習。タイタニックのデータです。

トレインは すべてそうであるように、強く教えれば教えるほど、すべてのメソッドでエラーが少なくなるためです。

OOVでは RMSE誤差は0.370671に 達し、その後伸び始め、オーバートレーニングが始まったと言います。しかし、AvgErとAvgRelErはさらに下がり続けています。すべての誤差が同期している、つまりRMSEとともに上昇を始めているはずだと思ったのです。
計算式。

計算方法は非常に似ていますが（二乗（Sqr）と値剰余（fabs）は符号を削除します）、曲線の挙動が異なります...。
分類モデルで学習を繰り返すと、RMSEが0.370671に なるところで最小にもなります。
このような誤差の挙動に遭遇した方はいらっしゃいますか？これはどう説明すればいいのでしょうか。

SMAやEMAと同じで、AvrErはもっと遅れているんですねー、なるほどー、数字遊びですねー。

[Rorschach]

Kerasを扱ったことのある方、LSTMのデータをどのように準備すればいいのか？

[Maxim Dmitrievsky]

Mihail Marchukajtes：
そこが問題で、アーカイブがないんです。私たちは以前から、OMを歴史から取り上げることができるように、開発者がコピーブックに記載することを提案してきました。ただ、いくつか制約があるようです。オプションで、やってくれたオヤジに聞くこともできる。彼はいつも書いていますが、すべての記号のために書いているわけではありません。インジケーターの性能が悪いという理由だけで書くのをやめました :-)

ミーシャ、ビデオを録画しておきました。

[Mihail Marchukajtes]

マキシム・ドミトリエフスキー：

ミーシャ、ビデオを作っておいたから、すぐにアップするよ。

どうぞ。どんな獣なのか見てみよう :-)