Всем привет! Настало время пополнить наш с вами алгоритмический арсенал. Сегодня мы основательно разберем один из наиболее популярных и применяемых на практике алгоритмов машинного обучения — градиентный бустинг. О том, откуда у бустинга растут корни и что на самом деле творится под капотом алгоритма — в нашем красочном путешествии в мир...
そして、確率の良い枝を見つけて、それを1つの予測子にエンコードし、もう一度、木を挽くようにすると、木は見つかった結果からどう改善するかを考えるようになります（予測子は、正しい判断の割合が大きいので、その時に好きになるはず？
どうだろう :)この木でそのような実験をしたわけではありません。しかし、例えば、あらゆる種類のGBMモデルがそのように機能します。ツリーを構築し、次に、前のツリーと比較してより良い結果を出すツリーをもう一つ構築し、さらにもう一つ構築し、というように。
さらに分岐すれば、もちろんこのデータ上の精度は上がります。しかし、新しいデータでは下落する可能性が高い。
ここで、ある最適値に到達すると、木はすでに何かを学習しているが、まだオーバーフィットはしておらず、新しいデータでも同じような結果が期待できる。
うーん、でも、このツリーを1つの予測変数に圧縮して、さらに解を探すとしたら......？ただ、実は私の予測変数は、すでに何らかの事前計算や値の分類などを行っていることが多く、生データを木に与えると、分岐が早く止まり、誤差が大きくなってしまうのです......。その上で、正しい方向に分岐させれば結果が出るのですが、この方向が不明で、どう判断するかが問題なのです。
どうだろう :)この木でそのような実験をしたことはありません。しかし、例えば、あらゆる種類のGBMモデルがそのように機能します。ツリーを構築し、次に、前のツリーと比較して改善される別のツリーを構築し、さらに別のツリーを構築する、というように。
どうやらこのGBMモデルについて読む必要があるようだ...しかし、どこで再現しているのだろう（Rだけ？）
私のプログラムでも少なくとも結果は出ていますし、あなたのプログラムでも何か面白い結果が出るかもしれません。
トレーダー博士、Levl_first_H1, Levl_High_H1, Levl_Low_H1, Levl_Support_H1, Levl_Close_H1 , を別の全体のルールとして組み合わせて 考えると、本来の意図通り、一般的には、不思議な表になる ことが分かりました。
表から次のようになる。
1.目標を考慮して全バー2年分を記述するのに6088通りの組み合わせが必要で、目標を全く考慮しない場合はさらに少なく、つまり一様分布の場合は1通りの組み合わせで2年分86行を記述することができますが、もっと多い組み合わせと少ない組み合わせがあると思います。
2.2015年から2016年にかけての新しい独自ルールの出現率は41％、目標1の新ルールでは55％、つまり2015年からのルールの45％が残って有効性を維持しており、これはもういいんじゃないかと思うんです。
3.2015年と2016年のサンプルは、可能な全組み合わせの21％しか使っていないので、残りは極めてユニークか、サンプル不足のどちらかです。
この事実を、ツリーを構築する際に何らかの形で利用すべきではないでしょうか。
追加されました。
そこでこんな実験をしてみました。2016年のターゲット0と1をターゲット1と0で重複をクリアするルールを追加し、重複した行を削除したら、意味の分からない鬱陶しい結果になりました。
ターゲット「1」の誤規則は81％、ターゲット「0」の誤規則は38％であることがわかったが、行の何パーセントがエラー率を含んでいるかはわからない...。は、比率が異なる可能性があり、そうでなければ、2016年に検出された数とまったく同じだけ新しいルールが追加されるはずですが、そうではない、つまり、ルールが常に満たされているわけではなく、追加の条件、つまり予測変数が必要なだけなのだと思います。
アレクセイ・ヴャジミキン
表から導かれる。
ルールが常に適用されるわけではなく、追加の条件（予測因子）が必要なだけです。
アレクセイ、すぐに成熟したNS-kaを作ることを提案します。サ ンプリングと森だけでは、私たち（MQLコミュニティ）は遠くへ行くことはできません。
明らかに、作業NS-戦略は、トレーダーとしての意思決定を行うための分析プラットフォームが必要です - 購入するために市場に参入するかどうか、販売するために、または一般的に？買い、売り、または一般的にポジションを閉じる価値がありますか？
マキシムとHEREで 妄想してみたので、ぜひ読んで確認してみてください。
アレクセイ、すぐにでも大人しくNS型をしたほうがいい。私 たち（MQLコミュニティ）は、サンプルや足場だけでは、遠くへ行くことはできません。
明らかに、作業NS-戦略は、トレーダーとしての意思決定を行うための分析プラットフォームが必要です - 購入するために市場に参入するかどうか、販売するために、または一般的に？買い、売り、または一般的にポジションを閉じる価値がありますか？
マキシムとHEREで 妄想してみたので、ぜひ確認して納得してください。
ここに、NSの居場所があるのかどうか......。
さあ、注目してください。今週はDockスクリプトとメールネットワークに取り組むことにした。
さて、一番の見どころは何かというと、それは..................。
最大ニューロン数を200とした場合（デフォルト）、R-scoreで推定される学習の質は0.6であった。しかし、隠れニューロンの最大数を30に減らすことで、推定値が0.85に増加しました（これは非常に良い）。しかし、重さによってモデルのコピーを取るようになったのです。いつも同じ重さになってしまう。ここで疑問が湧いてくる。遺伝学は頑固に同じ最小関数に辿り着く。実数では同一の重みで同一の最小値を得るほど、曖昧さのないデータなのでしょうか。何週間か様子を見てみましょう...。
正確には、先週のReshetovのオプティマイザはELMNNネットワークより少し得をしているが、インストールがはるかに速いので、そちらに切り替えてみて、うまくいけば、仕事でのネットワークインストールがあまりに大掛かりなので、とりあえずReshetovはあきらめることにする・・・・。
どうやらこのGBMモデルについて読み解く必要がありそうだ...どこで再現しているのだろう（Rだけか？）
Pythonにもあるはずです。
私のプログラムでも少なくとも結果は出ていますし、あなたのプログラムでも何か面白い結果が出るかもしれません。
今晩アルゴリズムを実行し、明日結果を示す予定です。
表から次のようになる。
...
100%の精度を達成し、モデルがうまく機能することを期待することは、FXでは通常不可能です。予測因子と、うまく適合するターゲットを選択するのに数ヶ月が必要です。通常、数十％以上の精度に達したモデルは、学習例から論理的なパターンを見つけるのではなく、学習例を記憶するようになる。だから、新しいデータでの結果はどんどん悪くなっていくのです。しかし、木の分割を細かくして精度を上げると、新しいデータではどんどん悪い結果になってしまいます。
最大ニューロン数を200とした場合（デフォルト）、R-scoreで推定される学習の質は0.6であった。しかし、隠れニューロンの最大数を30に減らすことで、0.85に増加しました（これは非常に良い）。
ジェネティクスは、限られた数の関数呼び出しに対して、正しいパラメータを見つけようとする。このパラメーターのバリエーション数を減らす（200ではなく30）ことで、遺伝学は1から30までの領域をより詳細に調査することができます。そしてその通り、あるモデルのパラメータを求めるための具体的な限界がわかっているのであれば、その情報をすぐにジェネティックスに伝えた方がいいのです。
あるいは。
この行（緑色の行）をコードに追加すると、遺伝学者がデフォルトの50個体ではなく、500個体の集団を持つようになります。そして、10倍のモデルをテストできるようになり（ただし、スクリプトの実行時間も10倍になる）、モデルパラメータの組み合わせをできるだけ多く試せるようになる。最大200ニューロンでも、0.85でより良い結果が得られるか、少なくともそれに近づけることができると思います。
あ、なんか読み応えありそうですね、忘れてた。というか、GBMとXGboostの 違いを忘れていた......というか知らなかった
gbmはどのモデルもブースト可能、xgbはツリーにあるようです。
森を作る乞食よりブーストの方が少しはマシなのはわかる。オーバートレーニングの場合はどうなんだろう。
https://habr.com/company/ods/blog/327250/
https://datascienceplus.com/gradient-boosting-in-r/