トレーディングにおける機械学習:理論、モデル、実践、アルゴトレーディング - ページ 3334

 
Aleksey Vyazmikin #:

いや、同じ相対的な場所、つまり仕切り(スプリット)の数はすべて固定される。

0と1の2値予測変数がたくさんありますが、それらは32には分割されません。しかし、それらを正規化すれば、一様量子化で何かが得られるかもしれません。一様でない量子の場合、数字だけではすべての距離が歪んでしまうので、正規化した後に abs 値が必要です。

Aleksey Vyazmikin#: 様々な方法があります。一般的に、最終的なモデルがうまく訓練されたかどうかにかかわらず、最終的な結論の誤差を減らすことができます。

トレーニングのようにノイズを取り除くことができなければ、予測に誤差が生じます。

Aleksey Vyazmikin#:

合計の不確定な葉が確率を一方向または別の方向にシフトさせることができます - 私は確率のシフトに応じて重みがどのように分布するかを示すグラフを作りたいのですが、ずっと先延ばしにしています。3日間、コンピューターはモデルの葉の類似性を検討する - アルゴリズムの最適化について考える - 長すぎる...。

木だろうが森だろうが茂みだろうが関係ない。モデル予測が50%なら、予測には50%の0と50%の1がある。

 
つまり、問題は両端にあるのだ。From one end you do not know your target function, from the other you do not know what errors of approximation by a particular model it has.f-と誤差を見つける必要があります。サブサンプルのみで、多くの場合偏りがある。

そして、あなたは、複数のOOSテストなしで、このすべてを行うことができます。しかし、部分標本内では抑制がありません。
 
Forester #:

0と1のバイナリ予測変数がたくさんありますが、32で割ることはできません。しかし、それらを正規化すれば、一様量化で何かが得られるかもしれません。一様でない量子の場合、数値だけではすべての距離が歪んでしまうので、正規化した後にabs値が必要です。


そう、2進数の場合はより複雑になる。しかし、正規化がどのように役立つのか、私には理解できません。

一般的には、次元を減らすことが必要なのでしょう。しかし、それでは著者が意図したことにはならない。今のところ実現には程遠い。

フォレスター#:

トレーニングのようにノイズを取り除くことができなければ、予測に誤差が生じます。

これは別の概念で、データは「予測できる」と「予測できない」のように2つの部分に分けられ、1つのモデルがそれを担当します。そして、新しいデータが入ってきたときに、予測するかどうかを評価する。こうして予測は、トレーニング中に「容易に」分離可能で強固にクラスタ化されたデータ、つまり妥当性の兆候があったデータに対してのみ行われる。

フォレスター#:
木でも森でも茂みでも構わない。モデルの予測値が50%ということは、予測値には50%の0と50%の1があるということです。

そんなことは全く関係ない。フォレストとブッシングは強制的にツリーを構築します。つまり、ツリーがお粗末だった場合に破棄するアルゴリズムがありません。どちらの場合でも、ツリーには重みが与えられます。特徴量を選ぶときも、例(サブサンプル)を選ぶときも、アルゴリズムに過剰なランダム性があるため、お粗末になる可能性がある。

 
Maxim Dmitrievsky #:
いや、まだだ。今夜見てみるよ。
これらの方法はモデルに依存する。データ自体は分割も分離もされていない。どう説明したらいいかわからない。一度試してみたが、またオプティマイザーとトラブルになった。本に書いてある。
ここを左に行くと馬を1頭失う。右に行けば双頭の竜を失う。

その通り、学習を劣化させる例を分離する方法、それが理論だ。

100個のモデルを訓練し、平均してどの例が信頼できる分類を「妨げる」かを見て、別のモデルでそれを検出しようとするものだ。

 

モデルを手に取り、葉の枚数を見てみた。このモデルは12.2%しかなく、バランスが悪い。

ターゲット「1」を持つ回答のサンプルが初期値-12.2%より多ければ、クラスは「1」、そうでなければ「0」です。ここでのクラスの考え方は、分類を改善するための有用な情報を持つことです。

ヒストグラムでは、モデル(X)の葉の値と、モデル(Y)の中のそれらの%を見ることができます。

0

そしてこちらも同じですが、クラスは "0 "だけです。


クラスは "1" だけです。

葉のこれらの係数は合計され、ロジットを通して変換されます。つまり、"+"記号はクラス "1 "の確率を増加させ、"-"はそれを減少させます。全体として、クラス別の内訳は妥当であるように見えるが、モデルには偏りがある。

ここで、"1 "のシートと "0 "のシートに分けて、(分類精度の)パーセンテージ分布を見ることができます。


0 "のヒストグラムは、"100%"に近い精度を持つ膨大な数の葉です。


そしてここでは、初期分離値の近くに大きなクラスターがある。つまり、情報量の少ない葉がたくさんあるが、同時に100%に近いものもある。

Recallを見ると、これらの葉はすべて活性化数が少ない葉であることがわかる。


クラス "0 "のリコール


クラス "1 "のRecall。

次に、リーフの重みの分類精度への依存性を見てみましょう。

00

ターゲット "0 "の場合


ターゲット "1 "の場合。

このように大きな範囲ではあるが、線形性があることは注目に値する。しかし、確率100の "列 "は論理から外れており、シート値の範囲に 非常に大きく広がっている。

この醜悪さは取り除かれるべきだ。

また、「Recall」インジケータに依存するリーフ内の値を見てみると、リーフ内のウェイトが小さく(0に近い)、回答の値が非常に大きくなっていることがある。この状況は、その葉が良くないが、重みがついていることを示している。では、これらの葉もノイズとみなし、ゼロにしてしまってよいのだろうか。

000

ターゲット "0"の場合


ターゲット "1 "の場合。

新しいサンプル(訓練ではない)の葉の何パーセントが「クラスを変える」のだろうか?

 

さらに、古典的なことだが、完全性と正確性の相互依存。

0

クラス0。


クラス1。

とにかく、それをどう量るか......。

 

そして、このモデルは確率で見るとこのようになる。

電車

訓練サンプルでは-35%もの利益が出始めている-まるでおとぎ話のように!


テスト・サンプルでは、0.2から0.25の範囲で利益の塊を失う。


試験サンプルでは-まだ利益は出ているが、すでにモデルを腐食させている。

 
Aleksey Vyazmikin #:

新しいサンプル(列車ではない)に乗っている葉の何パーセントが、そのクラスを「変更」するのだろうか?

はい、どうでしょう?

________________________

実は、訓練でもテストでもターゲットに対してシフトしないような特徴を見つける方法を見つけたのですが...問題は、そのような特徴が壊滅的に少ないことと、スクリーニングの方法自体がパワーの点で乱暴に高価であること、そして一般的に、この方法自体は教師なしで訓練することによって実装されるのですが、この方法だけはなんとかフィッティングを避けることができました。


 
その中で量的化はどのような役割を果たしたのだろうか?10段階評価で。
私はスターフィールドを通過し、シンギュラリティが始まったようなものだ。マルチバースに入り、自分のコピーに出会った。今、私はさまざまなバージョンの宇宙を駆け巡っている。そして逃げ場がない。新しい意味を見つけなければならない。

ー 脳やーあるいはー 神経ネットワークがー がー 理性のー限界がー がー限界にーまでーにー
 
Aleksey Vyazmikin #:

その通り、学習を低下させるような例を強調する方法だ。

100個のモデルを訓練し、平均してどの例が信頼できる分類を「妨害」するかを見て、別のモデルでそれを検出しようとするものだ。

メイントラックを5~10個のサブトレインに分割し、それぞれをトラックとシャフトに分ける。それぞれについて、cvのタイプについて訓練し、次にメイントレイン全体について予測する。すべてのモデルの元のラベルと予測されたラベルを比較する。当てはまらなかったものはブラックリストに入れる。そして、各サンプルの平均アスピレーションを計算することで、最終モデルをトレーニングする際に、すべての悪いサンプルを削除します。オプションとして、2番目のモデルに、3番目のクラスを経由して、白いサンプルと黒いサンプルを分離するように教えることができます。

3行のコードで、結果は...まあ、あまり比較するものはないのですが...まあ、ある程度のレベルです。

ここでのkozolはcvで、つまり、異なる履歴で訓練された複数のモデルを用いて、どの例が悪く、どの例が良いかを統計的に決定する。これは傾向スコアと呼ばれるもので、各サンプルがトレーニングで役割を果たす傾向のことだ。

もちろん、ラベルは非常にゴミである可能性があり、このアプローチではほとんどすべてを取り除くことができる。そこで私は、当初は取引のランダム・サンプリングを使って、さまざまなマークアップのバリエーションを追加した。チャートのマークアップ方法について考えたくない、あるいはどのように考えたらよいのかわからないということを考えると。

TCを独自に検索するコゾル要素を持つAMOは、おおよそこのようになるはずだ。