トレーディングにおける機械学習:理論、モデル、実践、アルゴトレーディング - ページ 2808 1...280128022803280428052806280728082809281028112812281328142815...3399 新しいコメント Vladimir Perervenko 2022.10.29 17:32 #28071 Aleksey Vyazmikin #:あなたのスクリプトは1日以上稼動していますが、まだ審査結果に基づいてファイルを1つも作成していません。どうでしょう、そろそろスイッチを切る時期ではないでしょうか? ゼクルスとサンプルサイズによります。あなたのプロセッサーがマルチコアなら、実行を並列化する。以下は並列実行の一例です。 ##----parallel-------------------------- library("doFuture") registerDoFuture() plan(multisession) require(foreach) bench::bench_time( foreach(i = 1:length(cor.test.range))%dopar%{ get.findCor(dt, cor.coef = cor.test.range[i]) }-> res ) # process real # 140.62 ms 2.95 m # bench::bench_time( for(i in 1:length(cor.test.range)){ paste0("train1_" , cor.test.range[i]*10 , ".csv") %>% paste0(patch , .) %>% fwrite(res[[i]], .) } ) # process real # 156 ms 157 ms シリアルより4倍速い。ハードウェアとソフトウェア sessionInfo() # AMD FX-8370 Eight-Core Processor # R version 4.1.3 (2022-03-10) # Platform: x86_64-w64-mingw32/x64 (64-bit) # Running under: Windows 10 x64 (build 19044) # # Matrix products: default # # locale: # [1] LC_COLLATE=Russian_Russia.1251 LC_CTYPE=Russian_Russia.1251 LC_MONETARY=Russian_Russia.1251 # [4] LC_NUMERIC=C LC_TIME=Russian_Russia.1251 # # attached base packages: # [1] stats graphics grDevices utils datasets methods base # # other attached packages: # [1] doFuture_0.12.2 future_1.28.0 foreach_1.5.2 fstcore_0.9.12 tidyft_0.4.5 # # loaded via a namespace (and not attached): # [1] Rcpp_1.0.9 codetools_0.2-18 listenv_0.8.0 digest_0.6.30 parallelly_1.32.1 magrittr_2.0.3 # [7] bench_1.1.2 stringi_1.7.8 data.table_1.14.4 fst_0.9.8 iterators_1.0.14 tools_4.1.3 # [13] stringr_1.4.1 import_1.3.0.9003 parallel_4.1.3 compiler_4.1.3 globals_0.16.1 幸運 Aleksey Vyazmikin 2022.10.29 20:50 #28072 Maxim Dmitrievsky #:それがすべてだ。スピードは壊滅的な影響を受けるだろう。データフレームは大きなオーバーヘッドを持つ最も遅い獣だ。ビデオカードがどうこうではなく、そんなものは地味な状態ではデータフレームを通してカウントされないことを理解することだ。 データフレーム」とはどういう意味なのか、無知な人にこの言葉で説明してあげてください。 Aleksey Vyazmikin 2022.10.29 20:51 #28073 mytarmailS #:ヒント: それらの間の相関を見るために、100,000オブザベーションのベクトルを使う必要がありますか? 私は、相関の高いベクトル、すなわち、相関が0.9より大きいベクトルを探しています。 それが必要かどうかはわかりません - 実験してみてください。サンプルの半分は相関がなかったのに、あるとき突然相関が現れた。 それに、私はすべての係数を0.1刻みで試しました。 mytarmailS#: どういたしまして。 これは魂の叫びですか? Aleksey Vyazmikin 2022.10.29 20:57 #28074 Vladimir Perervenko #:zhekezとサンプルサイズに依存する。プロセッサがマルチコアの場合、並列実行を行う。以下は並列実行の一例である。シリアル実行より4倍速い。ハードウェアとソフトウェア幸運 並列実行はRAM消費を増加させないのですね? mytarmailSの コードはよりRAMを消費しますが、それは50倍速く、多分あなたが使用するライブラリのいくつかの制限があります - スクリプトは30時間以上動作し、単一のファイルを作成しませんでした。 複雑なコード例をありがとう - Rでは、私はむしろ単なる消費者です。 Maxim Dmitrievsky 2022.10.30 01:01 #28075 mytarmailS #: データ型ごとにcorrを計算するメソッドがあるはずだということですか? matrixはRに組み込まれているデータ型で、matrix.corr() vectorのようなものがあります。 Maxim Dmitrievsky 2022.10.30 01:12 #28076 Aleksey Vyazmikin #:データフレーム "とは何を意味するのか、この言葉を知らない人に説明しよう。 これはむしろRを書く人へのメッセージです :) これはデータを便利に表示するためのテーブルであり、(SQLのように)サブサンプルを抽出するような典型的な操作を行うためのものです。 あなたが持っているような大きなデータをループでレースするようには設計されていません。メモリによって、あなたはすでに自分で理解しています。 ここは大丈夫だと思う: # чтобы прочитать как работает функция и примеры ?caret::findCorrelation # находим колонки которые не коррелированы с порогом корреляции 0,9 "cutoff = 0.9" not_corr_colums <- caret::findCorrelation(as.matrix(df), cutoff = 0.9, exact = F,names = F) 組み込み型の "matrix "がどれくらい速いかは知らないが、キャレットを使うので遅くなることもある。ビルトイン型には相関を計算するためのベクトル演算がない。 mytarmailS 2022.10.30 01:38 #28077 これらの考えはどこから来るのか Maxim Dmitrievsky 2022.10.30 01:44 #28078 mytarmailS #: これらの考えはどこから来るのか? 左葉に内蔵されたタイプは、それ自体がコーラ計算を持っているはずなのに、なぜそれを可能な限り遅くするのか? Valeriy Yastremskiy 2022.10.30 17:05 #28079 Maxim Dmitrievsky #:Korrの計算が可能な限り高速であるべきビルトインタイプを、なぜ遅くするのか? リブは型を考慮しないのか?データ型は最も安い計算のためのデータのようなものだ。同じマトリックスが計算用に設計されているはずだ。 Алексей Тарабанов 2022.10.30 18:11 #28080 mytarmailS #: 過去にバカになることなく未来に賢くなるには? アルゴリズム的に...テラバイトの知識を作ることなく。 それは無理だ。 1...280128022803280428052806280728082809281028112812281328142815...3399 新しいコメント 取引の機会を逃しています。 無料取引アプリ 8千を超えるシグナルをコピー 金融ニュースで金融マーケットを探索 新規登録 ログイン スペースを含まないラテン文字 このメールにパスワードが送信されます エラーが発生しました Googleでログイン WebサイトポリシーおよびMQL5.COM利用規約に同意します。 新規登録 MQL5.com WebサイトへのログインにCookieの使用を許可します。 ログインするには、ブラウザで必要な設定を有効にしてください。 ログイン/パスワードをお忘れですか? Googleでログイン
あなたのスクリプトは1日以上稼動していますが、まだ審査結果に基づいてファイルを1つも作成していません。どうでしょう、そろそろスイッチを切る時期ではないでしょうか?
ゼクルスとサンプルサイズによります。あなたのプロセッサーがマルチコアなら、実行を並列化する。以下は並列実行の一例です。
シリアルより4倍速い。ハードウェアとソフトウェア
幸運
それがすべてだ。スピードは壊滅的な影響を受けるだろう。データフレームは大きなオーバーヘッドを持つ最も遅い獣だ。
ビデオカードがどうこうではなく、そんなものは地味な状態ではデータフレームを通してカウントされないことを理解することだ。
データフレーム」とはどういう意味なのか、無知な人にこの言葉で説明してあげてください。
ヒント: それらの間の相関を見るために、100,000オブザベーションのベクトルを使う必要がありますか?
私は、相関の高いベクトル、すなわち、相関が0.9より大きいベクトルを探しています。それが必要かどうかはわかりません - 実験してみてください。サンプルの半分は相関がなかったのに、あるとき突然相関が現れた。
それに、私はすべての係数を0.1刻みで試しました。
どういたしまして。
これは魂の叫びですか?
zhekezとサンプルサイズに依存する。プロセッサがマルチコアの場合、並列実行を行う。以下は並列実行の一例である。
シリアル実行より4倍速い。ハードウェアとソフトウェア
幸運
並列実行はRAM消費を増加させないのですね?
mytarmailSの コードはよりRAMを消費しますが、それは50倍速く、多分あなたが使用するライブラリのいくつかの制限があります - スクリプトは30時間以上動作し、単一のファイルを作成しませんでした。
複雑なコード例をありがとう - Rでは、私はむしろ単なる消費者です。
データ型ごとにcorrを計算するメソッドがあるはずだということですか?
matrixはRに組み込まれているデータ型で、matrix.corr() vectorのようなものがあります。
データフレーム "とは何を意味するのか、この言葉を知らない人に説明しよう。
これはむしろRを書く人へのメッセージです :) これはデータを便利に表示するためのテーブルであり、(SQLのように)サブサンプルを抽出するような典型的な操作を行うためのものです。
あなたが持っているような大きなデータをループでレースするようには設計されていません。メモリによって、あなたはすでに自分で理解しています。
ここは大丈夫だと思う:
組み込み型の "matrix "がどれくらい速いかは知らないが、キャレットを使うので遅くなることもある。ビルトイン型には相関を計算するためのベクトル演算がない。
これらの考えはどこから来るのか?
左葉に内蔵されたタイプは、それ自体がコーラ計算を持っているはずなのに、なぜそれを可能な限り遅くするのか?
Korrの計算が可能な限り高速であるべきビルトインタイプを、なぜ遅くするのか?
リブは型を考慮しないのか?データ型は最も安い計算のためのデータのようなものだ。同じマトリックスが計算用に設計されているはずだ。
過去にバカになることなく未来に賢くなるには? アルゴリズム的に...テラバイトの知識を作ることなく。
それは無理だ。