EURUSdのヒストリーファイルが必要です。 - ページ 4

新しいコメント
 

シュナッピー バッドティックやデータホールを特定する（そして最終的には修正する）ための方法論は、それ自体が進化するプロセスです。私は当初、外部で定義されたフィルタ（価格差 > Xならバッドティックなど）を使用する標準的なアプローチを取りましたが、この方法の問題は、価格データがどのように見えるべきかという自分の認識や期待にデータセットを合わせることになり、金融商品の価格変動のダイナミクスという固有の統計特性を代表するかしないかわからないことです。

最終的には、私の方法は、金融商品（ここでは通貨ペアですが、全般的に当てはまります）の本質的な特性とデータの整合性を求めるところまで繰り返されました。これは実際には、「既知の優れた市場データ」を取り出して、その属性（時間のずれ、価格のずれなど）を強固に特徴付けることを意味します。これにより、通貨ペアの自然で特徴的な価格変動のプロファイルが 生成されます（各ブローカーは価格フィードを「生かす」ために独自の微妙な「ポンプとパルス」アルゴリズムを持っているので、これはブローカー固有のものになります）。

この特徴的なデータで武装して、私はスクリプトに古い、より疑わしい、各バーが通貨ペアの固有の性質と統計的に一致しているかどうかのメリットを評価する期間を繰り返し実行させます。例えば、USDJPYの連続するM1ローソク足の間に生じる価格ギャップが一般に<3pipsであることを観察するとします。つまり、N+1ロウソクの終値は、Nロウソクの始値から-3～+3pips離れているのです。

これは統計を取るのが簡単な指標で、データの終値（i+1）-始値（i）を分析し、ヒストグラムを作成するだけです：（私は特に、意図的に、この特性評価の段階でそれ自体の間に時間差があるキャンドルペアから来る価格のギャップを除外することに留意してください）。


2003年以前のヒストリカルデータを評価し、連続するローソク足（時間差なし）間の価格ギャップが統計的に矛盾しない範囲（この例では50pipのギャップが検出されたとします）から大きく外れていることを観察した場合、その時点の評価中の価格データを疑わしいと考える原因がスクリプトにあるとします。

疑わしいローソク足で何をするか（修復段階）は、全く別の問題ですが、ここに例があります。


データを修復する際に避けるべき危険性と落とし穴があります。あなたが悪いローソクの退去リストとその置換を定義する方法に注意しなければ、あなたは知らないうちに善よりも害を引き起こすことができます（私はその場合、悪い価格ギャップを人工の時間ギャップに置き換え、置換ポリシーとしてhstレコードから単にローソクの削除も考慮しています）。

 
フィリップ、それは興味深いことだが、私にはリスクと時間がかかりすぎるように思える。私は、信頼できない情報源を「修正」しようとするよりも、信頼できる情報源を使いたいのです......。

その「怪しい」ローソク足について。多くのブローカーは、様々な理由のために奇妙な価格のスパイクを持っています。あなたの上記の例では、どのようにあなたはそれが明らかに "悪いティック "データであることを確認してください？そのようなスパイクは、実際に起こる...
 
gordon wrote>>
フィリップ、それは興味深いことですが、私にはリスクと時間がかかりすぎるように思います。私は、信頼できないソースを「修正」しようとするよりも、信頼できるソースを使いたいのです...。

その「怪しい」ローソク足について。多くのブローカーは、様々な理由のために奇妙な価格のスパイクを持っています。あなたの上記の例では、どのようにあなたはそれが明らかに "悪いティック "データであることを確認してください？そのようなスパイクは、実際に起こる...


このブローカーの場合、3年以上のデータを詳細に分析した結果、そのようなスパイクは100万本以上のローソク足のデータで一度も発生しなかったことがわかりました。 オッカムのカミソリ...1999年8月2日04:29に起こった可能性が高いのは、市場が60pips上昇し、ローソクの高値で閉じ、次のローソクの始値を示すティックでは市場は50pips下がり、その後の市場の動きはスパイク前のローソクより変動がなかったことでしょう？ あるいは、この特定のローソク足には、合法的に（確信を持って）排除することができる偽りの悪いティックが含まれているのでしょうか？

上の記事の最初のグラフを見ると、3年以上のデータで、このペアで4pipsを超えるクローズ・アンド・オープンのギャップの頻度はゼロであることに気づきます。 この例では、50pipの異常値は明らかな異常値であり、私の過去の取引記録のコピーからそれを除外することに安心感を覚えたのです。

Re: 信頼できるソースと固定...MT4プラットフォームを使用する場合、アスク価格の履歴記録を 信頼できないので、信頼できる履歴データと信頼できない履歴データを持つという概念は、私の意見では、個人的に快適さの1つです。 もちろん、それはあなたのトレード戦略によりますが、私の場合、ヒストリカルレコードの正確な仕様は、私のEAには関係ありません。 もしあるトレード戦略が利益を上げるために過去の記録の正確さと精密さを必要とするならば、どの通貨ペアのショートポジションでも利益を上げられない可能性が高いでしょう。

ですから、もしあなたがバックテストで捏造されたアスク価格に対処できるほど堅牢なEAを作ろうとしているなら、おそらくあなたは、とにかく過去の記録におけるスプリアス/エラーのある価格データに対処できるEAを作ったのだと思います。 私は間違っているかもしれませんし、初めてではないですが、私のヒストリカルデータへのアプローチは、私のEAを不可知論的にする目的でそれを使用することです。

 
1005phillip:


Re: 明らかに "悪いティック "データであることをどうやって知る のですか...このブローカーの場合、3年以上のデータを詳細に分析した結果、そのようなスパイクは、100万以上のローソク足のデータで一度も発生しなかったことがわかりました。 オッカムのカミソリ...1999年8月2日04:29に起こった可能性が高いのは、市場が60pips上昇し、ローソクの高値で閉じ、次のローソクの始値を示すティックでは市場は50pips下がり、その後の市場の動きはスパイク前のローソクより変動がなかったことでしょう？ それとも、この特定のローソク足には、合法的に（確信を持って）排除することができる偽の悪いティックが含まれているということでしょうか？

でも、これは極端な例です。もし、それが30ピップスで、そのようなケースが3年分のデータで3回あったとしたらどうでしょう。その場合、どうやって判断するのでしょうか？私が言いたいのは、明らかでなく、推測しなければならないケースもあるだろうということです。


Re: 信頼できるソース対固定...MT4プラットフォームを使用する場合、アスク価格の履歴記録を一切 信頼できないので、信頼できる履歴データ対信頼できない履歴データという概念は、私の意見では、本当に個人の快適さの一つです(...)

しかし、それは重要ではありません。私が言っているのは、信頼できる情報源であれば、このような面倒なことをしなくても、そのまま使うことができるということです。MT4 TesterのAsk価格（固定スプレッド）の欠如は、悪いソース、良いソース、固定ソースのいずれにも影響するので、これとは関係ありません...全く別の問題です。

 

フィリップ：私の意見では、それが望ましいと思います。バッドティックは、価格変動とその後のボラティリティを組み合わせて分析することで、極めて安全に特定できると思います。次のM1バーでスパイクを示し、異常なボラティリティがない場合、それは非常に高い確率でバッドティックと言えます。上のスクリーンショットはそのような例です。

バッドティックを定義することと、それを修正することは別の問題です。私の考えでは、これを行うには2つの方法があります。

1つ目：バッドティックを特定し、推測で修正する。もし、オープンで突然+50pipsのギャップが発生したら、それを+3pipsに戻すといった具合です。--> 正確ではないかもしれませんが、簡単に実行できます。
2番目：悪いティックを特定し、他のデータストリームと価格を比較する。これはより正確な方法ですが、実装はより困難です。

 

ゴードン：私は、過去の記録を自己矛盾のないものにするために、統計そのものに依存することで推測を避けているのです。あなたが別の投稿で、基本的な統計学を駆使するトレーダーだと言っていたのを思い出したので、その前提は、疑わしいデータセットと既知の良いデータセット（あなたが「信頼できるソース」と呼ぶもの）の間のカルバック・ライブラー発散を最小にすることだと言えば、私が何を言っているか理解いただけると思います。

金融市場の尖度は通常ゼロより大きいので、FXの場合のみ、通常のガウス分布の代わりに一般化正規分布を使用します。しかし、私の選択基準は、高/低バンドパスフィルターを設定し、データを通過させるような単純な（そして欠陥のある）ものではないことはお分かりいただけると思います。

もちろん、金融商品の価格データを確率過程として扱う場合、「信頼できるソース」の期間中の定常性について仮定が必要です。しかし、私がEAコードの活動を将来の時系列における同等の定常性の期間に限定することを要求するのであれば、このアプローチには自己矛盾が内在しています。信頼できるソース」のデータの長さは有限であるため、私たちの特徴づけで捉えた過去の循環定常過程が将来の時系列で表現されると期待できる時間的な上限が設定されています。

それは、データの「履歴精度」やデータで表される時間の長さにかかわらず、トレード戦略を「最適化」するために履歴データとバックテストを使用することから得られる価値は、バックテストによって答える必要のある質問を知っているキーボードの後ろに座る人次第である、ということです。ヒストリカルデータの長さも、反復的なバックテストで最適化を行うのに費やした時間も、そもそも疑問が明確に定義されていなければ、答える必要のある疑問に答えることはできません。どのようなパラメータが最大の利益をもたらすか、あるいは最小のドローダウンをもたらすか」ということは、バックテストで答えを得ようとする質問ではないことに気づくのにどれくらいかかったでしょうか :)

シュナッピー、それはあなたの目標が何であるかによります。歴史的に正確な価格設定のニュアンスをより反映したデータセットが欲しいのか、それとも取引トリガーや資金管理がテストされる時系列の数に興味があるのか？もちろん、マーケット・トレーディングへの取り組み方は人それぞれで、間違った答えはありません。個人的には、線形時系列のテストにヒストリカルデータを使用しません。これは私だけではなく、大多数の人がそうでないことは承知しています。私はヒストリカルデータを使って、通貨ペアの特性の根底にある生の統計的性質を抽出し（Lévy-Itō分解）、それを使って、モンテカルロルーチンによって、統計的に同等だが同一ではない過去のデータの時系列を作成します。そして、この作成したヒストリカルデータでバックテストを行う。(これは軽い読み物では ありませんが、まだご存じないようなのでリンクを貼っておきます。）

天気予報と同じで、今日と昨日の天候をより高い精度と正確さで知ることに集中して明日の天気を予測するのではなく、天候指標（気温、湿度、気圧など）の進化の固有の統計量を捕捉するモデルを作成し、初期条件を意図的に変更してモンテカルロ法を時間的に前進させて、これを数千回行って結果を平均します（精神的には、実際の詳細は当然もっと複雑です）、それが明日の予報の基礎を形成します "最低気温は30度半ば、最高気温は60度以上」。

もしあなたが、3年分ではなく10年分のデータをバックテストしたいがために、古いヒストリカルデータから悪いティックをフィルタリングするという考え方に近づいているなら、多くのバックテスターがそのキャリアのどこかで陥る「量が質を高める」という誤謬に陥るかもしれないことだけは注意してください。私もかつてそうでしたし、しばらくの間、そこから抜け出せませんでした。バックテストを最適化するためのより長いヒストリカルデータさえあれば、私の負けたコードは勝者になれる／なれると確信していたのです。もしかしたら、ある人にとってはそれが真実で、より長いバックテストを持つことは、フォワードテストの利益のために本当にトリックになるのかもしれませんが、私にとっては、それはただの馬鹿の金（そして多くの無駄な時間）であることが判明しました。

もし、自己相関関数などを使うために長いヒストリカルレコードが必要なら、ラッチとフェーズロックを磨くために仮想/合成価格データのシリーズを独自に作成した方が良いでしょう。

私は正しい答えを持っているとは言いません。ただ、最初に正しい質問から始めなければ、その答えが私たちの全体的な目標（おそらく利益）にとって役に立つとは思えない、と言っているのです。

 
ええ、これらの用語は知っていますが、ほとんど理論的なレベルです。私のバックグラウンドはハードウェア工学で、統計的アルゴリズムを扱うようになってからまだ1年ちょっとしか経っていません。現在のプロジェクトは 数人の数学者と共同で行っているので、理論的な作業はほとんど彼らによって行われています。このようなテーマについては、彼らならきっともっとうまく議論してくれると思います。）でも、とても興味深い話ですね。数ヶ月前に捏造された歴史についての話題が出たのを覚えていますが、それについては触れられませんでした。まだ「本当の」歴史についてテストしています...。(信頼できる」情報源から）。
 
フィリップまず最初に、このような洞察をいただき、ありがとうございます。
市場の統計的特性を抽出し、合成された市場データを作成し、そのデータでモンテカルロ・シミュレーションを行うということですね。それは非常に興味深いのですが、残念ながら私のスキルでは無理です。リンク先の2つを読み始めたのですが、正直言って理解できません。私は大学出身ですが、数学などではありません。私のアプローチは、もう少し、「実践的」とでも言いましょうか、少なくとも裁量トレーダーの観点からは、です。本当に残念です。あなた方はおそらくインターンシップを提供していないのではありませんか？

この「量から質への誤謬」と呼ばれるものは、私もすでにこの時点で行き詰って多くの時間を失っているので、自覚しています。この時間を無駄にしたとは言いませんが、それはまた別の話です。いや、なぜこの議論に入ったかというと、今、私は開発プロセスそのものを強化しているところなんです。範囲を広げるために、追加でデータを取得しようと思っています。MTでバックテストを 自動化するソリューションとかもやってますし。
 

しかし、近い将来、自分の力でマスターできないものだと思わないでください。 このようなことを理解し、利用するために大学の学位は必要ありません。ただ、時間や献身、個人的な意欲があれば、必然的にそのテーマをマスターすることができるのです。

それは、既存のプロフェッショナル投資金融業界でそこにある用語やトピックのいくつかを認識させるのに役立ちます、それは学習曲線を短くするためにいくつかの距離を行くだろう、と私は私の記事は、その能力であなたを支援している願っています。 私の投稿が皆さんのお役に立てれば幸いです。

私たち "ホームグロウン "クオンツトレーダーには多くの共通点があります。私たちのバックグラウンドは非常に多様で、金融やプログラミングの高等教育を受けている人は多くありませんが、私たちに欠けているものは、粘り強さと野心で埋め合わせすることを目指しています。 トーマス・エジソンもそうでした。倫理や道徳の観点からはベストな例とは言えませんが、彼の1万個の電球のプロトタイプの例は、この話の教訓になります。

あなたは、自分自身の進歩の速度が本質的に反復的であることを認識するようになるでしょうし、おそらくすでにそうなっていると思います。 コーディング技術を学び、コードはより洗練されたものになり、過去に成功したトレード戦略、失敗したトレード戦略を学び、自分の戦略に磨きをかけ、リスクマネジメントとリスク測定について学び、そもそも必要だと認識していなかった方法で破滅のリスクに取り組み始めるのです。

私のアプローチが一見複雑だからといって、その複雑さが必要だというわけではありません。はるかにシンプルで、はるかに複雑でないアプローチの方が、あらゆる面で優れているかもしれません。 電球の作り方には実に多くの複雑な方法があり、より複雑な方法がより良い電球を保証するわけではありません。

だから、あなたのアプローチの複雑さ／単純さと、私のアプローチの欠落との間にある、どんな認識にも気を取られないでください...あなたは正しい道を進んでいるかもしれませんが、私は畑違いなのです。

 

1005phillip: 2010.03.17 18:38

この（添付のmq4スクリプト）は、私が仕事を成し遂げるために使用するものです、それはきれいではありません（コードです）、いくつかのクリーンアップとスイッチなどのための反復的なifの変更で行うことができました。

注：W1ローソクのオープン時間は、自動的に取引週の初日（月曜日）に合わせ、MNローソクのオープン時間は、自動的に新しい月の最初のオープン市場日に合わせます。
このスクリプトは壊れています。トレードウィークの初日は月曜日ではなく日曜日（2200z）です。また、金曜や月曜の祝日を処理しません。簡単に修正できます。
      time0=Time[i];
//    if((TimeDayOfWeek(time0)==1 && TimeDayOfWeek(Time[i+1])==5) || i==0)
      if (TimeDayOfWeek(time0) < TimeDayOfWeek(Time[i+1])         || i==0)
1234
新しいコメント