트레이딩의 머신러닝: 이론, 모델, 실전 및 알고리즘 트레이딩 - 페이지 3163

 
Ivan Butko #:

상담원에게 게임을 가르치면서 외환을 가르치려는 시도에 대한 의견.

물고기가 있습니까, 아마도 이와 같은 것을 시도한 경험이 있습니까?
이것은 전형적인 RL 또는 deepRL 또는 최적화 문제입니다.
본질적으로 모두 같지만 다릅니다)
 
Forester #:


M5 5000회선(3,5주)으로 일주일에 한 번 훈련하는 좋은 변형을 찾았습니다. 그리고 토요일이 아닌 화요일에 훈련하는 것과 같이 모든 데이터를 300 회선으로 이동하기로 결정했습니다.
이 새로운 300 회선 (전체의 약 8 %)은 다른 칩과 다른 분할을 가져와 약간 변경된 데이터에 대해 더 좋아졌습니다.
50000행에 대해 300씩 이동을 반복했습니다. 새로운 행의 0.8%에 불과한 것처럼 보입니다. 그러나 5000행만큼 강하지는 않지만 OOS의 변화도 상당합니다.

일반적으로 창 크기뿐만 아니라 창 시작 부분에도 맞춤이 있습니다. 작은 오프셋은 결과에 큰 차이를 만듭니다. 강한 특징은 없으며 모든 것이 50/50 ± 1-2%의 가장자리에 있습니다.

이것은 나무의 일반적인 문제인 견고성 부족인 것 같습니다.

좀 더 정교한 (매트랩 측면에서) 분할 규칙으로 이동하면 약간의 개선이 가능할 것이라는 희미한 희망이 있습니다. 이것은 제가 최근에 기사에 대한 링크를 제공한 것과 같은 "차이 트리"와 같은 것입니다. 또는 CHAID 카이제곱 통계와 같은 것입니다.

물론 이것이 만병통치약은 아니며 이러한 분할 규칙의 특정 예가 우리에게 전혀 효과가 있다는 것은 사실이 아닙니다. 하지만 분할 규칙을 창의적으로 다룰 수 있고 또 그래야 한다는 것을 보여주는 예시입니다.

매트스탯에서 얻을 수 있는 주요 아이디어는 어떤 좌파적인 이유 때문이 아니라 임계값에 도달하면 트리의 성장을 멈추게 하는 것입니다.
 
Forester #:


M5 5000회선(3,5주)으로 일주일에 한 번 훈련하는 좋은 변형을 찾았습니다. 그리고 토요일이 아닌 화요일에 훈련하는 것과 같이 모든 데이터를 300 회선으로 이동하기로 결정했습니다.
이 새로운 300 회선 (전체의 약 8 %)은 다른 칩과 다른 분할을 가져와 약간 변경된 데이터에 대해 더 좋아졌습니다.
50000행에 대해 300씩 이동을 반복했습니다. 새로운 행의 0.8%에 불과한 것처럼 보입니다. 그러나 5000행만큼 강하지는 않지만 OOS의 변화도 상당합니다.

일반적으로 창의 크기뿐만 아니라 창의 시작 부분에도 맞춤이 있습니다. 작은 오프셋은 결과에 큰 차이를 만듭니다. 강력한 기능은 없으며 모든 것이 50/50 ± 1-2 %의 가장자리에 있습니다.

어떤 모델인가요?

 
СанСаныч Фоменко #:

어떤 모델인가요?

나무
 
Forester #:
나무
패턴이 있는 코어셋을 찾아서 그 위에서만 훈련해야 합니다. 그래프의 모든 부분에 있을 수 있으며 오버슈팅을 통해 찾을 수 있습니다. 그렇지 않으면 노이즈로 인해 모델이 집중할 수 없습니다. 현재 추세는 작은 대표 하위 샘플인 코어셋입니다. 매우 간단하고 결과를 제공합니다.
 

나무와 나무의 강화 학습에 관한 흥미로운 기사.....

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4760114/

============================

주요 아이디어

2.2 동기 부여

간단히 말해, 제안된 강화 학습 트리(RLT) 모델은 분리 변수를 선택하고 잡음 변수를 억제하는 특별한 유형의 전통적인 랜덤 포레스트 모델입니다. 이러한 기능은 각 내부 노드에서 강화 학습 메커니즘을 구현하여 사용할 수 있습니다.먼저 강화 학습의 효과를 보여주는 바둑판 예시를 살펴보겠습니다 : X ~ 유니 f [ 0, 1 ] p와 E ( Y | x ) = i { i ( i ( x (1) 0 .5) = i ( x (2) >0. 5)}라고 가정합니다. 따라서 p 1 = 2, p 2 = p -2가 됩니다. 일반적인 랜덤 포레스트를 사용하여 이 구조를 추정할 때 어려운 점은 두 개의 강력한 변수 중 어느 것도 유의미한 효과를 보이지 않는다는 것입니다.이 두 변수로 분할하여 얻는 즉각적인 보상, 즉 예측 오류의 감소는 노이즈 변수 중 하나로 분할하여 얻는 보상과 점근적으로 동일합니다. 따라서 p가 상대적으로 경우 X (1) 또는 X (2 ) 분할 변수로 선택될 가능성은 거의 없습니다. 그러나 X (1) 또는 X (2 ) 중 하나를 분할하면 나중에 분할할 때 상당한 미래 이익을 얻을 수 있다는 것을 미리 알고 있다면 당장의 보상과 상관없이 두 변수 하나를 강제로 분할할 수 있습니다.

=========================

그리고 그에 따라 R에서 패키징합니다.

https://cran.r-project.org/web/packages/RLT/RLT.pdf

Reinforcement Learning Trees
Reinforcement Learning Trees
  • www.ncbi.nlm.nih.gov
In this paper, we introduce a new type of tree-based method, reinforcement learning trees (RLT), which exhibits significantly improved performance over traditional methods such as random forests (Breiman, 2001) under high-dimensional settings. The innovations are three-fold. First, the new method implements reinforcement learning at each...
 
Forester #:
나무

정확한 이름이 무엇인가요? 아니면 수제인가요?

저는 수년 동안 다른 "나무" 모델을 사용해 왔지만 이런 것은 본 적이 없습니다.

 
mytarmailS #: 그러나 X (1) 또는 X (2 ) 분할하면 나중에 분할할 때 상당한 미래 이익을 얻을 수 있다는 것을 미리 알고 있다면 당장의 보상과 관계없이 모든 변수에 대해 분할을 강제로 수행할 수 있습니다.

강제할 수는 있지만 어떤 피시에 의해 X1, X2 또는 X157을 분할해야 할지 모르겠습니다.

 
СанСаныч Фоменко #:

정확한 이름이 무엇인가요? 아니면 직접 만든 건가요?

저는 수년 동안 다른 "나무" 모델을 사용해 왔지만 이런 것은 본 적이 없습니다.

수제입니다. 실험 가능성은 제한되지 않습니다....
 
Maxim Dmitrievsky #:
패턴이 있는 코어셋을 찾아서 그것으로만 훈련해야 합니다. 그래프의 모든 부분에 있을 수 있으며 열거를 통해 검색됩니다. 그렇지 않으면 노이즈로 인해 모델이 집중할 수 없습니다. 현재 추세는 작은 대표 하위 샘플인 코어셋입니다. 매우 간단하고 결과를 얻을 수 있습니다.

어떻게 검색하나요? 모든 청크(예: 100개씩 5000개)를 살펴보고 해당 모델의 다른 50만 행이 다른 50만 행을 얼마나 성공적으로 예측하는지 확인하면 됩니다.