각각의 새로운 바에서 이러한 모든 교육은 이 포럼에서 그리고 일반적으로 TA의 틀 내에서 씹어 먹습니다.
과적합(과적합)과의 싸움에서 나는 두 가지 비법을 알고 있다.
1. 목표 변수와 관련이 없는 예측자에서 예측자 세트 지우기 - 노이즈에서 예측자 입력 세트 지우기. 이 스레드의 처음 100페이지에서 이 문제가 매우 자세하게 고려되었습니다.
2. 노이즈를 제거한 예측 변수 세트를 가지고 훈련 샘플에 모델을 피팅(피팅)한 다음 한 파일의 임의 샘플인 테스트 및 검증 샘플에 피팅(피팅)을 시작합니다. 이 세 세트의 오류는 거의 동일해야 합니다.
3. 그런 다음 이전 파일과 별도로 위치한 파일을 가져와서 모델을 실행합니다. 오류는 이전 오류와 거의 같아야 합니다.
4. 이러한 검사가 정기적으로 수행되면 "20% 감소는 재교육 신호"라는 질문은 전혀 가치가 없습니다. 처음 세 단계의 결과로 감소가 매개변수로 얻어졌기 때문입니다. 모델과 그 이상은 모델이 작동하지 않으며 다시 시작해야 한다고 말합니다.
글쎄, 이것은 일반적인 경우입니다. 그리고 각각의 특정 차량에서 각각의 특정 차량에 대해 더 많은 작업을 수행해야 합니다. 그러면 그녀가 정상적으로 학습했을 때, 재교육을 받았을 때, 그리고 생리가 있을 때 이해가 올 것입니다. 개인적으로 짧은 시간 동안 차량이 정상적으로 훈련되었을 때와 그렇지 않을 때에 대해 이미 약간 이해했습니다. sample, downtrend 및 flat은 필수이며, 그렇지 않으면 일방적으로 훈련됩니다. 이 문제에서 가장 중요한 것은 자신을 "재훈련"하지 않는 것입니다. :)
Neuronka와 거의 모든 다른 인기 있는 모델은 인공 지능과는 거리가 멉니다. 그들은 원하는 훈련 정확도를 달성하는 예측자 값의 조합을 간단히 찾을 수 있으며, 미래에 예측할 때 새로운 예측을 얻기 위해 과거 결과를 일종의 보간(또는 외삽)합니다.
따라서 예를 들어 ma, rsi 및 stochastic과 같은 예측 변수를 취하고 학습 목표로 지그재그 반전을 사용하여 뉴런을 훈련시키면 뉴런에게 "이 세 예측 변수는 반전을 예측할 수 있습니다. 의 값을 찾고 기억하십시오. 반전이 일어날 예측인자." 그리고 뉴런 자체는 이러한 예측 변수가 실제로 적합한지 여부를 파악하지 못합니다. 그녀는 이 데이터를 수용 가능한 정확도로 기억할 것이며 거래 시 ma, rsi, stochastics의 동일한 조합이 반전 전에 보존되기를 바랍니다. 그러나 그들은 보존되지 않을 것이며 배수구가있을 것입니다.
쓸모없는 예측자에 대해 훈련된 모델은 최소한 gbm, 최소한 뉴런, 최소한 회귀를 병합합니다. 무작위 시리즈를 생성하고 예측 변수로 사용할 수도 있습니다. 뉴런은 그 중에서 반복되는 조합을 찾아 기억합니다. 예측 변수와 학습 목표를 찾는 것은 다른 도구를 사용하는 휴먼 데이터 마이너의 작업입니다. 그리고 모델(뉴런)을 훈련하는 것은 이미 아주 작은 두 번째 단계입니다.
예측자는 과거와 미래 모두에서 훈련 데이터에 대한 대상과의 관계를 유지해야 합니다. 따라서 예를 들어 SanSanych는 발견된 종속성이 새 데이터에서 사라지지 않도록 하기 위해 다른 파일에서 모델을 테스트하는 방법에 대해 설명합니다. 저것들. 우리는 예측 변수와 목표를 신중하게 연구하고 선택하고 모델을 훈련하고 테스트합니다. 그런 다음 모델에 대한 완전히 새로운 데이터를 테스트합니다. 두 경우 모두 예측 정확도가 일치하지 않으면 예측 변수나 목표가 적합하지 않습니다. 우리는 다른 사람들을 찾아야 합니다.
산산이치 포멘코 :
NN은 고정되지 않은 급수를 예측할 수 있습니까? 그렇다면 어떤 유형의 비정상성이 있습니까?
내 생각에 뉴런은 비정상 시계열 예측을 위한 가격 작업에는 완전히 적합하지 않습니다. 가격의 행동은 끊임없이 변하고, 발견된 패턴은 몇 시간 후에 작동을 멈추고, 모든 것이 혼란스럽습니다. 그런 다음 누군가가 뉴런을 가져 와서 몇 달 동안 가격을 제시하고 이 기간 동안 반복되는 종속성을 찾으라고 요구합니다. 그러나 결국 반복되는 종속성은 없으며 뉴런이 찾고 기억하는 것은 100% 우연의 일치일 뿐입니다.
뉴런을 가져오면 지표와 같이 어떤 방식으로든(순수한 ohlc가 아닌) 이미 처리된 가격만 제공할 수 있습니다.
예측 변수를 수동으로 선택하는 프로세스(예: 3개 조합). 아주 오랜 시간이 걸릴 것입니다. MT5에는 38개의 표준 기술 지표가 있습니다. 3의 조합 - 엄청난 수. 또한 기간, 가격 유형 및 기타 입력 매개변수를 선택해야 합니다. 그리고 흥미로운 비표준 지표를 추가하면 테스트 수가 훨씬 더 늘어납니다.
그러나 나는 여전히 MT5에 직접 글을 쓰고 있습니다. 아마도 이러한 문제에 대해 이미 기성품 솔루션이 있을 수 있습니까? 또는 최소한 단순화된 버전에서 R에서 MT5로 결정을 전송하는 방법....?
R에 의존하면서 MQL에서 모든 것을 한 번에 작성하는 것은 최선의 선택이 아닙니다. R에서 전략을 개발한 다음 https://www.mql5.com/en/code/17468 라이브러리를 사용하여 EA에서 R 코드를 호출하고 테스터에서 이미 테스트하는 것이 더 쉽습니다. 대부분의 경우 생성 및 테스트 과정에서 패키지, 모델 등을 대체하여 많은 부분이 삭제 및 변경될 것이므로 R 자체에서 이 모든 것을 변경하고 테스트하는 것이 더 쉽습니다.
Neuronka와 거의 모든 다른 인기 있는 모델은 인공 지능과는 거리가 멉니다. 그들은 원하는 훈련 정확도를 달성하는 예측자 값의 조합을 간단히 찾을 수 있으며, 미래에 예측할 때 새로운 예측을 얻기 위해 과거 결과를 일종의 보간(또는 외삽)합니다.
따라서 예를 들어 ma, rsi 및 stochastic과 같은 예측 변수를 취하고 학습 목표로 지그재그 반전을 사용하여 뉴런을 훈련시키면 뉴런에게 "이 세 예측 변수는 반전을 예측할 수 있습니다. 의 값을 찾고 기억하십시오. 반전이 일어날 예측인자." 그리고 뉴런 자체는 이러한 예측 변수가 실제로 적합한지 여부를 파악하지 못합니다. 그녀는 이 데이터를 수용 가능한 정확도로 기억할 것이며 거래 시 ma, rsi, stochastics의 동일한 조합이 반전 전에 보존되기를 바랍니다. 그러나 그들은 보존되지 않을 것이며 배수구가있을 것입니다.
쓸모없는 예측 변수에 대해 훈련된 모델은 최소한 gbm, 최소한 뉴런, 최소한 회귀를 병합합니다. 무작위 시리즈를 생성하고 예측 변수로 사용할 수도 있습니다. 뉴런은 그 중에서 반복되는 조합을 찾아 기억합니다. 다른 도구를 사용하여 예측 변수와 학습 목표를 선택하는 것은 휴먼 데이터 마이너의 작업입니다. 그리고 모델(뉴런)을 훈련하는 것은 이미 아주 작은 두 번째 단계입니다.
예측자는 과거와 미래 모두에서 훈련 데이터에 대한 대상과의 관계를 유지해야 합니다. 따라서 예를 들어 SanSanych는 발견된 종속성이 새 데이터에서 사라지지 않도록 하기 위해 다른 파일에서 모델을 테스트하는 방법에 대해 설명합니다. 저것들. 우리는 예측 변수와 목표를 신중하게 연구하고 선택하고 모델을 훈련하고 테스트합니다. 그런 다음 모델에 대한 완전히 새로운 데이터를 테스트합니다. 두 경우 모두 예측 정확도가 일치하지 않으면 예측 변수나 목표가 적합하지 않습니다. 우리는 다른 사람들을 찾아야 합니다.
제 생각에 뉴런은 비정상 시계열 예측을 위한 가격 작업에는 완전히 부적합합니다. 가격의 움직임은 끊임없이 변하고, 발견된 패턴은 몇 시간 안에 작동을 멈추고, 모든 것이 혼란스럽습니다. 그런 다음 누군가가 뉴런을 가져 와서 몇 달 동안 가격을 제시하고 이 기간 동안 반복되는 종속성을 찾으라고 요구합니다. 그러나 결국 반복되는 종속성은 없으며 뉴런이 찾고 기억하는 것은 100% 우연의 일치일 뿐입니다.
뉴런을 가져오면 지표와 같이 어떤 방식으로든(순수한 ohlc가 아닌) 이미 처리된 가격만 제공할 수 있습니다.
문제는 뉴런 자체나 시장에 적용할 수 있는 다른 것이 아닙니다. 문제는 정확히 무엇이 DM 도구에 공급되고 있는지입니다. 그리고 적나라한 진입 가격을 사용하는 것은 순수한 광기일 것입니다.
문제는 CC가 부르는 예측 변수입니다. 저것들. 문제는 고정되지 않은 급수를 고정 급수로 표현하는 방법입니다. 이 문제를 해결하는 데 가장 가까운 사람이 잘한 것입니다.
R에 의존하면서 MQL에서 모든 것을 한 번에 작성하는 것은 최선의 선택이 아닙니다. R에서 전략을 개발한 다음 https://www.mql5.com/en/code/17468 라이브러리를 사용하여 EA에서 R 코드를 호출하고 테스터에서 이미 테스트하는 것이 더 쉽습니다. 대부분의 경우 생성 및 테스트 과정에서 패키지, 모델 등을 대체하여 많은 부분이 삭제 및 변경될 것이므로 R 자체에서 이 모든 것을 변경하고 테스트하는 것이 더 쉽습니다.
훈련, 재훈련 및 재훈련(과적합)은 근본적으로 다른 것입니다.
각각의 새로운 바에서 이러한 모든 교육은 이 포럼에서 그리고 일반적으로 TA의 틀 내에서 씹어 먹습니다.
과적합(과적합)과의 싸움에서 나는 두 가지 비법을 알고 있다.
1. 목표 변수와 관련이 없는 예측자에서 예측자 세트 지우기 - 노이즈에서 예측자 입력 세트 지우기. 이 스레드의 처음 100페이지에서 이 문제가 매우 자세하게 고려되었습니다.
2. 노이즈를 제거한 예측 변수 세트를 가지고 훈련 샘플에 모델을 피팅(피팅)한 다음 한 파일의 임의 샘플인 테스트 및 검증 샘플에 피팅(피팅)을 시작합니다. 이 세 세트의 오류는 거의 동일해야 합니다.
3. 그런 다음 이전 파일과 별도로 위치한 파일을 가져와서 모델을 실행합니다. 오류는 이전 오류와 거의 같아야 합니다.
4. 이러한 검사가 정기적으로 수행되면 "20% 감소는 재교육 신호"라는 질문은 전혀 가치가 없습니다. 처음 세 단계의 결과로 감소가 매개변수로 얻어졌기 때문입니다. 모델과 그 이상은 모델이 작동하지 않으며 다시 시작해야 한다고 말합니다.
글쎄, 이것은 일반적인 경우입니다. 그리고 각각의 특정 차량에서 각각의 특정 차량에 대해 더 많은 작업을 수행해야 합니다. 그러면 그녀가 정상적으로 학습했을 때, 재교육을 받았을 때, 그리고 생리가 있을 때 이해가 올 것입니다. 개인적으로 짧은 시간 동안 차량이 정상적으로 훈련되었을 때와 그렇지 않을 때에 대해 이미 약간 이해했습니다. sample, downtrend 및 flat은 필수이며, 그렇지 않으면 일방적으로 훈련됩니다. 이 문제에서 가장 중요한 것은 자신을 "재훈련"하지 않는 것입니다. :)
또한 계절성 요인, 위기 요인 및 기타 여러 규칙성을 고려해야 합니다.
1. 목표 변수와 관련이 없는 예측자에서 예측자 세트 지우기 - 노이즈에서 예측자 입력 세트 지우기. 이 스레드의 처음 100페이지에서 이 문제가 매우 자세하게 고려되었습니다.
결과적으로 솔루션은 무엇이었습니까? 출력 명령과 관련이 없는 예측 변수를 결정하는 방법은 무엇입니까?
어떻게? - 모든 것은 세부 사항에 달려 있습니다. 간단한 문제를 푸는데 2일이 걸렸다. 이제 해결책이 분명해 보입니다.))
일반적이고 보편적인 원칙도 있다고 생각합니까? 글쎄, 당신의 구체적인 예에 대해서도 아는 것이 흥미 롭습니다.
내 블로그를 봐.
원칙은 보편적입니다. 그러나 일반적인 해결책은 없습니다. 일부 작업 클래스를 제외하고.
지난 백 페이지 요약 :)
Neuronka와 거의 모든 다른 인기 있는 모델은 인공 지능과는 거리가 멉니다. 그들은 원하는 훈련 정확도를 달성하는 예측자 값의 조합을 간단히 찾을 수 있으며, 미래에 예측할 때 새로운 예측을 얻기 위해 과거 결과를 일종의 보간(또는 외삽)합니다.
따라서 예를 들어 ma, rsi 및 stochastic과 같은 예측 변수를 취하고 학습 목표로 지그재그 반전을 사용하여 뉴런을 훈련시키면 뉴런에게 "이 세 예측 변수는 반전을 예측할 수 있습니다. 의 값을 찾고 기억하십시오. 반전이 일어날 예측인자." 그리고 뉴런 자체는 이러한 예측 변수가 실제로 적합한지 여부를 파악하지 못합니다. 그녀는 이 데이터를 수용 가능한 정확도로 기억할 것이며 거래 시 ma, rsi, stochastics의 동일한 조합이 반전 전에 보존되기를 바랍니다. 그러나 그들은 보존되지 않을 것이며 배수구가있을 것입니다.
쓸모없는 예측자에 대해 훈련된 모델은 최소한 gbm, 최소한 뉴런, 최소한 회귀를 병합합니다. 무작위 시리즈를 생성하고 예측 변수로 사용할 수도 있습니다. 뉴런은 그 중에서 반복되는 조합을 찾아 기억합니다.
예측 변수와 학습 목표를 찾는 것은 다른 도구를 사용하는 휴먼 데이터 마이너의 작업입니다. 그리고 모델(뉴런)을 훈련하는 것은 이미 아주 작은 두 번째 단계입니다.
예측자는 과거와 미래 모두에서 훈련 데이터에 대한 대상과의 관계를 유지해야 합니다. 따라서 예를 들어 SanSanych는 발견된 종속성이 새 데이터에서 사라지지 않도록 하기 위해 다른 파일에서 모델을 테스트하는 방법에 대해 설명합니다.
저것들. 우리는 예측 변수와 목표를 신중하게 연구하고 선택하고 모델을 훈련하고 테스트합니다. 그런 다음 모델에 대한 완전히 새로운 데이터를 테스트합니다. 두 경우 모두 예측 정확도가 일치하지 않으면 예측 변수나 목표가 적합하지 않습니다. 우리는 다른 사람들을 찾아야 합니다.
NN은 고정되지 않은 급수를 예측할 수 있습니까? 그렇다면 어떤 유형의 비정상성이 있습니까?
내 생각에 뉴런은 비정상 시계열 예측을 위한 가격 작업에는 완전히 적합하지 않습니다. 가격의 행동은 끊임없이 변하고, 발견된 패턴은 몇 시간 후에 작동을 멈추고, 모든 것이 혼란스럽습니다. 그런 다음 누군가가 뉴런을 가져 와서 몇 달 동안 가격을 제시하고 이 기간 동안 반복되는 종속성을 찾으라고 요구합니다. 그러나 결국 반복되는 종속성은 없으며 뉴런이 찾고 기억하는 것은 100% 우연의 일치일 뿐입니다.
뉴런을 가져오면 지표와 같이 어떤 방식으로든(순수한 ohlc가 아닌) 이미 처리된 가격만 제공할 수 있습니다.
요약 감사합니다 100페이지 진짜 읽기 싫었어요...)
예측 변수를 수동으로 선택하는 프로세스(예: 3개 조합). 아주 오랜 시간이 걸릴 것입니다. MT5에는 38개의 표준 기술 지표가 있습니다. 3의 조합 - 엄청난 수. 또한 기간, 가격 유형 및 기타 입력 매개변수를 선택해야 합니다. 그리고 흥미로운 비표준 지표를 추가하면 테스트 수가 훨씬 더 늘어납니다.
따라서 지표에 대한 자동화된 평가를 찾아야 합니다. 기사에서 Vladimir Perervenko 는 2가지 일반적인 방법을 찾았습니다.
1) 상관관계가 높은 변수 제거 - R에서 수행됩니다.
2) 가장 중요한 변수의 선택 - 역시 R로 결정.
하지만 제가 MT5에 직접 글을 쓰고 있는 동안 이러한 문제에 대해 이미 기성품 솔루션이 있을 수 있습니까? 또는 최소한 단순화된 버전에서 R에서 MT5로 결정을 전송하는 방법....?
원칙적으로 지표의 상관 관계를 찾는 방법은 명확합니다. 각 지표 쌍의 차이를 찾으십시오. -> 각 막대에 대해 합산하십시오. -> 막대 수로 나눕니다. (또는 다른 방법으로?)
가장 중요한 것 - 나는 완전히 이해하지 못했습니다 ...
예측 변수를 청소하는 다른 방법이 있습니까?
그러나 나는 여전히 MT5에 직접 글을 쓰고 있습니다. 아마도 이러한 문제에 대해 이미 기성품 솔루션이 있을 수 있습니까? 또는 최소한 단순화된 버전에서 R에서 MT5로 결정을 전송하는 방법....?
R에 의존하면서 MQL에서 모든 것을 한 번에 작성하는 것은 최선의 선택이 아닙니다. R에서 전략을 개발한 다음 https://www.mql5.com/en/code/17468 라이브러리를 사용하여 EA에서 R 코드를 호출하고 테스터에서 이미 테스트하는 것이 더 쉽습니다.
대부분의 경우 생성 및 테스트 과정에서 패키지, 모델 등을 대체하여 많은 부분이 삭제 및 변경될 것이므로 R 자체에서 이 모든 것을 변경하고 테스트하는 것이 더 쉽습니다.
음, 결국 모든 것이 마음에 들고 작동하면 수동으로 코드를 mql로 이식할 수 있습니다.
R에서 사용되는 많은 패키지는 실제로 C/C++로 작성되었습니다. 여기에서 표준 패키지 https://cran.r-project.org/web/packages/available_packages_by_name.html 의 소스를 찾을 수 있습니다.
지난 백 페이지 요약 :)
Neuronka와 거의 모든 다른 인기 있는 모델은 인공 지능과는 거리가 멉니다. 그들은 원하는 훈련 정확도를 달성하는 예측자 값의 조합을 간단히 찾을 수 있으며, 미래에 예측할 때 새로운 예측을 얻기 위해 과거 결과를 일종의 보간(또는 외삽)합니다.
따라서 예를 들어 ma, rsi 및 stochastic과 같은 예측 변수를 취하고 학습 목표로 지그재그 반전을 사용하여 뉴런을 훈련시키면 뉴런에게 "이 세 예측 변수는 반전을 예측할 수 있습니다. 의 값을 찾고 기억하십시오. 반전이 일어날 예측인자." 그리고 뉴런 자체는 이러한 예측 변수가 실제로 적합한지 여부를 파악하지 못합니다. 그녀는 이 데이터를 수용 가능한 정확도로 기억할 것이며 거래 시 ma, rsi, stochastics의 동일한 조합이 반전 전에 보존되기를 바랍니다. 그러나 그들은 보존되지 않을 것이며 배수구가있을 것입니다.
쓸모없는 예측 변수에 대해 훈련된 모델은 최소한 gbm, 최소한 뉴런, 최소한 회귀를 병합합니다. 무작위 시리즈를 생성하고 예측 변수로 사용할 수도 있습니다. 뉴런은 그 중에서 반복되는 조합을 찾아 기억합니다.
다른 도구를 사용하여 예측 변수와 학습 목표를 선택하는 것은 휴먼 데이터 마이너의 작업입니다. 그리고 모델(뉴런)을 훈련하는 것은 이미 아주 작은 두 번째 단계입니다.
예측자는 과거와 미래 모두에서 훈련 데이터에 대한 대상과의 관계를 유지해야 합니다. 따라서 예를 들어 SanSanych는 발견된 종속성이 새 데이터에서 사라지지 않도록 하기 위해 다른 파일에서 모델을 테스트하는 방법에 대해 설명합니다.
저것들. 우리는 예측 변수와 목표를 신중하게 연구하고 선택하고 모델을 훈련하고 테스트합니다. 그런 다음 모델에 대한 완전히 새로운 데이터를 테스트합니다. 두 경우 모두 예측 정확도가 일치하지 않으면 예측 변수나 목표가 적합하지 않습니다. 우리는 다른 사람들을 찾아야 합니다.
제 생각에 뉴런은 비정상 시계열 예측을 위한 가격 작업에는 완전히 부적합합니다. 가격의 움직임은 끊임없이 변하고, 발견된 패턴은 몇 시간 안에 작동을 멈추고, 모든 것이 혼란스럽습니다. 그런 다음 누군가가 뉴런을 가져 와서 몇 달 동안 가격을 제시하고 이 기간 동안 반복되는 종속성을 찾으라고 요구합니다. 그러나 결국 반복되는 종속성은 없으며 뉴런이 찾고 기억하는 것은 100% 우연의 일치일 뿐입니다.
뉴런을 가져오면 지표와 같이 어떤 방식으로든(순수한 ohlc가 아닌) 이미 처리된 가격만 제공할 수 있습니다.
문제는 뉴런 자체나 시장에 적용할 수 있는 다른 것이 아닙니다. 문제는 정확히 무엇이 DM 도구에 공급되고 있는지입니다. 그리고 적나라한 진입 가격을 사용하는 것은 순수한 광기일 것입니다.
문제는 CC가 부르는 예측 변수입니다. 저것들. 문제는 고정되지 않은 급수를 고정 급수로 표현하는 방법입니다. 이 문제를 해결하는 데 가장 가까운 사람이 잘한 것입니다.
R에 의존하면서 MQL에서 모든 것을 한 번에 작성하는 것은 최선의 선택이 아닙니다. R에서 전략을 개발한 다음 https://www.mql5.com/en/code/17468 라이브러리를 사용하여 EA에서 R 코드를 호출하고 테스터에서 이미 테스트하는 것이 더 쉽습니다.
대부분의 경우 생성 및 테스트 과정에서 패키지, 모델 등을 대체하여 많은 부분이 삭제 및 변경될 것이므로 R 자체에서 이 모든 것을 변경하고 테스트하는 것이 더 쉽습니다.
음, 결국 모든 것이 마음에 들고 작동하면 수동으로 코드를 mql로 이식할 수 있습니다.
R에서 사용되는 많은 패키지는 실제로 C/C++로 작성되었습니다. 여기에서 표준 패키지 https://cran.r-project.org/web/packages/available_packages_by_name.html 의 소스를 찾을 수 있습니다.
너무 어렵습니다... 알고리즘을 이해하고(위의 K 상관 관계에 대해) 작성하는 것보다 더 많은 시간이 걸립니다. 모든 입력을 열거하고 상관 관계를 계산하고 상관 관계가 높은 것을 필터링하는 기능은 몇 시간이 걸릴 것이라고 생각합니다.
예측 변수를 선별하기 위한 다른 솔루션과 마찬가지로 쉽게 되기를 바랍니다.
불필요한 예측 변수를 찾는 다른 솔루션이 있습니까?