일반적으로 데이터에 대한 종속성을 찾으려고 했습니다. 예보다 아니오일 가능성이 높습니다. 기차에서 무작위로 취한 관찰의 절반에서 나는 무언가를 발견했습니다. 나머지 절반을 확인하기 시작했지만 그러한 종속성은 없습니다. 그것이 전혀 존재하지 않거나 데이터가 좋은 종속성을 찾는 것이 불가능한 방식으로 구성되어 있음이 밝혀졌습니다.
이 데이터에서 누락된 것이 있는 것 같습니다. 첫 번째 게시물의 작업과 같습니다. 샘플에서 6개의 입력 중 하나 이상을 제거하면 결과를 예측할 수 없게 됩니다. Forex는 분명히 자신의 과거 가격에 따라 달라집니다. 그리고 이 "기타"는 내 데이터에 충분하지 않으므로 모델은 단순히 패턴을 적절하게 찾고 논리를 설명할 수 없습니다. 숲은 분명히 "낮은 값에서 높은 값 빼기"와 같은 다양한 조합을 시도할 수 없으며 최적화 중에 이러한 조합을 최대한 활용해야 하며 이러한 항목을 선택 항목에 직접 추가해야 합니다. 나는 이제 조언에 따라 이전 지그재그 꼭대기까지의 거리와 함께 많은 델타를 추가하여 csv에 외환 데이터를 저장하는 스크립트를 재작업하고 있습니다. 그런 다음 실험용 데이터가 포함된 새 파일을 게시합니다.
첨부 파일에는 초기 예측 변수 집합을 노이즈로부터 청소하는 문제를 훨씬 더 높은 품질로 해결하는 것으로 추정되는 여러 기사를 첨부하고 있습니다. 불행히도 지금은 시도할 시간이 없습니다. 누군가 시도하고 결과를 게시할 수 있습니까?
나는 그 설명된 과정을 반복할 수 있었다. 결과에 따르면 - 내 예측 변수 집합은 0.1%의 확실성으로 결과를 설명합니다.
3개의 파일을 추가했습니다. 거기에서 csv 파일의 경로를 변경하고 실행할 수 있습니다. 필요한 결과는 csv의 마지막 열에 있어야 하며 나머지는 모두 예측자입니다. 미리 아무 것도 정규화하지 말고 데이터를 있는 그대로 제출하십시오.
1) 주요 구성 요소 회귀 01. 기사의 서론 부분의 일부 코드, 내 생각에는 코드를 실행할 때 오류가 있어서 내용이 누락되었습니다. 그는 각 입력에 평가를 제공하고 그래프를 그려야 합니다. 불행히도 여기에서 무엇이 무엇이며 어떻게 적용해야 하는지 이해하지 못합니다.
2) 주성분 회귀 03. 주성분 회귀, Pt. 2: Y 인식 방법. 기사에서 첫 번째 부분은 다르고 약한 알고리즘이라고 나와 있기 때문에 첫 번째 부분을 건너뛰었습니다. 코드는 두 부분으로 나누어져 있으며, 각 부분 다음에 R로 그려진 그래프를 보려면 하나씩 실행해야 합니다.
첫 번째 실행 - 파일에서 두 번째 단계의 시작 부분까지 모든 것을 복사하고 실행해야 합니다(두 번째 단계의 시작 부분은 굵은 글씨로 강조 표시된 STEP 2). R 콘솔에서 테이블이 표시되며 입력 값이 낮을수록 더 좋습니다. 값 = 1 = 쓰레기. 또한 차트는 표와 유사하게 선이 길수록 나빠집니다.
다음으로 두 번째 단계의 코드를 실행해야 합니다. 끝에는 선이 입력을 참조하는 길이가 길수록 더 신뢰할 수 있는 그래프가 표시됩니다(1단계에서는 그 반대였습니다). 코드에 examplePruneSig 변수도 있는데, 이는 1단계의 테이블에서 psig 값에 따라 입력을 선별하는 역할을 합니다. 모든 입력의 변환된 신뢰 값을 보려면 변수를 =1로 설정할 수 있습니다. . 첫 번째 단계에서는 입력이 나쁘게 평가되었지만 두 번째 단계에서는 더 좋아졌기 때문일 수 있습니다. 일부 임계값 또는 examplePruneSig = 1/number_of_inputs를 사용하는 것이 좋지만 정확한 지침은 없습니다.
세 번째 단계는 주성분 분석(prcomp) 자체입니다. 이것은 다시 나에게 새로운 것이지만 결론은 이 함수가 많은 "주요 구성 요소"(PC)(원하는 결과가 의존하는 내부 변수와 같은 것)를 출력하려고 한다는 것입니다. 이러한 내부 변수 각각은 서로 다른 입력 세트에 의존합니다. 또한, 작업은 결과를 안정적으로 결정할 수 있는 이러한 PC의 최소 집합을 수집하는 것으로 축소됩니다. 예측 변수 자체의 효과적인 선택은 해당 최소 집합에 속하는 PC의 예측 변수입니다. 기사 자체에서이 문제는 해결되지 않고 처음 2 대의 PC를 가져 와서 작동 여부를 확인합니다. 하지만 이해가 되지 않거나 놓친 부분이 있으니 prcomp를 이해하시면 직접 읽어보시는 것이 좋을 것 같습니다. 대신 단계가 끝나면 처음 5대의 PC와 사용된 입력에 대한 다이어그램이 그려집니다. 차트의 선이 길수록 항목이 더 중요합니다.
네 번째, 다섯 번째, 여섯 번째 단계 - 훈련 및 테스트 데이터에 대한 결과 평가.
3) 주요 구성 요소 회귀 04. 주요 구성 요소 회귀 03에서와 동일한 모든 작업을 수행하는 다른 패키지의 일부 기능. 그러나 보너스는 PC 자체를 필터링하고 결과를 정확하게 설명할 수 있는 최소한의 집합만 남겨둔다는 것입니다. 95%. 그러나 여기에는 적절한 예제와 그래프가 없습니다. Principal Components Regression 03의 것을 사용해야 한다고 가정합니다.
박사:
1) 잡음이 있는 값을 선별합니다. "Principal Components Regression 03" 파일을 가져와서 두 번째 단계까지만 코드를 실행합니다(두 번째 단계는 제외). R에는 테이블이 있으므로 임계값보다 psig 값이 작은 입력만 취하면 됩니다. 값 "1"은 노이즈 및 임의입니다. "0"이 좋습니다. 임계값(1/입력 수)은 불확실하게 권장됩니다. 이 방법은 입력의 올바른 샘플링에 대한 보장을 제공하지 않으며, 오히려 실제로 임의의 잡음이 있는 값을 제거하도록 허용합니다.
2) 보다 복잡한 접근 방식. 교활한 알고리즘은 결과를 계산하는 데 사용할 수 있는 몇 가지 주요 구성 요소를 생성합니다. PC는 시뮬레이션된 모델에서 발생하는 일부 내부 프로세스를 설명하는 함수와 같습니다. 그리고 모델 자체의 결과는 일련의 PC 상호 작용입니다. 다음으로 높은 정확도로 결과를 설명하는 최소 PC 세트를 선택하고 이러한 PC에 사용된 입력을 살펴봅니다. 이러한 입력은 가비지 없이 필요한 집합입니다. "Principal Components Regression 04" 파일을 사용하면 이러한 PC의 최소 세트를 얻을 수 있지만 추가로 수행할 작업은 어떻게 든 불분명하므로 사용된 예측 변수를 가져와야 합니다.
In our previous note, we discussed some problems that can arise when using standard principal components analysis (specifically, principal components regression) to model the relationship between independent (x) and dependent (y) variables. In this note, we present some dimensionality reduction techniques that alleviate some of those problems...
이 데이터에서 뭔가 빠진 것 같습니다. 첫 번째 게시물의 작업과 같습니다. 샘플에서 6개의 입력 중 하나 이상을 제거하면 결과를 예측할 수 없게 됩니다. Forex는 분명히 자신의 과거 가격에 따라 달라집니다. 그리고 이 "기타"는 내 데이터에 충분하지 않으므로 모델은 단순히 패턴을 적절하게 찾고 논리를 설명할 수 없습니다. 숲은 분명히 "낮은 값에서 높은 값 빼기"와 같은 다양한 조합을 시도할 수 없으며 최적화 중에 이러한 조합을 최대한 활용해야 하며 이러한 항목을 선택 항목에 직접 추가해야 합니다. 나는 이제 조언에 따라 이전 지그재그 꼭대기까지의 거리와 함께 많은 델타를 추가하여 csv에 외환 데이터를 저장하는 스크립트를 재작업하고 있습니다. 그런 다음 실험용 데이터가 포함된 새 파일을 게시합니다.
다시 검색을 시도했습니다. 그리고 유효성 검사를 했습니다. 그러나 발견된 의존성은 확인되지 않았다. 일반적으로 데이터에 정보가 충분하지 않다고 생각합니다. 입력 목록을 확장해 보십시오. 그렇습니다.
Google Drive is a free way to keep your files backed up and easy to reach from any phone, tablet, or computer. Start with 15GB of Google storage – free.
일반적으로 여기 eurusd에서 모델을 훈련하기 위한 새 파일이 있습니다(h1, 5 막대, 목표는 다음 막대의 가격 상승/하강입니다). 위에서 언급한 principal-components-regression-pt-2-y-aware-methods 기사에 따라 분석한 결과 데이터가 결과의 1% 미만을 안정적으로 설명하는 것으로 나타났습니다. (SanSanych의 RData의 경우 이 수치는 Rat_DF1의 경우 10% 이상입니다.) 그래서 분명히 다시 쓰레기가 되었습니다. 이 파일에서 모델을 훈련하는 것은 거의 불가능했으며 누군가가 예측 변수를 필터링하는 연습을 하려는 경우 더 적합합니다.
아카이브에 2개의 파일이 있습니다. 작업 조건은 다음과 같습니다. 첫 번째 파일에서 모델을 훈련시킵니다(테스트 및 유효성 검사를 위해 여러 조각으로 나누는 것이 더 편리합니다. Rattle은 기본적으로 75%로 나눕니다. 15% / 15%) 입력이 선택되고 모델이 학습되면 두 번째 파일에서 기능 테스트를 수행합니다. 오차가 45% 미만이면 해당 모델을 Forex에서 거래할 수 있는 기회가 있습니다. 이익이 없을 수도 있지만 거래 수만큼 중개인 보너스와 리베이트를 얻을 수 있습니다. 두 번째 파일의 분류 오류가 40% 미만이면 이미 수익성 있는 전략입니다.
2) 주성분 회귀 03. 주성분 회귀, Pt. 2: Y 인식 방법. 기사에서 첫 번째 부분은 다르고 약한 알고리즘이라고 나와 있기 때문에 첫 번째 부분을 건너뛰었습니다.
내가 틀렸을 수도 있지만 결과의 불확실성은 주성분 방법의 본질을 이해하지 못하여 생성됩니다. 그리고 요점은 다음과 같습니다.
기존 예측자에서 몇 가지 새로운 유용한 속성이 있는 새 예측자를 만듭니다.
결과는 표 형식으로 표시되며 제목에는 PC1, PC2... 기호가 포함되고 표의 행 이름은 예측 변수의 이름이며 각 PC 아래의 열에는 숫자가 있습니다. - PC 값을 형성하기 위해 원래 예측 변수를 곱해야 하는 계수입니다. 즉, 특정 막대에 대해 초기 예측 변수의 값을 취하고 계수를 곱하고 PC 값을 얻은 다음 다음 막대 등을 얻습니다. 결과적으로 원래 벡터(예: Ask) 외에도 하나 이상의 벡터를 얻습니다.
테이블의 모든 PC가 주문됩니다. 첫 번째는 원래 세트의 변동성을 가장 많이 설명하는 PC이고, 두 번째는 첫 번째 PC의 나머지 부분에서 변동성을 가장 많이 설명하는 PC입니다. 예를 들어, PC1 = 0.6, PC2 = 0.2인 경우 PC1 + PC2의 합은 변동성의 0.8을 설명합니다. 일반적으로 대규모 예측 변수 세트의 경우 이러한 동일한 "주성분" 중 5-6개로 충분하며, 이는 변동성의 95% 이상을 설명합니다. 이것은 대부분의 예측 변수가 노이즈이고 그들 사이에 실제로 "주요" 변수가 있는 경우입니다!
나는 고전적인 "주요 구성 요소"를 설명했습니다. 우리에게 이 기사는 고전과 달리 목표 변수에 대한 변동성을 계산하기 때문에 흥미롭습니다. 완전히 절망적인 예측 변수 집합에서 최소한 무언가를 선택하려면 임계값이 필요합니다. 이것은 우리와 관련이없는 것 같습니다. 이것은 예를 들어 추가로 수집하기가 매우 어려운 사회학 통계와 관련이 있습니다. 우리와 함께라면 하나의 통화 쌍에서도 측정되지 않은 수의 예측 변수를 구축할 수 있습니다.
이제 이해했습니다. 설명 감사합니다. 나는 기사에서이 모델에 대해서만 배웠습니다. 나는 PC1과 PC2,3,4,..가 계수가 아닌 다른 예측 변수 집합에 해당한다고 생각했습니다. 계수 표를 보았고 이제 어디서 무엇을 얻을 수 있는지 빠르게 찾았습니다.
PrincipalComponentRegression 04 .txt의 코드는 너무 복잡합니다. 또한 대상 변수와 관련하여 가변성에 대한 정의가 없는 것 같습니다. 오늘 아침에 첨부한 아카이브에서 PrincipalComponentRegression 03 .txt 로 반환했습니다 .
처음 5단계를 완료해야 합니다.
더 나아가,
> model$coefficients
(차단) PC1 PC2
0.02075519 0.40407635 -0.42250678
실행 결과는 intercept + coef1 * PC1 + coef2 * PC2 + ... + 다른 PC(있는 경우)여야 합니다.
지금은 미스테리입니다. 접미사는 정규화 및 변환 전에 입력 X, X1, X2, ...의 원래 값을 가져와야 한다는 사실에 대한 참조인 "깨끗한" 것입니다.
그런 다음 몇 가지 더 간단한 예를 들어 수식을 올바르게 이해했는지 여부를 비교하기 위해 모든 값을 손으로 계산합니다. 지금은 추측일 뿐입니다)
그러나 이 방법은 예측 변수를 제거하도록 설계된 것이 아니라 자체적으로 최대 예측 변수 수를 무시하는 모델을 훈련하도록 설계된 것으로 나타났습니다. 각 예측 변수에 대한 평균 계수만 계산할 수 있으며 임계값 미만의 항목은 제외할 수 있습니다. 그건 그렇고,이 모델 자체는 활성화 기능이없고 내부 레이어의 뉴런에 대한 이동이없는 뉴런과 매우 유사합니다. 그러나 본질은 동일합니다.
또 다른 문제는 PC 부품을 얼마나 가져가느냐다. 신뢰도가 95% 미만이면 세 번째 단계로 돌아가서 proj <- extractProjection(2,princ)를 2에서 3으로 변경한 다음 3,4,5단계를 수행하고 오류를 계산하고 다음과 같은 경우 95% 미만입니다. 3단계로 돌아가서 다시 구성 요소 수를 늘립니다.
일반적으로 기사의 코드에는 전면 테스트 검사도 있습니다. 즉, MT5에서 R에 직접 액세스할 수 있는 경우 기사가 끝날 때까지 거래할 수 있는 기성 훈련된 모델이 이미 있습니다. 제가 알기로는 이 모델은 과적합 문제가 없고, 있으면 아주 좋습니다. 즉, 10%의 신뢰도를 달성했고 좋습니다.
거의 모든 것이 모델에 대해 명확합니다. 계수에 대한 결정 논리만 구현하려면 MT5에서 구현하는 것이 좋습니다. R이 MT5와 친구가 되는 방법은 명확하지 않습니다. mt5에서 모든 데이터를 내보내 csv로 작성한 다음 R에서 처리하고 모델을 훈련하고 다른 csv에 계수를 작성할 수 있습니다. 어드바이저에서 읽을 계수가 있는 CSV. 그리고 R에서 많은 함수가 PC를 계산하기 전에 데이터 정규화를 처리하기 때문에 매우 나쁠 것입니다. MT5에서 정규화를 위해 이러한 코드를 반복하는 것은 거의 불가능합니다. 생각해야 합니다.
이제 이해했습니다. 설명 감사합니다. 나는 기사에서이 모델에 대해서만 배웠습니다. 나는 PC1과 PC2,3,4,..가 계수가 아닌 다른 예측 변수 집합에 해당한다고 생각했습니다. 계수 표를 보았고 이제 무엇을 얻을 수 있는지 빠르게 찾았습니다.
PrincipalComponentRegression 04 .txt의 코드는 너무 복잡합니다. 또한 대상 변수와 관련하여 가변성에 대한 정의가 없는 것 같습니다. 오늘 아침에 첨부한 아카이브에서 PrincipalComponentRegression 03 .txt 로 반환했습니다 .
처음 5단계를 완료해야 합니다.
더 나아가,
(차단) PC1 PC2
0.02075519 0.40407635 -0.42250678
실행 결과는 intercept + coef1 * PC1 + coef2 * PC2 + ... + other PC(있는 경우)여야 합니다.
지금은 미스테리입니다. 접미사는 정규화 및 변환 전에 입력 X, X1, X2, ...의 원래 값을 가져와야 한다는 사실에 대한 참조인 "깨끗한" 것입니다.
그런 다음 몇 가지 더 간단한 예를 들어 수식을 올바르게 이해했는지 여부를 비교하기 위해 모든 값을 손으로 계산합니다. 지금은 추측일 뿐입니다)
그러나 이 방법은 예측 변수를 제거하도록 설계된 것이 아니라 자체적으로 최대 예측 변수 수를 무시하는 모델을 훈련하도록 설계된 것으로 나타났습니다. 각 예측 변수에 대한 평균 계수만 계산할 수 있으며 임계값 미만의 항목은 제외할 수 있습니다. 그건 그렇고,이 모델 자체는 활성화 기능이없고 내부 레이어의 뉴런에 대한 이동이없는 뉴런과 매우 유사합니다. 그러나 본질은 동일합니다.
또 다른 문제는 PC 부품을 얼마나 가져가느냐다. 신뢰도가 95% 미만이면 세 번째 단계로 돌아가서 proj <- extractProjection(2,princ)를 2에서 3으로 변경한 다음 3,4,5단계를 수행하고 오류를 계산하고 다음과 같은 경우 95% 미만입니다. 3단계로 돌아가서 다시 구성 요소 수를 늘립니다.
일반적으로 기사의 코드에는 전면 테스트 검사도 있습니다. 즉, MT5에서 R에 직접 액세스할 수 있는 경우 기사가 끝날 때까지 거래할 수 있는 기성 훈련된 모델이 이미 있습니다. 제가 알기로는 이 모델은 과적합 문제가 없고, 있으면 아주 좋습니다. 즉, 10%의 신뢰도를 달성했고, 좋습니다.
거의 모든 것이 모델에 대해 명확합니다. 계수에 대한 결정 논리만 구현하려면 MT5에서 구현하는 것이 좋습니다. R이 MT5와 친구가 되는 방법은 명확하지 않습니다. mt5에서 모든 데이터를 내보내 csv로 작성한 다음 R에서 처리하고 모델을 훈련하고 다른 csv에 계수를 작성할 수 있습니다. 어드바이저에서 읽을 계수가 있는 CSV. 그리고 R에서 많은 함수가 PC를 계산하기 전에 데이터 정규화를 처리하기 때문에 매우 나쁠 것입니다. MT5에서 정규화를 위해 이러한 코드를 반복하는 것은 거의 불가능합니다. 생각해야 합니다.
Principal Components Regression, Pt. 섹션을 사용해야 하는 것 같습니다. 2: Y 인식 방법
텍스트를 피상적으로 봐서 이해한 바와 같이 목적함수를 고려하여 스케일링을 한다는 것이 하이라이트이다. 기존 PCA에서는 목적 함수를 전혀 고려하지 않습니다. 이 때문에 첫 번째 구성 요소는 전체 예측 변수 집합의 변동성을 설명하지 않고 목적 함수를 설명하는 데 가장 중요한 구성 요소로 판명되었습니다!
또 다른 문제는 PC 부품을 얼마나 가져가느냐다.
이 때문에 모든 치즈는 붕소입니다. 직관적으로 임계값이 없습니다. 처음 5개 성분이 변동성의 95% 이상을 설명하지 못하면 새로운 예측 변수 집합을 찾아야 합니다. 옳지 않을 수도 있지만.
거의 모든 것이 모델에 대해 명확합니다. MT5에서 구현하면 매우 좋을 것입니다.
MT4에서는 모든 것이 잘 작동합니다. 소스 코드가 있는 Pascal 라이브러리가 있습니다. 직접 시도하지는 않았지만 MT4가 Pascal의 라이브러리에 액세스할 수 있다면 MT5는 훨씬 더 그래야 합니다.
R에 대한 매력은 다음과 같습니다.
1. OnInit에서 R과의 연결이 설정되고 특별히 준비된 데이터가 있으면 작업 공간이 로드됩니다. 또한 R 코드는 하나 이상의 기능에 로드됩니다. 각 기능의 줄 수는 자연스럽게 임의적이며 논리에 의해 결정됩니다.
2. 어드바이저 또는 인디케이터의 본문에서 이러한 기능이 호출됩니다.
R이 터미널 창에 연결되지 않은 가장 풍부한 그래픽을 가지고 있다는 점을 고려하면 터미널과 병렬로 데이터 시각화를 위한 풍부한 기회가 있습니다.
산산이치 포멘코 : 여기에서 읽고, 읽고 .... 그리고 형식적인 관점에서 처음에는 대상 변수가 무엇인지 이해할 수 없습니다. 실수(회귀) 또는 명목 값(분류)입니다. 또한 예측변수가 목표변수에 미치는 영향 정도를 논한다면 바로 이 목표변수의 의미를 아는 것이 좋을 것이다.
역설적이지는 않지만 분류는 동일한 회귀입니다.
회귀의 경우에만 출력이 실수이고 분류의 경우 확률입니다.
그리고 회귀의 대상은 연속곡선이고 분류의 경우 충동은 (0, 1) 또는 (-1, +1)입니다.
이전 게시물에 약간 추가되었습니다. 아니요, 델타가 없습니다. 시도해야합니다.
일반적으로 데이터에 대한 종속성을 찾으려고 했습니다. 예보다 아니오일 가능성이 높습니다. 기차에서 무작위로 취한 관찰의 절반에서 나는 무언가를 발견했습니다. 나머지 절반을 확인하기 시작했지만 그러한 종속성은 없습니다. 그것이 전혀 존재하지 않거나 데이터가 좋은 종속성을 찾는 것이 불가능한 방식으로 구성되어 있음이 밝혀졌습니다.
그러나 다시 시도하겠습니다. 그리고 다시 글을 쓰겠습니다.
알렉세이
이 데이터에서 누락된 것이 있는 것 같습니다. 첫 번째 게시물의 작업과 같습니다. 샘플에서 6개의 입력 중 하나 이상을 제거하면 결과를 예측할 수 없게 됩니다. Forex는 분명히 자신의 과거 가격에 따라 달라집니다. 그리고 이 "기타"는 내 데이터에 충분하지 않으므로 모델은 단순히 패턴을 적절하게 찾고 논리를 설명할 수 없습니다. 숲은 분명히 "낮은 값에서 높은 값 빼기"와 같은 다양한 조합을 시도할 수 없으며 최적화 중에 이러한 조합을 최대한 활용해야 하며 이러한 항목을 선택 항목에 직접 추가해야 합니다. 나는 이제 조언에 따라 이전 지그재그 꼭대기까지의 거리와 함께 많은 델타를 추가하여 csv에 외환 데이터를 저장하는 스크립트를 재작업하고 있습니다. 그런 다음 실험용 데이터가 포함된 새 파일을 게시합니다.
첨부 파일에는 초기 예측 변수 집합을 노이즈로부터 청소하는 문제를 훨씬 더 높은 품질로 해결하는 것으로 추정되는 여러 기사를 첨부하고 있습니다. 불행히도 지금은 시도할 시간이 없습니다. 누군가 시도하고 결과를 게시할 수 있습니까?
나는 그 설명된 과정을 반복할 수 있었다. 결과에 따르면 - 내 예측 변수 집합은 0.1%의 확실성으로 결과를 설명합니다.
3개의 파일을 추가했습니다. 거기에서 csv 파일의 경로를 변경하고 실행할 수 있습니다. 필요한 결과는 csv의 마지막 열에 있어야 하며 나머지는 모두 예측자입니다. 미리 아무 것도 정규화하지 말고 데이터를 있는 그대로 제출하십시오.
1) 주요 구성 요소 회귀 01. 기사의 서론 부분의 일부 코드, 내 생각에는 코드를 실행할 때 오류가 있어서 내용이 누락되었습니다. 그는 각 입력에 평가를 제공하고 그래프를 그려야 합니다. 불행히도 여기에서 무엇이 무엇이며 어떻게 적용해야 하는지 이해하지 못합니다.
2) 주성분 회귀 03. 주성분 회귀, Pt. 2: Y 인식 방법. 기사에서 첫 번째 부분은 다르고 약한 알고리즘이라고 나와 있기 때문에 첫 번째 부분을 건너뛰었습니다.
코드는 두 부분으로 나누어져 있으며, 각 부분 다음에 R로 그려진 그래프를 보려면 하나씩 실행해야 합니다.
첫 번째 실행 - 파일에서 두 번째 단계의 시작 부분까지 모든 것을 복사하고 실행해야 합니다(두 번째 단계의 시작 부분은 굵은 글씨로 강조 표시된 STEP 2). R 콘솔에서 테이블이 표시되며 입력 값이 낮을수록 더 좋습니다. 값 = 1 = 쓰레기. 또한 차트는 표와 유사하게 선이 길수록 나빠집니다.
다음으로 두 번째 단계의 코드를 실행해야 합니다. 끝에는 선이 입력을 참조하는 길이가 길수록 더 신뢰할 수 있는 그래프가 표시됩니다(1단계에서는 그 반대였습니다). 코드에 examplePruneSig 변수도 있는데, 이는 1단계의 테이블에서 psig 값에 따라 입력을 선별하는 역할을 합니다. 모든 입력의 변환된 신뢰 값을 보려면 변수를 =1로 설정할 수 있습니다. . 첫 번째 단계에서는 입력이 나쁘게 평가되었지만 두 번째 단계에서는 더 좋아졌기 때문일 수 있습니다. 일부 임계값 또는 examplePruneSig = 1/number_of_inputs를 사용하는 것이 좋지만 정확한 지침은 없습니다.
세 번째 단계는 주성분 분석(prcomp) 자체입니다. 이것은 다시 나에게 새로운 것이지만 결론은 이 함수가 많은 "주요 구성 요소"(PC)(원하는 결과가 의존하는 내부 변수와 같은 것)를 출력하려고 한다는 것입니다. 이러한 내부 변수 각각은 서로 다른 입력 세트에 의존합니다. 또한, 작업은 결과를 안정적으로 결정할 수 있는 이러한 PC의 최소 집합을 수집하는 것으로 축소됩니다. 예측 변수 자체의 효과적인 선택은 해당 최소 집합에 속하는 PC의 예측 변수입니다.
기사 자체에서이 문제는 해결되지 않고 처음 2 대의 PC를 가져 와서 작동 여부를 확인합니다. 하지만 이해가 되지 않거나 놓친 부분이 있으니 prcomp를 이해하시면 직접 읽어보시는 것이 좋을 것 같습니다.
대신 단계가 끝나면 처음 5대의 PC와 사용된 입력에 대한 다이어그램이 그려집니다. 차트의 선이 길수록 항목이 더 중요합니다.
네 번째, 다섯 번째, 여섯 번째 단계 - 훈련 및 테스트 데이터에 대한 결과 평가.
3) 주요 구성 요소 회귀 04. 주요 구성 요소 회귀 03에서와 동일한 모든 작업을 수행하는 다른 패키지의 일부 기능. 그러나 보너스는 PC 자체를 필터링하고 결과를 정확하게 설명할 수 있는 최소한의 집합만 남겨둔다는 것입니다. 95%.
그러나 여기에는 적절한 예제와 그래프가 없습니다. Principal Components Regression 03의 것을 사용해야 한다고 가정합니다.
박사:
1) 잡음이 있는 값을 선별합니다. "Principal Components Regression 03" 파일을 가져와서 두 번째 단계까지만 코드를 실행합니다(두 번째 단계는 제외). R에는 테이블이 있으므로 임계값보다 psig 값이 작은 입력만 취하면 됩니다. 값 "1"은 노이즈 및 임의입니다. "0"이 좋습니다. 임계값(1/입력 수)은 불확실하게 권장됩니다. 이 방법은 입력의 올바른 샘플링에 대한 보장을 제공하지 않으며, 오히려 실제로 임의의 잡음이 있는 값을 제거하도록 허용합니다.
2) 보다 복잡한 접근 방식. 교활한 알고리즘은 결과를 계산하는 데 사용할 수 있는 몇 가지 주요 구성 요소를 생성합니다. PC는 시뮬레이션된 모델에서 발생하는 일부 내부 프로세스를 설명하는 함수와 같습니다. 그리고 모델 자체의 결과는 일련의 PC 상호 작용입니다. 다음으로 높은 정확도로 결과를 설명하는 최소 PC 세트를 선택하고 이러한 PC에 사용된 입력을 살펴봅니다. 이러한 입력은 가비지 없이 필요한 집합입니다. "Principal Components Regression 04" 파일을 사용하면 이러한 PC의 최소 세트를 얻을 수 있지만 추가로 수행할 작업은 어떻게 든 불분명하므로 사용된 예측 변수를 가져와야 합니다.
여기 기사 자체와 코드가 있습니다.
http://www.r-bloggers.com/principal-components-regression-pt-2-y-aware-methods/
https://github.com/WinVector/Examples/blob/master/PCR/YAwarePCA.Rmd
이 데이터에서 뭔가 빠진 것 같습니다. 첫 번째 게시물의 작업과 같습니다. 샘플에서 6개의 입력 중 하나 이상을 제거하면 결과를 예측할 수 없게 됩니다. Forex는 분명히 자신의 과거 가격에 따라 달라집니다. 그리고 이 "기타"는 내 데이터에 충분하지 않으므로 모델은 단순히 패턴을 적절하게 찾고 논리를 설명할 수 없습니다. 숲은 분명히 "낮은 값에서 높은 값 빼기"와 같은 다양한 조합을 시도할 수 없으며 최적화 중에 이러한 조합을 최대한 활용해야 하며 이러한 항목을 선택 항목에 직접 추가해야 합니다. 나는 이제 조언에 따라 이전 지그재그 꼭대기까지의 거리와 함께 많은 델타를 추가하여 csv에 외환 데이터를 저장하는 스크립트를 재작업하고 있습니다. 그런 다음 실험용 데이터가 포함된 새 파일을 게시합니다.
다시 검색을 시도했습니다. 그리고 유효성 검사를 했습니다. 그러나 발견된 의존성은 확인되지 않았다. 일반적으로 데이터에 정보가 충분하지 않다고 생각합니다. 입력 목록을 확장해 보십시오. 그렇습니다.
그리고 여기 내 외환 데이터가 있습니다: https://drive.google.com/drive/folders/0B_Au3ANgcG7CYnhVNWxvbmFjd3c
dat_train_final - 모델 훈련을 위한 파일입니다. 10년 동안 5개 통화 쌍의 역사와 모든 예측 변수가 있습니다.
many_samples - R에서 로드해야 합니다. 이것은 목록입니다. 각 요소에는 유효성 검사 샘플이 포함되어 있으며 총 49개가 있습니다. 일부 또는 전체 유효성을 검사할 수 있습니다.
나는 당신의 파일을 볼 수 없습니다, 링크는 그냥 빈 폴더입니다.
일반적으로 여기 eurusd에서 모델을 훈련하기 위한 새 파일이 있습니다(h1, 5 막대, 목표는 다음 막대의 가격 상승/하강입니다). 위에서 언급한 principal-components-regression-pt-2-y-aware-methods 기사에 따라 분석한 결과 데이터가 결과의 1% 미만을 안정적으로 설명하는 것으로 나타났습니다.
(SanSanych의 RData의 경우 이 수치는 Rat_DF1의 경우 10% 이상입니다.) 그래서 분명히 다시 쓰레기가 되었습니다. 이 파일에서 모델을 훈련하는 것은 거의 불가능했으며 누군가가 예측 변수를 필터링하는 연습을 하려는 경우 더 적합합니다.
아카이브에 2개의 파일이 있습니다. 작업 조건은 다음과 같습니다. 첫 번째 파일에서 모델을 훈련시킵니다(테스트 및 유효성 검사를 위해 여러 조각으로 나누는 것이 더 편리합니다. Rattle은 기본적으로 75%로 나눕니다. 15% / 15%) 입력이 선택되고 모델이 학습되면 두 번째 파일에서 기능 테스트를 수행합니다. 오차가 45% 미만이면 해당 모델을 Forex에서 거래할 수 있는 기회가 있습니다. 이익이 없을 수도 있지만 거래 수만큼 중개인 보너스와 리베이트를 얻을 수 있습니다. 두 번째 파일의 분류 오류가 40% 미만이면 이미 수익성 있는 전략입니다.
2) 주성분 회귀 03. 주성분 회귀, Pt. 2: Y 인식 방법. 기사에서 첫 번째 부분은 다르고 약한 알고리즘이라고 나와 있기 때문에 첫 번째 부분을 건너뛰었습니다.
내가 틀렸을 수도 있지만 결과의 불확실성은 주성분 방법의 본질을 이해하지 못하여 생성됩니다. 그리고 요점은 다음과 같습니다.
기존 예측자에서 몇 가지 새로운 유용한 속성이 있는 새 예측자를 만듭니다.
결과는 표 형식으로 표시되며 제목에는 PC1, PC2... 기호가 포함되고 표의 행 이름은 예측 변수의 이름이며 각 PC 아래의 열에는 숫자가 있습니다. - PC 값을 형성하기 위해 원래 예측 변수를 곱해야 하는 계수입니다. 즉, 특정 막대에 대해 초기 예측 변수의 값을 취하고 계수를 곱하고 PC 값을 얻은 다음 다음 막대 등을 얻습니다. 결과적으로 원래 벡터(예: Ask) 외에도 하나 이상의 벡터를 얻습니다.
테이블의 모든 PC가 주문됩니다. 첫 번째는 원래 세트의 변동성을 가장 많이 설명하는 PC이고, 두 번째는 첫 번째 PC의 나머지 부분에서 변동성을 가장 많이 설명하는 PC입니다. 예를 들어, PC1 = 0.6, PC2 = 0.2인 경우 PC1 + PC2의 합은 변동성의 0.8을 설명합니다. 일반적으로 대규모 예측 변수 세트의 경우 이러한 동일한 "주성분" 중 5-6개로 충분하며, 이는 변동성의 95% 이상을 설명합니다. 이것은 대부분의 예측 변수가 노이즈이고 그들 사이에 실제로 "주요" 변수가 있는 경우입니다!
나는 고전적인 "주요 구성 요소"를 설명했습니다. 우리에게 이 기사는 고전과 달리 목표 변수에 대한 변동성을 계산하기 때문에 흥미롭습니다. 완전히 절망적인 예측 변수 집합에서 최소한 무언가를 선택하려면 임계값이 필요합니다. 이것은 우리와 관련이없는 것 같습니다. 이것은 예를 들어 추가로 수집하기가 매우 어려운 사회학 통계와 관련이 있습니다. 우리와 함께라면 하나의 통화 쌍에서도 측정되지 않은 수의 예측 변수를 구축할 수 있습니다.
아마도 이러한 기본 구성 요소에 대해 한 번 더 경주(도착)할 것입니까?
추신.
1. 주요 구성 요소에는 초기 데이터의 예비 정규화가 필요하다는 것을 잊지 마십시오.
2. 결과 주성분은 놀라운 특성을 가지고 있습니다. 서로 독립적입니다.
3. 주성분 예측 가능
이제 이해했습니다. 설명 감사합니다. 나는 기사에서이 모델에 대해서만 배웠습니다. 나는 PC1과 PC2,3,4,..가 계수가 아닌 다른 예측 변수 집합에 해당한다고 생각했습니다. 계수 표를 보았고 이제 어디서 무엇을 얻을 수 있는지 빠르게 찾았습니다.
PrincipalComponentRegression 04 .txt의 코드는 너무 복잡합니다. 또한 대상 변수와 관련하여 가변성에 대한 정의가 없는 것 같습니다. 오늘 아침에 첨부한 아카이브에서 PrincipalComponentRegression 03 .txt 로 반환했습니다 .
처음 5단계를 완료해야 합니다.
더 나아가,
(차단) PC1 PC2
0.02075519 0.40407635 -0.42250678
실행 결과는 intercept + coef1 * PC1 + coef2 * PC2 + ... + 다른 PC(있는 경우)여야 합니다.
PC1, PC2..의 값:
>프로젝트
PC1 PC2
X_clean 0.00516309881 0.00477076325
X1_클린 0.00142866076 0.00149863842
X2_clean -0.00008292268 0.00001010802
.....
PC1 = X_clean * 0.00516309881 + X1_clean*0.00142866076 +...
지금은 미스테리입니다. 접미사는 정규화 및 변환 전에 입력 X, X1, X2, ...의 원래 값을 가져와야 한다는 사실에 대한 참조인 "깨끗한" 것입니다.
그런 다음 몇 가지 더 간단한 예를 들어 수식을 올바르게 이해했는지 여부를 비교하기 위해 모든 값을 손으로 계산합니다. 지금은 추측일 뿐입니다)
그러나 이 방법은 예측 변수를 제거하도록 설계된 것이 아니라 자체적으로 최대 예측 변수 수를 무시하는 모델을 훈련하도록 설계된 것으로 나타났습니다. 각 예측 변수에 대한 평균 계수만 계산할 수 있으며 임계값 미만의 항목은 제외할 수 있습니다.
그건 그렇고,이 모델 자체는 활성화 기능이없고 내부 레이어의 뉴런에 대한 이동이없는 뉴런과 매우 유사합니다. 그러나 본질은 동일합니다.
또 다른 문제는 PC 부품을 얼마나 가져가느냐다. 신뢰도가 95% 미만이면 세 번째 단계로 돌아가서 proj <- extractProjection(2,princ)를 2에서 3으로 변경한 다음 3,4,5단계를 수행하고 오류를 계산하고 다음과 같은 경우 95% 미만입니다. 3단계로 돌아가서 다시 구성 요소 수를 늘립니다.
일반적으로 기사의 코드에는 전면 테스트 검사도 있습니다. 즉, MT5에서 R에 직접 액세스할 수 있는 경우 기사가 끝날 때까지 거래할 수 있는 기성 훈련된 모델이 이미 있습니다. 제가 알기로는 이 모델은 과적합 문제가 없고, 있으면 아주 좋습니다. 즉, 10%의 신뢰도를 달성했고 좋습니다.
거의 모든 것이 모델에 대해 명확합니다. 계수에 대한 결정 논리만 구현하려면 MT5에서 구현하는 것이 좋습니다. R이 MT5와 친구가 되는 방법은 명확하지 않습니다. mt5에서 모든 데이터를 내보내 csv로 작성한 다음 R에서 처리하고 모델을 훈련하고 다른 csv에 계수를 작성할 수 있습니다. 어드바이저에서 읽을 계수가 있는 CSV. 그리고 R에서 많은 함수가 PC를 계산하기 전에 데이터 정규화를 처리하기 때문에 매우 나쁠 것입니다. MT5에서 정규화를 위해 이러한 코드를 반복하는 것은 거의 불가능합니다. 생각해야 합니다.
이제 이해했습니다. 설명 감사합니다. 나는 기사에서이 모델에 대해서만 배웠습니다. 나는 PC1과 PC2,3,4,..가 계수가 아닌 다른 예측 변수 집합에 해당한다고 생각했습니다. 계수 표를 보았고 이제 무엇을 얻을 수 있는지 빠르게 찾았습니다.
PrincipalComponentRegression 04 .txt의 코드는 너무 복잡합니다. 또한 대상 변수와 관련하여 가변성에 대한 정의가 없는 것 같습니다. 오늘 아침에 첨부한 아카이브에서 PrincipalComponentRegression 03 .txt 로 반환했습니다 .
처음 5단계를 완료해야 합니다.
더 나아가,
(차단) PC1 PC2
0.02075519 0.40407635 -0.42250678
실행 결과는 intercept + coef1 * PC1 + coef2 * PC2 + ... + other PC(있는 경우)여야 합니다.
PC1, PC2..의 값:
>프로젝트
PC1 PC2
X_clean 0.00516309881 0.00477076325
X1_클린 0.00142866076 0.00149863842
X2_clean -0.00008292268 0.00001010802
.....
PC1 = X_clean * 0.00516309881 + X1_clean*0.00142866076 +...
지금은 미스테리입니다. 접미사는 정규화 및 변환 전에 입력 X, X1, X2, ...의 원래 값을 가져와야 한다는 사실에 대한 참조인 "깨끗한" 것입니다.
그런 다음 몇 가지 더 간단한 예를 들어 수식을 올바르게 이해했는지 여부를 비교하기 위해 모든 값을 손으로 계산합니다. 지금은 추측일 뿐입니다)
그러나 이 방법은 예측 변수를 제거하도록 설계된 것이 아니라 자체적으로 최대 예측 변수 수를 무시하는 모델을 훈련하도록 설계된 것으로 나타났습니다. 각 예측 변수에 대한 평균 계수만 계산할 수 있으며 임계값 미만의 항목은 제외할 수 있습니다.
그건 그렇고,이 모델 자체는 활성화 기능이없고 내부 레이어의 뉴런에 대한 이동이없는 뉴런과 매우 유사합니다. 그러나 본질은 동일합니다.
또 다른 문제는 PC 부품을 얼마나 가져가느냐다. 신뢰도가 95% 미만이면 세 번째 단계로 돌아가서 proj <- extractProjection(2,princ)를 2에서 3으로 변경한 다음 3,4,5단계를 수행하고 오류를 계산하고 다음과 같은 경우 95% 미만입니다. 3단계로 돌아가서 다시 구성 요소 수를 늘립니다.
일반적으로 기사의 코드에는 전면 테스트 검사도 있습니다. 즉, MT5에서 R에 직접 액세스할 수 있는 경우 기사가 끝날 때까지 거래할 수 있는 기성 훈련된 모델이 이미 있습니다. 제가 알기로는 이 모델은 과적합 문제가 없고, 있으면 아주 좋습니다. 즉, 10%의 신뢰도를 달성했고, 좋습니다.
거의 모든 것이 모델에 대해 명확합니다. 계수에 대한 결정 논리만 구현하려면 MT5에서 구현하는 것이 좋습니다. R이 MT5와 친구가 되는 방법은 명확하지 않습니다. mt5에서 모든 데이터를 내보내 csv로 작성한 다음 R에서 처리하고 모델을 훈련하고 다른 csv에 계수를 작성할 수 있습니다. 어드바이저에서 읽을 계수가 있는 CSV. 그리고 R에서 많은 함수가 PC를 계산하기 전에 데이터 정규화를 처리하기 때문에 매우 나쁠 것입니다. MT5에서 정규화를 위해 이러한 코드를 반복하는 것은 거의 불가능합니다. 생각해야 합니다.
Principal Components Regression, Pt. 섹션을 사용해야 하는 것 같습니다. 2: Y 인식 방법
텍스트를 피상적으로 봐서 이해한 바와 같이 목적함수를 고려하여 스케일링을 한다는 것이 하이라이트이다. 기존 PCA에서는 목적 함수를 전혀 고려하지 않습니다. 이 때문에 첫 번째 구성 요소는 전체 예측 변수 집합의 변동성을 설명하지 않고 목적 함수를 설명하는 데 가장 중요한 구성 요소로 판명되었습니다!
또 다른 문제는 PC 부품을 얼마나 가져가느냐다.
이 때문에 모든 치즈는 붕소입니다. 직관적으로 임계값이 없습니다. 처음 5개 성분이 변동성의 95% 이상을 설명하지 못하면 새로운 예측 변수 집합을 찾아야 합니다. 옳지 않을 수도 있지만.
거의 모든 것이 모델에 대해 명확합니다. MT5에서 구현하면 매우 좋을 것입니다.
MT4에서는 모든 것이 잘 작동합니다. 소스 코드가 있는 Pascal 라이브러리가 있습니다. 직접 시도하지는 않았지만 MT4가 Pascal의 라이브러리에 액세스할 수 있다면 MT5는 훨씬 더 그래야 합니다.
R에 대한 매력은 다음과 같습니다.
1. OnInit에서 R과의 연결이 설정되고 특별히 준비된 데이터가 있으면 작업 공간이 로드됩니다. 또한 R 코드는 하나 이상의 기능에 로드됩니다. 각 기능의 줄 수는 자연스럽게 임의적이며 논리에 의해 결정됩니다.
2. 어드바이저 또는 인디케이터의 본문에서 이러한 기능이 호출됩니다.
R이 터미널 창에 연결되지 않은 가장 풍부한 그래픽을 가지고 있다는 점을 고려하면 터미널과 병렬로 데이터 시각화를 위한 풍부한 기회가 있습니다.
여기에서 읽고, 읽고 .... 그리고 형식적인 관점에서 처음에는 대상 변수가 무엇인지 이해할 수 없습니다. 실수(회귀) 또는 명목 값(분류)입니다. 또한 예측변수가 목표변수에 미치는 영향 정도를 논한다면 바로 이 목표변수의 의미를 아는 것이 좋을 것이다.
역설적이지는 않지만 분류는 동일한 회귀입니다.
회귀의 경우에만 출력이 실수이고 분류의 경우 확률입니다.
그리고 회귀의 대상은 연속곡선이고 분류의 경우 충동은 (0, 1) 또는 (-1, +1)입니다.
그런 다음 이 출력은 해당 클래스로 전송됩니다(ifelse(y > 0.5, 1, 0).
나는 당신의 파일을 볼 수 없습니다, 링크는 그냥 빈 폴더입니다.
이 튜토리얼: https://drive.google.com/file/d/0B_Au3ANgcG7CN2tTUHBkdEdpVEU/view?usp=sharing
이것은 유효성 검사입니다: https://drive.google.com/file/d/0B_Au3ANgcG7CZmFWclFOd0RqNFk/view?usp=sharing
유효성 검사는 이 로드(validation_file)와 같이 처리되어야 합니다.
각 목록 요소에는 관찰이 독립적인 고유한 유효성 검사 세트가 포함됩니다. 검증 샘플은 임의의 시점에서 관찰을 가져오기 때문에 거의 서로 교차하지 않습니다. 각 검증 샘플은 거래의 포인트 추정치로 생각할 수 있습니다.
이것은 매분 트랜잭션을 시뮬레이션하지 않기 위해 수행됩니다. 거래는 대략 12시간마다 시뮬레이션됩니다.