나는 그 대화를 지지할 것이고, 그 아이디어는 주말에 나왔다. 실제로 네트워크가 "모르겠다"고 말하는 경우가 많을수록 네트워크를 오버트레이닝하는 시점에 가까워집니다. OOS 초기에는 거의 모든 신호가 모호하지 않게 해석되지만 시간이 지남에 따라 네트워크는 해석하기 어려운 새로운 데이터의 도착을 나타내는 "모르겠다"라고 점점 더 말하기 시작합니다. "모름"의 특정 수준에 도달하면 네트워크가 과도하게 훈련된 것입니다. 아주 유용한 아이템....
알렉세이 버나코프 : 나는 이것에 동의합니다. 그리고 두 그리드의 신호를 어떻게 분석합니까? 명확하지 않습니까? 어느 정도 발산하거나 일치합니까?
나는 다음 계획에 따라 신호를 장군에게 가져옵니다.
매도 매수 해석
-1 0 판매
0 0 울타리
0 1 구매
-1 1 울타리
잘 훈련된 모델에서는 신호가 서로 모순되는 경우가 거의 없습니다. 교육 현장에서 동일한 수의 신호가 필요하지 않으며 일반적으로 시장에서 글로벌 추세가 장기화 될 수 있기 때문에 다르며 이해할 수 있습니다. 그러나 한 그리드의 신호 수가 다른 그리드의 2배를 초과하지 않도록 제한합니다. 왜 2번 - 답을 못하겠어, 경험적 비율, 누군가는 다르게 받아들일 수 있어. 추세가 위에서 아래로 바뀌고 매도 신호의 수가 증가하고 동시에 매수 신호가 거짓말을 하기 시작하고 모순이 발생하고 거래 수가 감소한다고 가정해 봅시다. 이는 새로운 학습이 필요하다는 신호입니다.
잘 훈련된 모델에서는 신호가 서로 모순되는 경우가 거의 없습니다. 교육 현장에서 동일한 수의 신호를 가질 필요는 없으며 일반적으로 서로 다르며 시장에서 장기간의 글로벌 추세가 있을 수 있기 때문에 이해할 수 있습니다. 그러나 한 그리드의 신호 수가 다른 그리드의 2배를 초과하지 않도록 제한합니다. 왜 2번 - 답을 못하겠어, 경험적 비율, 누군가는 다르게 받아들일 수 있어. 추세가 위에서 아래로 바뀌고 매도 신호의 수가 증가하고 동시에 매수 신호가 거짓말을 하기 시작하고 모순이 발생하고 거래 수가 감소한다고 가정해 봅시다. 이는 새로운 학습이 필요하다는 신호입니다.
jPrediction의 주요 차이점은 사용자 설정이 없다는 것입니다. 이를 통해 설정 및 알고리즘 선택 과정과 신경망의 아키텍처. jPrediction의 전체 기계 학습 프로세스는 완전히 자동화되어 사용자의 특별한 지식이나 개입이 필요하지 않습니다.
자동 모드에서 jPrediction이 수행하는 기능
수학적 분류 모델을 구축하기 위해 많은 예제가 포함된 파일을 읽고 구문 분석합니다.
기계 학습 전 데이터 정규화;
샘플의 모든 예제 집합을 훈련과 테스트의 두 하위 집합으로 나눕니다.
훈련 하위 집합의 균형 예제
신경망 아키텍처의 형성;
다양한 예측 변수 조합(요인)을 사용하여 예제의 훈련 하위 집합에 대한 모델 집합 훈련
신경망 아키텍처 축소 - 불필요한 요소 제거
예제의 테스트 하위 집합에 대한 모델 세트 테스트 및 일반화 능력 계산
최대 일반화 능력 기준에 따른 최적의 모델 선정
각각 다른 예측 변수 조합과 다른 모델 집합에서 최대 일반화 능력을 가진 모델만 선택 되므로 가장 중요한 예측 변수의 축소(선택)가 자동으로 발생합니다 .
8 버전부터 jPrediction은 훈련 세트의 최대 예측자 수에 제한이 없다고 말해야 합니다. 최대 8개까지 훈련 샘플의 예측 변수 수는 10개로 제한되었습니다.
버전 8 이전에는 jPrediction이 단일 모델이었습니다. 저것들. 샘플을 채취하고 단 하나의 모델만 훈련하고 테스트했습니다.
버전 8부터 jPrediction은 다중 모델이 되었습니다. 각 부분에는 서로 다른 예측 변수 조합이 포함되어 있는 샘플의 서로 다른 부분에 대해 다양한 모델을 훈련하고 테스트합니다. 이 모델 중 하나는 샘플의 테스트 부분에서 최대 일반화 능력을 제공합니다.
문제는 예측 변수의 다른 조합을 취하는 경우 조합의 완전한 열거와 함께 소위 조합(조합이라는 용어에서) "폭발"을 얻는다는 것입니다. 예측자가 추가될 때마다 예측자가 없는 경우보다 두 배 많은 모델을 훈련하고 테스트해야 합니다. 표본의 예측 변수의 수가 수십 또는 수백으로 측정될 때 합리적인 시간 내에 모든 모델 조합의 훈련 및 테스트가 완료될 때까지 기다리는 것이 문제가 된다는 것은 매우 분명합니다.
jPrediction의 조합 "폭발" 문제는 가능한 모든 조합의 열거가 아니라 순차 검색으로 해결되었습니다. 방법의 본질은 다음과 같습니다.
N개 이하의 예측 변수의 가능한 모든 조합을 통해 최대 일반화 능력을 가진 N개의 예측 변수를 포함하는 조합을 찾았다고 가정해 보겠습니다. N+1개의 예측 변수를 추가해야 합니다. 이를 위해 이미 발견된 조합에 조합에 포함되지 않은 표본의 예측변수를 하나씩 추가하여 일반화 능력을 측정합니다. 이러한 열거 과정에서 N + 1개의 예측 변수가 있는 조합을 찾았고 일반화 능력이 N개의 예측 변수의 최상의 조합을 능가하는 경우 동일한 방식으로 N + 2개의 예측 변수가 있는 조합을 선택할 수 있습니다. 그리고 그들이 그것을 찾지 못했다면 더 이상 찾을 필요가 없으며 조합 검색 알고리즘은 N개의 예측 변수의 최상의 조합에서 멈춥니다. 결과적으로 모델에 대한 예측 변수 조합을 검색하는 알고리즘은 가능한 모든 조합의 완전한 열거와 비교하여 훨씬 더 일찍 중지됩니다. 검색이 이 수를 늘리는 방향으로 소수의 예측자로 시작하기 때문에 컴퓨팅 리소스 가 추가로 절약됩니다. 그리고 훈련에 필요한 예측 변수가 적을수록 모델을 구축하는 데 필요한 시간과 컴퓨팅 성능이 줄어듭니다.
여기 파이가 있습니다.
관심 있는 사람들을 위해 첨부된 ZIP 아카이브에는 PDF 형식의 러시아어 jPrediction 9 사용자 지침이 포함되어 있습니다.
FOS에서 모델의 점진적인 붕괴와 거래에서 이 정보의 유용성에 대한 모든 이야기는 예측 변수의 예비 선택에 대해 이야기하지 않고는 설득력이 없어 보입니다.
아토.
모델이 FOS에 잘못된 신호를 보내는 경우 이는 잘못된 교육의 지표이며 시장 변화의 사실이 아닙니다.
나는 이것에 동의합니다. 그리고 두 그리드의 신호를 어떻게 분석합니까? 명확하지 않습니까? 어느 정도 발산하거나 일치합니까?
나는 다음 계획에 따라 신호를 장군에게 가져옵니다.
매도 매수 해석
-1 0 판매
0 0 울타리
0 1 구매
-1 1 울타리
잘 훈련된 모델에서는 신호가 서로 모순되는 경우가 거의 없습니다. 교육 현장에서 동일한 수의 신호가 필요하지 않으며 일반적으로 시장에서 글로벌 추세가 장기화 될 수 있기 때문에 다르며 이해할 수 있습니다. 그러나 한 그리드의 신호 수가 다른 그리드의 2배를 초과하지 않도록 제한합니다. 왜 2번 - 답을 못하겠어, 경험적 비율, 누군가는 다르게 받아들일 수 있어. 추세가 위에서 아래로 바뀌고 매도 신호의 수가 증가하고 동시에 매수 신호가 거짓말을 하기 시작하고 모순이 발생하고 거래 수가 감소한다고 가정해 봅시다. 이는 새로운 학습이 필요하다는 신호입니다.
나는 다음 계획에 따라 신호를 장군에게 가져옵니다.
매도 매수 해석
-1 0 판매
0 0 울타리
0 1 구매
-1 1 울타리
잘 훈련된 모델에서는 신호가 서로 모순되는 경우가 거의 없습니다. 교육 현장에서 동일한 수의 신호를 가질 필요는 없으며 일반적으로 서로 다르며 시장에서 장기간의 글로벌 추세가 있을 수 있기 때문에 이해할 수 있습니다. 그러나 한 그리드의 신호 수가 다른 그리드의 2배를 초과하지 않도록 제한합니다. 왜 2번 - 답을 못하겠어, 경험적 비율, 누군가는 다르게 받아들일 수 있어. 추세가 위에서 아래로 바뀌고 매도 신호의 수가 증가하고 동시에 매수 신호가 거짓말을 하기 시작하고 모순이 발생하고 거래 수가 감소한다고 가정해 봅시다. 이는 새로운 학습이 필요하다는 신호입니다.
예, 하지만 뉴런의 구성에는 없습니다.
Andrey는 분명히 어떤 기본 모델도 과도하게 훈련되지 않은 좋은 결과를 줄 수 있는 강력한 입력에 대해 암시하고 있습니다.
또는 다른 것. 하지만 좀 더 자세한 답변을 듣고 싶습니다.
jPrediction 9.00 출시
사용 설명서에서 인용:
« jPrediction이 다른 기계 학습 소프트웨어와 다른 점
jPrediction의 주요 차이점은 사용자 설정이 없다는 것입니다. 이를 통해 설정 및 알고리즘 선택 과정과 신경망의 아키텍처. jPrediction의 전체 기계 학습 프로세스는 완전히 자동화되어 사용자의 특별한 지식이나 개입이 필요하지 않습니다.
자동 모드에서 jPrediction이 수행하는 기능
각각 다른 예측 변수 조합과 다른 모델 집합에서 최대 일반화 능력을 가진 모델만 선택 되므로 가장 중요한 예측 변수의 축소(선택)가 자동으로 발생합니다 .
8 버전부터 jPrediction은 훈련 세트의 최대 예측자 수에 제한이 없다고 말해야 합니다. 최대 8개까지 훈련 샘플의 예측 변수 수는 10개로 제한되었습니다.
버전 8 이전에는 jPrediction이 단일 모델이었습니다. 저것들. 샘플을 채취하고 단 하나의 모델만 훈련하고 테스트했습니다.
버전 8부터 jPrediction은 다중 모델이 되었습니다. 각 부분에는 서로 다른 예측 변수 조합이 포함되어 있는 샘플의 서로 다른 부분에 대해 다양한 모델을 훈련하고 테스트합니다. 이 모델 중 하나는 샘플의 테스트 부분에서 최대 일반화 능력을 제공합니다.
문제는 예측 변수의 다른 조합을 취하는 경우 조합의 완전한 열거와 함께 소위 조합(조합이라는 용어에서) "폭발"을 얻는다는 것입니다. 예측자가 추가될 때마다 예측자가 없는 경우보다 두 배 많은 모델을 훈련하고 테스트해야 합니다. 표본의 예측 변수의 수가 수십 또는 수백으로 측정될 때 합리적인 시간 내에 모든 모델 조합의 훈련 및 테스트가 완료될 때까지 기다리는 것이 문제가 된다는 것은 매우 분명합니다.
jPrediction의 조합 "폭발" 문제는 가능한 모든 조합의 열거가 아니라 순차 검색으로 해결되었습니다. 방법의 본질은 다음과 같습니다.
N개 이하의 예측 변수의 가능한 모든 조합을 통해 최대 일반화 능력을 가진 N개의 예측 변수를 포함하는 조합을 찾았다고 가정해 보겠습니다. N+1개의 예측 변수를 추가해야 합니다. 이를 위해 이미 발견된 조합에 조합에 포함되지 않은 표본의 예측변수를 하나씩 추가하여 일반화 능력을 측정합니다. 이러한 열거 과정에서 N + 1개의 예측 변수가 있는 조합을 찾았고 일반화 능력이 N개의 예측 변수의 최상의 조합을 능가하는 경우 동일한 방식으로 N + 2개의 예측 변수가 있는 조합을 선택할 수 있습니다. 그리고 그들이 그것을 찾지 못했다면 더 이상 찾을 필요가 없으며 조합 검색 알고리즘은 N개의 예측 변수의 최상의 조합에서 멈춥니다. 결과적으로 모델에 대한 예측 변수 조합을 검색하는 알고리즘은 가능한 모든 조합의 완전한 열거와 비교하여 훨씬 더 일찍 중지됩니다. 검색이 이 수를 늘리는 방향으로 소수의 예측자로 시작하기 때문에 컴퓨팅 리소스 가 추가로 절약됩니다. 그리고 훈련에 필요한 예측 변수가 적을수록 모델을 구축하는 데 필요한 시간과 컴퓨팅 성능이 줄어듭니다.
여기 파이가 있습니다.
관심 있는 사람들을 위해 첨부된 ZIP 아카이브에는 PDF 형식의 러시아어 jPrediction 9 사용자 지침이 포함되어 있습니다.
jPrediction 9.00 출시
사소한 것 빼고는 모든 것이 좋습니다. 다른 모델과 비교할 수 없습니다.
내 서비스를 비교하여 제공합니다.
1. 예측 변수와 대상 변수가 포함된 입력 Excel 파일을 준비합니다.
2. 계산하기
3. 입력 파일을 나에게 보내기
4. randomforest, ada, SVM을 사용하여 계산합니다.
비교하다.