Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 2843
Alım-satım fırsatlarını kaçırıyorsunuz:
- Ücretsiz alım-satım uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
SanSanych Fomenko, bir örnek beklemeli miyiz?
Bu neyle ilgili?
Anlıyorum. Makine öğrenimi modellerine yüzeysel bir aşinalığınız var.
Zincirin ilk unsuru, emeğin %50 ila %70'ini alan ön işlemedir. Gelecekteki başarının belirlendiği yer burasıdır.
Zincirin ikinci unsuru, modelin bir dizi eğitim üzerinde eğitilmesidir.
Zincirin üçüncü unsuru, eğitilen modelin test seti üzerinde çalıştırılmasıdır. Modelin bu setler üzerindeki performansı en az üçte bir oranında farklıysa model yeniden eğitilir. Daha sık olmasa da arada bir başınıza gelir. Aşırı eğitilmiş bir model, çok doğru olan bir modeldir. Özür dilerim, temeller.
Bu da ne demek oluyor?
Daha önce yazmıştım
Ticaret, otomatik ticaret sistemleri ve ticaret stratejilerinin test edilmesi üzerine forum
Ticarette makine öğrenimi: teori, modeller, uygulama ve algo-ticaret
Aleksey Vyazmikin, 2022.12.08:44
Bana örneğinizi gönderebilir misiniz? Zayıf model eğitimi sorunu konusunda aynı vizyona sahibiz, seçim yönteminizin benimkinden ne kadar daha iyi olduğunu ve örneğinize uyup uymadığını karşılaştırmak istiyorum.
Bunun iyi bir fikir olduğunu söylediniz, ancak mesajı sildiniz.
Şu anda anladığım kadarıyla, makine öğrenimi modellerini ve bu modellerde yerleşik olan optimizasyonu tartışıyorum. Sinir ağları ile başladığınız yer burası.
Siz kendi başına optimizasyonu tartışıyorsunuz, ki bu bana göre makine öğrenimi ile ilgili değil.
Küresel optimum arayışınızda size iyi şanslar.
Şu anda anladığım kadarıyla, makine öğrenimi modellerini ve bu modellerde yerleşik olan optimizasyonu tartışıyorum. Sinir ağları ile başladığınız yer burası.
Bana göre makine öğrenimi ile ilgisi olmayan optimizasyon konusunu tartışıyorsunuz.
Küresel optimum arayışınızda iyi şanslar.
En önemli fikre ulaştım: optimizasyon ve modelin yeniden eğitilmesi arasında yadsınamaz bir bağlantı var. Model her zaman oldukça "kaba" bırakılmalı ve kesinlikle küresel optimumlara ihtiyaç duyulmamalıdır.
Basitçe küresel bir optimumun reddedilmesinin aşırı uyumu engellemeyeceği açıktır. Aşırı uyum, modelin mevcut düzenliliğe zarar verecek şekilde bu belirli örneğe çok fazla uyarlanmasından oluşur. Neredeyse tüm MO algoritmalarının son derece yüksek esnekliği nedeniyle ortaya çıkar. Bu nedenle, bununla başa çıkmanın standart yolu, optimizasyon kriterine aşırı model esnekliği için bir ceza eklemektir (örnek olarak kement regresyonu). Modelin esnekliğini kuralcı bir şekilde kısıtlayabilirsiniz, ancak matematiksel olarak bu sadece daha sert bir cezadır.
Bu arada bu, özel kriterler oluşturmanın neden mümkün olması gerektiğine dair iyi bir örnektir.
Bir plato yerine küresel bir uç noktayı tercih etmek biraz farklıdır. Bu artık mevcut ve değişmeyen bağımlılık pahasına belirli bir örneğe aşırı uyum meselesi değildir. Burada, fiyatların durağan olmaması nedeniyle (ilk başta yazdığınız gibi) bağımlılığın değiştiği ve bağımlılıktaki küçük değişikliklerde bile yeterince iyi kalacak parametrelerin istikrarlı (sağlam) değerlerini aramamız gerektiği gerçeğinden bahsediyoruz.
Her şeyi tek bir yığın halinde karıştırmanıza gerek yok.
Kabul edilebilir bir tahminciler listesi aradığımda - pantolon anlamında optimizasyon. Ancak anlamı oldukça farklıdır: "çöp içeri - çöp dışarı" dan kaçınmaya çalışmak. Burada küresel optimumu bulan "doğru" algoritmayı bulmaya çalışmaktan niteliksel bir fark vardır. Hiçbir küresel optimum, çöp konusunda karlı bir TS vermeyecektir.
Pantolon seçimi çok kriterli optimizasyonun bir örneğidir - seçim uzunluk, beden, renk, kumaş, fiyat, marka vb. kriterlere göre yapılır) Pareto yüzeyinin inşa edilmediği açıktır, ancak alıcının kafasında tüm kriterlerin tek bir uzlaşmada örtülü bir karışımı vardır. Aynı şey özellik seçimi için de geçerlidir. Pantolonlarla ilgili önemli fark, sezgilere sürekli güvenmek öngörülemeyen başarısızlıklara yol açacağından, burada değiş tokuş optimalite kriterinin açık bir şekilde formüle edilmesinin faydalı olacağıdır.
eğer model çalışıyorsa, bilinmeyen veriler üzerinde iyi çalıştığı ayarlara sahiptir. aynı zamanda oos üzerinde tatmin edici performans vermeyen ayarlara sahip olması da muhtemeldir - bu durum bazılarınca aşırı eğitim olarak adlandırılır. aslında, tahmin kriteri doğru seçilmemiştir. doğru kriter çalışan bir model için mor bir eğri verecektir. sorun doğru tahmin kriterinin maksimizasyonuna (global maksimum) bağlıdır. başka bir deyişle, eğer doğru kriterin global maksimumunu bulursak. mor bir eğri elde ederiz.
Eğer kriter yanlış seçilirse, tam tersi, yanlış bir kriterin maksimizasyonu kırmızı bir eğri verecektir.
Ve bu, modelin çalıştığı varsayımına dayanmaktadır, ancak değerlendirme kriterinin ne kadar önemli olduğunu görüyoruz.
Ancak model çalışmıyorsa, o zaman ne kriter ne de optimizasyon hiçbir şey yardımcı olmayacaktır.
Yani, model->kriter->kriterin optimizasyonu
Pantolon seçimi çok kriterli optimizasyonun bir örneğidir - seçim uzunluk, beden, renk, kumaş, fiyat, marka vb. kriterlere göre yapılır) Pareto yüzeyinin inşa edilmediği açıktır, ancak alıcının kafasında tüm kriterlerin tek bir uzlaşmada örtülü bir karışımı vardır. Aynı şey özellik seçimi için de geçerlidir. Pantolonlarla ilgili önemli fark, sezgilere sürekli güvenmek öngörülemeyen başarısızlıklara yol açacağından, burada değiş tokuş optimalite kriterinin açık bir şekilde formüle edilmesinin faydalı olacağıdır.
Pantolon seçimi kriter odaklı optimizasyonun iyi bir örneğidir. her iyi pantolon herkese uymaz. kullanıcı odaklı optimizasyon en iyi, en uygun pantolonu verir (global maksimum kriter).
pantolon -> pantolon değerlendirme kriteri -> seçim (pantolon değerlendirme kriterinin optimizasyonu)
Küresel ekstremumun basit bir şekilde reddedilmesinin aşırı eğitimi (aşırı uyum, overfitting) engellemeyeceği açıktır. Aşırı uyum, modelin mevcut düzenliliğe zarar verecek şekilde bu belirli örneğe çok fazla uyarlanmasından oluşur. Neredeyse tüm MO algoritmalarının son derece yüksek esnekliği nedeniyle ortaya çıkar. Bu nedenle, bununla başa çıkmanın standart yolu, optimizasyon kriterine aşırı model esnekliği için bir ceza eklemektir (örnek olarak kement regresyonu). Modelin esnekliğini yönlendirici bir şekilde kısıtlamak mümkündür, ancak matematiksel olarak bu sadece daha katı bir cezadır.
Bu arada bu, özel kriterler oluşturmanın neden mümkün olması gerektiğine dair iyi bir örnektir.
Bir plato yerine küresel bir uç noktayı tercih etmek biraz farklıdır. Bu artık mevcut ve değişmeyen bağımlılık pahasına belirli bir örneğe aşırı uyum meselesi değildir. Burada, fiyatların durağan olmaması nedeniyle (ilk başta yazdığınız gibi) bağımlılığın değiştiği ve bağımlılıktaki küçük değişikliklerde bile yeterince iyi kalacak parametrelerin istikrarlı (sağlam) değerlerini aramak gerektiği gerçeğinden bahsediyoruz.
Her şeyi bir yığın halinde karıştırmayın.
Pantolon seçimi çok kriterli optimizasyonun bir örneğidir - seçim uzunluk, beden, renk, kumaş, fiyat, marka vb. kriterlere göre yapılır) Pareto yüzeyinin inşa edilmediği açıktır, ancak alıcının kafasında tüm kriterlerin tek bir uzlaşmada örtülü bir karışımı vardır. Aynı şey özellik seçimi için de geçerlidir. Pantolonlarla ilgili önemli fark, sezgilere sürekli güvenmek öngörülemeyen başarısızlıklara yol açacağından, burada değiş tokuş optimalite kriterinin açık bir şekilde formüle edilmesinin faydalı olacağıdır.
Birinin konuyla ilgili bir yazı yazdığını görmek güzel!
Model çalışıyorsa, bilinmeyen veriler üzerinde iyi çalıştığı ayarlara sahiptir. aynı zamanda oos üzerinde tatmin edici performans vermeyen ayarlara sahip olması da muhtemeldir - bu duruma bazıları aşırı eğitim adını verir. aslında, tahmin kriteri doğru seçilmemiştir. doğru kriter, çalışan model için mor bir eğri verecektir. sorun, doğru tahmin kriterini maksimize etmeye (küresel maksimum) indirgenir. başka bir deyişle, doğru kriterin küresel maksimumunu bulursak. mor bir eğri elde ederiz.
ve tam tersi, eğer kriter yanlış seçilirse, bu tür yanlış bir kriterin maksimizasyonu kırmızı bir eğri verecektir.
Bu da modelin çalıştığını varsayıyor, ancak değerlendirme kriterinin ne kadar önemli olduğunu görüyoruz.
Ancak model çalışmıyorsa, ne kriter ne de optimizasyon hiçbir şey yardımcı olmayacaktır.
Yani, model->kriter->kriter optimizasyonu
.
integral kriter örnekleri: denge, kar faktörü ve diğerleri. bu kriterler, sürecin ara olaylarının sonuçlarını dikkate almadan özet bir değerlendirme yapar (ticarette bunlar işlemlerdir). örneğin, aynı nihai bakiye 10000 olan iki sonuç, bir durumda 1000 karlı işlem ve diğer durumda 999 karsız ve 1 karlı işlem. integral kriter her iki durumda da aynı olmasına rağmen, sonucun elde edilme şeklinin koordineli olarak farklı olduğu açıktır. bu nedenle insanlar genellikle integral kriterlerden, yeniden eğitim alındığından, piyasanın durağan olmadığından vb. şikayet ederler.
türetilmiş bir kriter örneği, başlangıç noktasından bitiş noktasına kadar uzanan bir denge çizgisinden standart sapmadır. bu tür kriterler, integral kriterlerden farklı olarak, sürecin ara sonuçlarını dikkate alır. bu, kriterdeki gerekliliklerin açık bir şekilde tanımlanmasına olanak tanır.
İntegral kriterler de belirli sistem türlerine (örneğin, birim zaman başına düşen işlem sayısının pratikte sabit olduğu) uygulanabildikleri için bu hakka sahip olabilirler.
Ancak, hem integral hem de türetilmiş kriterler için küresel bir optimuma ulaşılmalıdır. kriter seçimi, sistemin gelecekteki sağlamlığını belirler.
Araştırmacı, küresel maksimumun değil, ortada bir şeyin aranmasının gerekli olabileceğine dair bir fikre sahipse, bu durumda modeli değerlendirme kriterlerini derhal yeniden gözden geçirmek gerekir.