Sinir ağının girişine ne beslenmeli? Fikirleriniz... - sayfa 38
Alım-satım fırsatlarını kaçırıyorsunuz:
- Ücretsiz alım-satım uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Lütfen normal bir MT5 optimize edici ve normal bir EA bağlamında açıklığa kavuşturun. Nasıl görünürdü? Optimizasyon listesinden iki set alın (ilişkisiz), bunları birleştirin ve çalıştırın? Yoksa aklınızda başka bir şey mi var
Elde ettiğiniz sonuçlara göre bazı katsayılar elde edersiniz, bunları optimize edilecek değişkenlerle çalışan koddan önce EA'nızın koduna yazarsınız.
Sonuç olarak, ilk geçişten bir filtre elde edersiniz ve ikinci ağ tüm örneklerden değil, yalnızca ilk NS tarafından filtrelenenlerden öğrenir.
Amaç, yanlış girdileri azaltarak beklenti matrisini artırmaktır - grafiğe bakılırsa çok düşüktür.
Ya da, daha önce de önerdiğim gibi - diğer yöntemleri kullanarak filtrelenmiş sonuçlar üzerinde eğitmeyi denemek - aynı CatBoost.
Savunma Bakanlığı'ndan uzmanlar şöyle diyor
Mesele bu değil - istediğiniz her şeyi ve istediğiniz şekilde arayabilirsiniz, sadece arama verilerindeki optimum varyant, bu aramanın dışındaki verilerde (piyasa ile ilgili olarak) aynı sonucu garanti etmez.
FF üzerinde sadece matematiksel bakış açısından optimal parametreleri arayan değil, aynı zamanda veri yapısını da dikkate alan ve eğitimden sonra iki örnek üzerinde bazı istikrarlı bağımlılıklar görmeye izin veren bir algoritma varsa, o zaman piyasaya uygulama için gerçekten değerlidir. Ve son araştırmalarımda MO konusunda gösterdiğim gibi şans eseri bir şeyler bulmak her zaman mümkündür.
Sonuçlara göre bazı katsayılar elde ettiniz, bunları optimize edilmiş değişkenlerle çalışan koddan önce NS'nizin koduna yazın.
Sonuç olarak, ilk geçişten bir filtre elde edersiniz ve ikinci ağ tüm örneklerden değil, yalnızca ilk NS tarafından filtrelenenlerden öğrenir.
Amaç, yanlış girdileri azaltarak beklenti matrisini artırmaktır - grafiğe bakılırsa bu oran çok düşüktür.
Ya da daha önce önerdiğim gibi - filtrelenmiş sonuçları başka yöntemler kullanarak eğitmeyi denemek için - aynı CatBoost.
Ah, anladım Fikir için teşekkürler
Ah, anladım Fikir için teşekkürler
Bir şey değil! Sonuçlarınızı paylaşın.
Evet, lütfen! Sonuçlarınızı paylaşın.
ve botlar.
Bu perseptron bot makalesinden mi? O zaman yapma.1. Mesele bu değil - istediğiniz her şeyi ve istediğiniz şekilde arayabilirsiniz,
2. sadece arama verilerindeki en uygun varyant, bu aramanın dışındaki verilerde (pazarla ilgili olarak) aynı sonucu garanti etmez.
3. FF üzerinde sadece matematiksel açıdan en uygun parametreleri aramakla kalmayan, aynı zamanda verilerin yapısını da dikkate alan ve eğitimden sonra iki örnek üzerinde kararlı bir bağımlılık görmeye izin veren bir algoritma varsa, o zaman piyasaya uygulama için gerçekten değerlidir.
4. MO konusunda son araştırmalarımda gösterdiğim gibi, şans eseri bir şeyler bulmak her zaman mümkündür.
1. Amaç nedir? - Her şeyi arayabileceğinizden değil, ama aramanın amacı tam olarak nedir?
2. ve bunu garanti eden nedir?
3. "Eğitimden sonra iki örnek üzerinde kararlı bağımlılık" bulabilen belirli bir tek parça algoritma görmedim, ancak bunun nasıl başarılabileceğine (veya en azından hangi yoldan gidileceğini anlamaya) ilişkin mantıksal düşünceler, bir dizi teknik ve değerlendirme var.
4. Rastgele olmayan bir şey aramak varken neden rastgele bir şey arayalım?
1. Amaç nedir? - Her şeyi arayabileceğinizden değil ama aramanın amacı nedir?
2. Bunu garanti eden nedir?
3. "Eğitimden sonra iki örnek üzerinde kararlı bağımlılık" bulabilen belirli bir tek parça algoritma görmedim, ancak bunun nasıl başarılacağına (veya en azından hangi yoldan gidileceğini anlamaya) ilişkin mantıksal düşünceler, bir dizi teknik ve hususlar var.
4. Rastgele olmayan bir şey aramak varken neden rastgele bir şey arayasınız ki?
1. Önemli olan sadece algoritma değil, aynı zamanda verilerin doğası/özüdür - farklı optimizasyon yöntemlerine izin vermekten bahsediyorsak, hem süreçlerin durağan(sız)lığından hem de örneklemin temsil edilemezliğinden bahsediyoruz demektir.
2. Bir cevabım yok - bir cevap arıyorum.
3. Bunu duymak ilgimi çekecektir.
4. Burada, 2. noktadan itibaren bir algoritma yoksa, tüm yaklaşımların esasen yeni veriler üzerinde rastgele verimlilik gösterdiğini yazdım - daha iyi veya daha kötü bir algoritma mantığı meselesi değildir (sonucu iyileştiren sezgisel yöntemler olduğunu kabul etsem de), ancak elde edilen verilerin rastgeleliği sonucu belirler.
Bilinen bir fonksiyonu incelediğinizde, (sabitleri) gelen değişkenlere göre değişmez, ne kadar çok örneğiniz varsa, katsayılarını doğru seçme şansınız o kadar artar. Piyasa verilerinde, elde edilebilecek örnek sayısında sınırlar vardır ve kendi işlevine sahip bu tür birçok sayı üretecinin aynı anda çalışması gibi bir sorun vardır (davranış kuralları onaylanmış ve basılmış büyük katılımcılar olsalar bile, Merkez Bankamız örneğini takip ederek). Dolayısıyla, ideal olarak farklı katılımcıların benzer davranış kurallarına uyum sağlamanın mümkün olduğu ortaya çıkıyor, piyasanın sadece bir kısmını tanımlayan böyle gürültülü bir fonksiyon olacak ve ben durumu böyle görüyorum. Aynı zamanda katılımcılar bir davranış fonksiyonundan diğerine akabilirler....
Makalelerdeki optimizasyon algoritmaları çok ilginç. Uygulamalarının kabul edilebilirliği sorusunu doğrudan ele almaya çalışın, belki de yüz farklı işlevi bir araya getirin ve en az birini tanımlamaya çalışın? Genel olarak, deneyi daha karmaşık hale getirin.
1. Burada önemli olan sadece algoritma değil, aynı zamanda verilerin doğası/kanıtıdır - eğer farklı optimizasyon yöntemlerinin kabul edilebilirliğinden bahsediyorsak, hem süreçlerin durağan(sız)lığından hem de örneklemin temsil edilemezliğinden bahsediyoruz demektir.
2. Bir cevabım yok - bir cevap arayışındayım.
3. Bunu duymak ilgimi çekecektir.
4. Burada, 2. noktadan itibaren bir algoritma yoksa, tüm yaklaşımların esasen yeni veriler üzerinde rastgele performans gösterdiğini yazdım - daha iyi veya daha kötü algoritma mantığı meselesi değildir (sonucu iyileştiren sezgisel yöntemler olduğunu kabul etsem de), ancak elde edilen verilerin rastgeleliği sonucu belirler.
Bilinen bir fonksiyonu incelediğinizde, o (sabitleri) gelen değişkenlere göre değişmez, ne kadar çok örneğiniz varsa, katsayılarını doğru seçme şansınız o kadar yüksektir. Piyasa verilerinde, elde edilebilecek örnek sayısında sınırlar vardır ve aynı anda kendi işleviyle çalışan bu tür birçok sayı üretecinin olması bir sorundur (davranış kuralları onaylanmış ve basılmış büyük katılımcılar olsalar bile, Merkez Bankamız örneğini takip ederek). Dolayısıyla, ideal olarak farklı katılımcıların benzer davranış kurallarına uyum sağlamanın mümkün olduğu ortaya çıkıyor, piyasanın sadece bir kısmını tanımlayan böyle gürültülü bir fonksiyon olacak ve ben durumu böyle görüyorum. Aynı zamanda katılımcılar bir davranış fonksiyonundan diğerine geçebilir....
Makalelerdeki optimizasyon algoritmaları çok ilginç. Uygulamalarının kabul edilebilirliğini doğrudan düşünmeye çalışın, belki de yüz farklı işlevi bir araya getirin ve en az birini tanımlamaya çalışın? Genel olarak, deneyi daha karmaşık hale getirin.
Metnin devamı: iki alıntı, ondan sonra - benim metnim
1.
Mesele bu değil - istediğiniz her şeyi ve istediğiniz şekilde arayabilirsiniz,
Mesele şu ki, sadece algoritma değil, aynı zamanda verilerin doğası/özü de önemlidir - farklı optimizasyon yöntemlerinin kabul edilebilirliğinden bahsediyorsak, hem süreçlerin durağan(sız)lığından hem de örneklemin temsil edilemezliğinden bahsediyoruz demektir.
İlk noktada optimizasyon algoritmaları hakkında hiçbir şey söylemedim. Herhangi bir aramanın özü, kullanıcı tarafından tanımlanan optimumdur. Hangi optimizasyon algoritması kullanılırsa kullanılsın, AO yalnızca tam bir arama yapma ihtiyacından kaçınmanızı sağlar. Tam bir arama yapmak mümkünse, AO'ya ihtiyaç yoktur, ancak "tam olarak neye ihtiyaç duyulduğu" sorusu kalır ve sürecin durağan olup olmadığı önemli değildir.
2.
basitçe arama verileri üzerindeki bir optimum, bu aramanın dışındaki veriler üzerinde (piyasaya göre) aynı sonucu garanti etmez.
Bir cevabım yok - araştırıyorum.
Kimsenin bu soruya net bir cevabı yok. Eğer kişi ne arayacağını bilmiyorsa, o zaman hiç kimse ve hiçbir şey arama yapan kişi için bunu yapmayacaktır, çünkü tam olarak ne aranacağı bilinmemektedir ve durum böyle olduğu için, herhangi bir sonucu "ne arandığı" olarak sınıflandırmak imkansızdır.
3.
"Eğitimden sonra iki örnek üzerinde kararlı bağımlılık" bulabilen belirli bir tek parça algoritma görmedim, ancak bunun nasıl başarılabileceğine (veya en azından hangi yoldan gidileceğini anlamaya) ilişkin mantıksal düşünceler, bir dizi teknik ve hususlar var.
Bunu duymak isterim.
Ve ben, uygun koşullar altında, bunun hakkında konuşmaktan mutluluk duyarım (ne demek istediğimi anlıyorsanız).
4.
Ve MO başlığında gösterdiğim gibi, son araştırmalarımda şans eseri bir şey bulmak her zaman mümkündür.
Burada, 2. noktadan itibaren bir algoritma yoksa, tüm yaklaşımların esasen rastgele bir şekilde yeni veriler üzerinde verimlilik gösterdiğini yazdım - daha iyi veya daha kötü bir algoritma mantığı meselesi değil (sonucu iyileştiren sezgisel yöntemler olduğunu kabul etsem de), ancak elde edilen verilerin rastgeleliği sonucu belirler.
Kesinlikle, ne arayacağınızı bilmiyorsanız, onu bulmak imkansızdır.
Bilinen bir fonksiyonu incelediğinizde, (sabitleri) girdi değişkenleriyle değişmez, ne kadar çok örneğiniz varsa, katsayılarını doğru bulma şansınız o kadar artar. Piyasa verilerinde, elde edilebilecek örnek sayısında sınırlar vardır ve aynı anda kendi işleviyle çalışan bu tür birçok sayı üretecinin olması bir sorundur (davranış kuralları onaylanmış ve basılmış büyük katılımcılar olsalar bile, Merkez Bankamız örneğini takip ederek). Dolayısıyla, ideal olarak farklı katılımcıların benzer davranış kurallarına uyum sağlamanın mümkün olduğu ortaya çıkıyor, piyasanın sadece bir kısmını tanımlayan böyle gürültülü bir fonksiyon olacak ve ben durumu böyle görüyorum. Aynı zamanda katılımcılar bir davranış fonksiyonundan diğerine geçebilir....
Tartışma bununla ilgili.
Makalelerdeki optimizasyon algoritmaları çok ilginç. Uygulamalarının kabul edilebilirliği sorusunu doğrudan düşünmeye çalış ın, belki de yüz farklı işlevi alıp karıştırın ve en az birini tanımlamaya çalışın? Genel olarak, bir deney kurmak daha karmaşıktır.
Şöyle söyleyeyim, optimizasyon algoritmaları (iç mantıklarını ve arama yöntemlerini anlamak) gözlerinizi birçok şeye açar ve arama yollarının yollarını ve vizyonlarını açar (genel bir biçimde optimizasyon veya özel bir biçimde öğrenme). Böyle bir deney ile özelliklerin bir karışımını içeren bir makale planlıyorum.
"Kafa kafaya uygulamanın kabul edilebilirliği" ile ne demek istiyorsunuz? - Sorunun bu şekilde formüle edilmesini anlamıyorum.
Daha geçen gün bir müşterinin projesine başladım, sinir ağına sahip bir danışman (dahili bir optimizasyon algoritması, SGD ve diğerlerini seçme imkanı var), eğitim, doğrulama ve her şey olması gerektiği gibi, proje birkaç düzine yoğun kod satırı..... Peki ben ne söylüyorum...? neuronka'nın aynı eğitim verileri üzerinde her seferinde yeni sonuçlar göstermesidir.))))) Neuronics yeni veriler üzerinde iyi performans göstermiyor mu? Aynı veriler üzerinde farklı sonuçlar gösteriyor, peki hangi yeni verilerden bahsedebiliriz? Ama bu neuronka ile ilgili değil, çünkü neuronka sadece statik bir formül, ağırlıklar ve ofsetler ayarlanıyor, ama neuronka değişmiyor. O zaman sorun ne, neden farklı sonuçlar alıyorsunuz? Ve mesele basit - SGD (ve diğerleri) kayıp fonksiyonuna takılıp kalıyor, dikkat))) Yani, sadece sinir ağı anlaşılmaz bir şekilde eğitilmekle kalmıyor, aynı zamanda iç optimizasyon algoritması da ortaya çıkamıyor.
Aynı sinir ağını gradyan ve klasik optimizasyon algoritmaları ile karşılaştırmak için bir deney yapmak istiyorum. Bu soruyu havalandırdım, bu konuda herhangi bir araştırma bulamadım, sadece dogma olarak görüyorum ve duyuyorum "gradyan inişlerini vb. kullanmalısın", "neden yapmalısın" sorusuna net bir cevap yok. Farklı gpt benzeri insanlara sordum, biri bilinen bir bilimsel kaynaktan rastgele makaleler veriyor, diğeri bağlantı vermiyor ama inatla "gerekli" diyor ve üçüncüsü kendisine böyle söylemesinin öğretildiğini ve sözlerinin herhangi bir kanıtı olmadığını, ancak bunları (kanıtları) bilmekten memnuniyet duyacağını itiraf etti.
İlk noktada, optimizasyon algoritmaları hakkında hiçbir şey söylemedim. Herhangi bir aramanın özü, kullanıcı tarafından tanımlanan optimumdur. Hangi optimizasyon algoritması kullanılırsa kullanılsın, AO sadece tam bir arama yapma ihtiyacını ortadan kaldırır. Tam bir arama yapmak mümkünse, AO'ya ihtiyaç yoktur, ancak "tam olarak neye ihtiyaç duyulduğu" sorusu kalır ve sürecin durağan olup olmadığı önemli değildir.
1. Ben de MO başlığına atıfta bulunduğunuzu düşündüm, çünkü bazı katılımcıların makalelerinizde incelenen algoritmalar hakkındaki görüşleri eleştireldi. Ben sadece, anladığım kadarıyla, bana göre özdeki anlaşmazlığın sebebinin ne olduğunu açıklığa kavuşturmaya karar verdim. Kişilikler konusunu gündeme getirmek istemiyorum.
A ndrey Dik #: Bu soruya kimsenin net bir cevabı yok. Ne arayacağınızı bilmiyorsanız, o zaman hiç kimse ve hiçbir şey arayan kişi için bunu yapmayacaktır, çünkü tam olarak ne aranacağı bilinmemektedir ve eğer öyleyse, herhangi bir sonuç "aranan şey" olarak sınıflandırılamaz.
2. Ne arayacağımı biliyorum - tahmin edicilerin kuantum segmentleri üzerinde istatistiksel olarak istikrarlı bağımlılıklar, ancak hangi işaretlerin bunu anlattığını - henüz bilmiyorum. Bir model oluştururken, yeni bir iterasyonda doğru adımı atma olasılığınızın yüksek olması gerekir - hepsi bu :)
A ndrey Dik #:
Ve ben, uygun koşullar altında, size söylemekten memnuniyet duyacağım (eğer ne demek istediğimi anlıyorsanız).
3. Dürüst olmak gerekirse, hiç anlamıyorum.
A ndrey Dik #:
Kesinlikle, tam olarak neyi arayacağınızı bilmiyorsanız, onu bulmak imkansızdır.
4. Yine de ne demek istediğimi anlamıyorsunuz. Basitleştirmek gerekirse, yinelemeli bir yaklaşımla, optimizasyon algoritmasına göre, seçim yapmanız gereken varyantların tüm sonuçlarını zorla kontrol edebileceğinizi ve böyle bir seçimin modeli mevcut tüm örnekler üzerinde belirli bir hedefe yaklaştıracağını düşünün. Ve işte cepte böyle bir model (ya da katsayılar - ne derseniz deyin) var, mevcut verilere göre iyi, ancak mutlaka en iyi seçenek değil. Yani algoritma, bir iterasyonda çözmek için bir adım seçerken FF'nin nihai verilerde ne olacağına bakar. Demek istediğim bu, göz atmadığınızda, rastgele adımlara bağlı olarak yanlışlıkla iyi bir sonuç elde edebilirsiniz. Piyasa verilerinden bahsediyoruz. Ve yeni verilerle beslendiğinde sonuç kötüleşebilir. Her neyse, demek istediğim, iyi bir modeli şans eseri mi yoksa temsil edici olmayan bir alt örneklem üzerinde bir algoritma nedeniyle mi elde ettiğinizi anlamak o kadar kolay değil.
A ndrey Dik #:
Tartışma bununla ilgili.
A ndrey Dik #:
Şöyle söyleyeyim, optimizasyon algoritmaları (iç mantıklarını ve arama yöntemlerini anlamak) gözlerinizi birçok şeye açar ve arama yollarının yollarını ve vizyonlarını açar (genel bir şekilde optimizasyon veya belirli bir şekilde öğrenme). Böyle bir deney ile özelliklerin bir karışımını içeren bir makale planlıyorum.
Böyle bir deneyi ve bunun piyasa oluşumu modelini ne kadar yansıttığını okumak isterim.
A ndrey Dik #:
"Kafa kafaya uygulamanın kabul edilebilirliği" ne anlama geliyor? - Sorunun bu şekilde formüle edilmesini anlamıyorum.
Bu, genetiği ve standart FF'leri ile standart optimize edici ile aynı şekilde kullanılması anlamına gelir. Aynı zamanda, buradaki kabul edilebilirlik, yeni veriler üzerinde istikrarlı bir model (ayarlar) elde etme olasılığını ifade eder. Yani neyin aranacağı ve bulunacağı açık....
Bu arada, algoritmaların kategorik özelliklerle nasıl başa çıktığını değerlendirdiniz mi?
A ndrey Dik #: O zaman ne anlamı var, neden farklı sonuçlar alıyorsunuz?
Birçok algoritma değişkenlik için randomizasyon kullanır, MOE dışında böyle bir şeye rastlamadınız mı? Tekrarlanabilir sonuçlar istiyorsanız, tohumu sabitleyin.
A ndrey Dik #: Bir deney yapmak istiyorum, aynı nöronu gradyan ve klasik optimizasyon algoritmalarıyla sonuçlarla karşılaştırmak istiyorum.
Sadece bir modeli değil, en az yüz modeli karşılaştırmak gerekiyor - bazı tanımlayıcı istatistiksel kriterlerle. Sadece yeni veriler üzerinde tahmin edebileceğiniz doğru ayarları (modeli) seçme olasılığı ...
A ndrey Dik #: Bu soruyu havalandırdım, bu konuda herhangi bir araştırma bulamadım
Gradyan inişi, hesaplama kaynaklarını kullanmak için verimli bir yöntem olarak kullanılır. Hocanın bir videoda bahsettiği gibi daha karmaşık ve daha ağır yöntemler var, ancak hatırlamadım, sadece mantık açık.