Nöral ağlar. Uzmanlar için sorular. - sayfa 19

 

"Küçük" bir sorun vardı.

Aynı eğitim örnekleri (TS) aynı ağa beslenir ancak eğitimden önce rastgele ağırlıklarla başlatılırsa,

daha sonra ağ her seferinde aynı test setinde farklı sonuçlarla farklı şekilde eğitilebilir.

FANN kütüphanesi kullanılır .

Benzer bir durumda "İstatistik 6" nın nasıl ilerleyeceğini kontrol etmeye karar verdim?

Ve burada aynı mimariye sahip ağlar farklı sonuçlar veriyor.

Netlik için, en farklı sonuçlara sahip iki ağ seçtim. Performanslarının tam tersi olduğu görülebilir.


Aktivasyon eşiklerinin grafikleri, aynı OP'deki bu iki ağın tamamen farklı öğrendiğini doğrular.

(Ekteki tüm örneklerden tüm ağlar ve veriler için tam sonuçlar)


................................................................

Bana bir sinir ağı eğitimi sürecinde istikrarın nasıl sağlanacağını söyle?

 
lasso :

"Küçük" bir sorun vardı...

daha sonra ağ, aynı test setinde farklı sonuçlarla farklı şekilde eğitilebilir....

Bana bir sinir ağı eğitimi sürecinde istikrarın nasıl sağlanacağını söyle?


Eh, bu bir soru sorusu) NN'yi eğitmek için birçok yöntem kullanılır, ancak bunların tümü, bariz nedenlerden dolayı doğrudan numaralandırmadan farklıdır. Ve hepsinin ortak bir önemli dezavantajı var: felç veya yerel bir ekstremumda sıkışıp kalmak. Gözlemledikleriniz) Öğrenme mekanizmasının/algoritmanın kalitesini iyileştirmek ve eğitim süresini (eğitim dönemlerinin sayısını) artırmak dışında evrensel bir çözüm yoktur. Ve her durumda farklı şekilde karar verilir.
 
lasso :

Bana bir sinir ağı eğitimi sürecinde istikrarın nasıl sağlanacağını söyle?

GA'yı kullanın.
 
lasso :


Bana bir sinir ağı eğitimi sürecinde istikrarın nasıl sağlanacağını söyle?


svm.

İki sınıf için örnek:

Muhtemel ayrılık uçakları.... MLP BP bunlardan herhangi birini bulur ve durur.....

SVM'lerle ilgili olarak:

Bu yöntem her zaman tek bir ayırma düzlemi bulacaktır....

Veya GA, yukarıda önerildiği gibi ....

İyi şanlar ....

 
Figar0 :

Eh, bu bir soru sorusu) NN'yi eğitmek için birçok yöntem kullanılır, ancak bunların tümü, bariz nedenlerden dolayı doğrudan numaralandırmadan farklıdır. Ve hepsinin ortak bir önemli dezavantajı var: felç veya yerel bir ekstremumda sıkışıp kalmak. Gözlemledikleriniz) Öğrenme mekanizmasının/algoritmanın kalitesini iyileştirmek ve eğitim süresini (eğitim dönemlerinin sayısını) artırmak dışında evrensel bir çözüm yoktur. Ve her durumda farklı şekilde karar verilir.

Yerel bir ekstremumda takılıp kalmakla ilgiliyse, o zaman bu durumda sonuçların hepsinin "iyi" olması ve yalnızca belirli bir aralıkta farklı olması gerektiğini düşünüyorum - "daha iyi", "daha kötü" ...

Ancak test sonuçlarını büyük ölçüde değiştirmeyin! Anlıyor musun?

İşte 1 aylık bir test döneminde yapılan çalışmaların sonuçları:

-9337

+5060

+14522

+7325

+12724

-3475

+10924

-9337

+5060

-3475

-9337

-3475

................................

Burada yabancı yoldaşlar ağ komitelerinin kullanılmasını tavsiye ediyor

ama bunun en iyi çözüm olduğunu düşünmüyorum...

Ayrıca, problemde önerilen OP verilerinin lineer yöntemlerle oldukça kolay bir şekilde ayrıldığını hatırlatmama izin verin,

ve NS biçiminde basit ve kararlı bir çözüm bulmak gerçekten imkansız mı?

 

GA'yı anlamıyorum, ne kullanacağımı aramak için mi?

..................

yani, GA'yı Millet Meclisi'ne ek olarak değil, onların yerine kullanmak mı?

 
lasso :

GA'yı anlamıyorum, ne kullanacağımı aramak için mi?

..................

yani, GA'yı Millet Meclisi'ne ek olarak değil, onların yerine kullanmak mı?


GA, NS'nin ağırlıklarını alabilir ve herhangi bir şey uygunluk fonksiyonu olarak kullanılabilir... Hatırladığım kadarıyla EMA GA'yı arayabilirsiniz...
Ama dürüst olmak gerekirse, bu GA'nın size nasıl yardımcı olacağını anlamıyorum, farklı noktalarda da durabilir ... Ulusal Meclis gibi ...

Ve genel olarak, dürüst olmak gerekirse, bu normal bir fenomendir, asıl şey çok farklı olmamaktır ... (istediğiniz kadar anlamayın)

 
lasso :

Yerel bir ekstremumda takılıp kalmakla ilgiliyse, o zaman bu durumda sonuçların hepsinin "iyi" olması ve yalnızca belirli bir aralıkta farklı olması gerektiğini düşünüyorum - "daha iyi", "daha kötü" ...

Ancak test sonuçlarını büyük ölçüde değiştirmeyin! Anlıyor musun?


Burada, büyük olasılıkla, ağ aşırı eğitimli değil, yetersiz eğitimlidir. Nedeni, görünüşe göre, yetersiz yüksek kaliteli mimaride.

Aşırı uyum olmasına rağmen - ağ yapısı gereksiz yere fazlaysa ve ilk başlatma rastgele ise, o zaman ızgara her seferinde farklı uçlarda takılabilir, bu nedenle sonuçlardaki güçlü fark.

 
alsu :

Burada, büyük olasılıkla, ağ aşırı eğitimli değil, yetersiz eğitimlidir. Nedeni, görünüşe göre, yetersiz yüksek kaliteli mimaride.

Aşırı uyum olmasına rağmen - ağ yapısı gereksiz yere fazlaysa ve ilk başlatma rastgele ise, o zaman ızgara her seferinde farklı uçlarda takılabilir, bu nedenle sonuçlardaki güçlü fark.

Engelin ne olduğunu özel olarak tanımlayabilmek için hangi verileri veya sonuçları sağlamanız gerekiyor?
 

Ve ilerisi. Gerçek ağ çıktılarının aralığının "darlığı" beni endişelendiriyor. Açıklamama izin ver:

-- MLP ağı 1-7-1

-- sinir ağının girişlerine verilen değerler [0;1] aralığında düzgün bir şekilde dağıtılır, eğitim örneklerinde çıktılar 1 ve -1 değerleri ile temsil edilir.

Eğitimden sonra, tüm giriş değerleri aralığı ağ üzerinden çalıştırılırsa, ağ çıkışlarının çok dar bir aralıkta olduğunu göreceğiz. Örneğin:

opt_max_act= -0.50401336 opt_min_act= -0.50973881 adım=0.0000286272901034

ya da öyle

opt_max_real= -0.99997914 opt_min_real= -0.99999908 adım=0.00000010

................................................

Bu doğru mu, değil mi?