Alıntılardaki bağımlılık istatistikleri (bilgi teorisi, korelasyon ve diğer özellik seçim yöntemleri) - sayfa 9

 
Avals :


Yapmıyorum))) bağımsızlık gerekiyorsa, örneğin neden koşullu entropi gibi bir şey?

Alfabetik karakterlerin sırası bağımsız değilse (örneğin, Fransızca'da “q” harfini neredeyse her zaman “u” izler ve Sovyet gazetelerinde “lider” kelimesinden sonra “üretim” veya “emek” kelimesi gelir. genellikle takip edildi), bu tür sembollerin (ve dolayısıyla entropinin) dizisini taşıyan bilgi miktarı açıkça daha küçüktür. Bu tür gerçekleri açıklamak için koşullu entropi kullanılır. https://en.wikipedia.org/wiki/Information_entropy

Ah evet, koşullu entropi. Hala kapalı bir sonuç alanı olduğu açık mı? Ve tüm harfler açıkça sayılır, vb. Aslında 26 karakterlik orijinal alfabenin kaç heceli bir alfabeye basit bir şekilde genişletilmesinden bahsediyoruz. Bu kaba bir yaklaşımdır.
 
HideYourRichess :
Ah evet, koşullu entropi. Hala kapalı bir sonuç alanı olduğu açık mı? Ve tüm harfler açıkça sayılır, vb. Aslında 26 karakterlik orijinal alfabenin kaç heceli bir alfabeye basit bir şekilde genişletilmesinden bahsediyoruz. Bu kaba bir yaklaşımdır.


yani bu yaklaşık olarak entropinin anlamıdır))) Veya ideal bir arşivleyici tarafından sıkıştırma derecesinde

 
Mathemat :

Üzgünüm, HideYourRichess , ama görünüşe göre bilinmeyene sürüklenmişsiniz. Seninle ne tartışacağımı bile bilmiyorum, çünkü sen düpedüz saçmalıklarda çok ısrarcısın. Akıl yürütmedeki mantığınız

benim için tamamen anlaşılmaz.

inanmayacağım. Lütfen bunu belirten bir kaynak sağlayın

Bernoulli'den gelen bağımsız yargılamalar fikri, bu yeterli olacak mı? Veya burada büyük sayılar yasasının formülasyonu: Sonsuz bir özdeş olarak dağılmış ve ilişkisiz rasgele değişken dizisi olsun... Sonsuz bir bağımsız aynı dağılmış rastgele değişken dizisi olsun..
 
Avals :


yani bu yaklaşık olarak entropinin anlamıdır))) Veya ideal bir arşivleyici tarafından sıkıştırma derecesinde

Sadece bilinen alfabe açısından.
 

HideYourRichess , tüm terverin Bernoulli serisine veya büyük sayılar yasasına dayandığını düşünüyorsanız, çok yanılıyorsunuz.

Oyalanmayı bırakın ve doğrudan koşullu entropi ve karşılıklı bilgiyi belirlemede kullanılan koşullu olasılık kavramını öğrenin.

 
Mathemat :

HideYourRichess , tüm terverin Bernoulli serisine veya büyük sayılar yasasına dayandığını düşünüyorsanız, çok yanılıyorsunuz.

Kesin olarak bildiğimi sanmıyorum.

 
HideYourRichess :
Bernoulli'den gelen bağımsız yargılamalar fikri, bu yeterli olacak mı? Veya burada büyük sayılar yasasının formülasyonu: Sonsuz bir özdeş olarak dağılmış ve ilişkisiz rasgele değişken dizisi olsun... Sonsuz bir bağımsız aynı dağılmış rastgele değişken dizisi olsun..

Shannon'ın yayınını yükseltmeyi ve okumayı öneriyorum. Bana öyle geliyor ki, konunun taraftarları belirli bir sebep olmaksızın basitçe bir "kavga" düzenliyorlar. Eğitimim matematiksel olmasa da üniversitede olasılık teorisi okudum. Hatırladığım kadarıyla, önemli bir özellik, incelenen rastgele değişkenlerin durağanlığıdır.

Ve ayrıca matematiksel değil, eğitimimin konumundan söyleyeceğim. TI'nin geliştirildiği bağlantı teorisini ele alalım. Bir tel var, sinyaller geçiyor, anlamlı anlamları bizim için önemli değil. Bu kablodaki bilgi kaybını hesaplamak ve kaynak ve vericiyi (GET GET: verici ve alıcı) iki rastgele değişken olarak ele almak istiyoruz. Önsel olarak ilgili değiller mi? Dikkat ediyorum - kötü şöhretli tel ile bağlı oldukları varsayılıyor. Buna ne diyorsun?

 
Mathemat :

Zenginliğini Gizle ,

Oyalanmayı bırakın ve doğrudan koşullu entropi ve karşılıklı bilgiyi belirlemede kullanılan koşullu olasılık kavramını öğrenin.

Bir dizi bağımsız olaydan bahsettiğimizi anlamıyor musunuz?
 

Ve HideYourRichess için daha fazlasını ekleyeceğim

Karşılıklı bilgi, çok güçlü bir şekilde ilişkili, korelasyonlu değişkenler için düşünülür ve hem bilginin kendisinin hem de kayıplarının miktarını belirler. Bu nedenle, fiziksel düzeydeki olayların bağlantısı, tüm teorinin bir unsurudur. Ya da Shannom yanılıyordu...

 
Mathemat :

HideYourRichess , если Вы думаете, что весь тервер сводится к сериям Бернулли или закону больших чисел, то Вы сильно ошибаетесь.

Kesin olarak bildiğimi sanmıyorum.

Bu beş! iki tane istiyorum!
HideYourRichess : Bunun bir dizi bağımsız olayla ilgili olduğunu anlamıyor musunuz?

Hangi bağımsız olaylardan bahsediyorsunuz? Kaynaktan bir dizi alfabe karakteri hakkında mı? Hayır, mutlaka bağımsız değiller, bunu zaten açıkladınız. Sıradan bir Rus dili edebi metni, bir dizi bağımlı harftir. Bağımsız olsaydılar, edebi metinler arşivleyici tarafından gerçekte olduğundan çok daha kötü sıkıştırılırdı. Bazı edebi metinleri alın ve karıştırın ve orijinal ve karışık arşivlemenin sonuçlarını karşılaştırın.

Yoksa kaynak ve hedef toplulukların bağımsız değişkenler olduğunu mu düşünüyorsunuz?