Statistiques de dépendance entre guillemets (théorie de l'information, corrélation et autres méthodes de sélection de caractéristiques) - page 9

 
Avals:


pas à moi)))) si l'indépendance est requise, pourquoi une telle chose comme l'entropie conditionnelle, par exemple ?

Si la séquence des symboles de l'alphabet n' est pas indépendante (par exemple, en français, la lettre "q" est presque toujours suivie de "u", et le mot "avant-garde" dans les journaux soviétiques était généralement suivi de "production" ou de "travail"), la quantité d'information que la séquence de ces symboles transporte (et, par conséquent, l'entropie) est évidemment moindre. L'entropie conditionnelle est utilisée pour tenir compte de ces faits. https://ru.wikipedia.org/wiki/Информационная_энтропия

Oh oui, l'entropie conditionnelle. Est-il clair qu'il y a un espace fermé de résultats de toute façon ? Et toutes les lettres sont très clairement comptées, etc. En fait, nous parlons d'une simple extension de l'alphabet original de 26 caractères à un alphabet de combien de syllabes. C'est une approximation.
 
HideYourRichess:
Oh oui, l'entropie conditionnelle. Est-il clair qu'il y a un espace fermé de résultats là de toute façon ? Et toutes les lettres sont très clairement comptées, etc. En fait, nous parlons d'une simple extension de l'alphabet original de 26 caractères à un alphabet de combien de syllabes. C'est une approximation.


c'est en gros le but de l'entropie)))) Ou le degré de compression d'un archiveur parfait.

 
Mathemat:

Désolé, HideYourRichess, mais tu sembles avoir dépassé les bornes. Je ne sais pas de quoi discuter avec vous maintenant que vous insistez autant sur des absurdités flagrantes. Votre logique de raisonnement

est complètement incompréhensible pour moi.

Je ne le croirai pas. Montrez-moi la source qui affirme que

La notion d'essais indépendants, dérivée de Bernoulli, suffira-t-elle ? Ou ici, une formulation de la loi des grands nombres : Soit une séquence infinie de variables aléatoires non corrélées et également distribuées... Soit une séquence infinie de variables aléatoires indépendantes et équidistantes...
 
Avals:


c'est en gros le but de l'entropie)))) Ou dans le degré de compression par un archiveur parfait

Seulement dans le contexte d'un alphabet connu.
 

HideYourRichess, si vous pensez que tous les tervers se réduisent à la série de Bernoulli ou à la loi des grands nombres, vous vous trompez lourdement.

Arrêtez de faire l'idiot et familiarisez-vous avec le concept de probabilité conditionnelle, qui est directement utilisé pour déterminer l'entropie conditionnelle et l'information mutuelle.

 
Mathemat:

HideYourRichess, si vous pensez que tout le terver se réduit aux séries de Bernoulli ou à la loi des grands nombres, vous vous trompez lourdement.

Je ne le pense pas, je le sais pour un fait.

 
HideYourRichess:
La notion d'essais indépendants, dérivée de Bernoulli, suffira-t-elle ? Ou ici, une formulation de la loi des grands nombres : Soit une séquence infinie de variables aléatoires non corrélées et également distribuées... Soit une séquence infinie de variables aléatoires indépendantes et équidistantes...

Je vous suggère de vous procurer les publications de Shannon et de les lire. Je pense que les adversaires de ce fil de discussion cherchent juste à se "battre" sans raison particulière. J'ai étudié la théorie des probabilités à l'université, bien que ma formation ne soit pas mathématique. Autant que je me souvienne, une caractéristique importante est la stationnarité des variables aléatoires étudiées.

Et je vais en dire plus du point de vue de ma formation non mathématique. Prenons la théorie de la communication appliquée à laquelle TI a été développé. Il y a un fil qui transporte des signaux, leur signification n'est pas importante pour nous. Nous voulons calculer les pertes d'information dans ce fil et nous considérons la source et l'émetteur (DROIT : émetteur et récepteur) comme deux variables aléatoires. Ne sont-elles pas liées a priori ? Je note - l'hypothèse est qu'ils sont reliés par le fil proverbial. Qu'est-ce que tu réponds à ça ?

 
Mathemat:

Cachez vos richesses,

Arrêtez de faire l'idiot et familiarisez-vous avec le concept de probabilité conditionnelle, qui est directement utilisé pour déterminer l'entropie conditionnelle et l'information mutuelle.

Ne comprenez-vous pas que nous parlons d'une séquence d'événements indépendants ?
 

Une chose de plus à ajouter pour HideYourRichess

L'information mutuelle compte pour les variables très fortement liées et corrélées et détermine la quantité d'information elle-même et sa perte. Le couplage des événements au niveau physique est donc un élément de toute la théorie. Ou Schennom avait-il tort...

 
Mathemat:

HideYourRichess, если Вы думаете, что весь тервер сводится к сериям Бернулли или закону больших чисел, то Вы сильно ошибаетесь.

Je ne pense pas, je le sais pour un fait.

Celui-là, c'est cinq ! J'en veux deux !
HideYourRichess: Ne réalisez-vous pas que nous parlons d'une séquence d'événements indépendants ?

De quels événements indépendants parlez-vous ? Sur une séquence de caractères alphabétiques de la source ? Non, ils ne sont pas nécessairement indépendants, cela vous a déjà été expliqué. Un texte littéraire russe ordinaire est une séquence de lettres dépendantes. S'ils étaient indépendants, les textes littéraires seraient beaucoup plus mal compressés par l'archiveur qu'ils ne le sont réellement. Prenez et mélangez un texte littéraire et comparez les résultats de l'archivage du texte original et du texte mélangé.

Ou pensez-vous que les ensembles source et récepteur sont des variables indépendantes ?