Scribd
Importer
44 vues2 pages

Premi' Ere Valeur: Mutual Information (MI) : MI X Y P X, y P X, y P X P y

Le document explique trois valeurs clés en information mutuelle et réduction d'incertitude : la Mutual Information (MI) qui mesure la dépendance entre deux variables, le pourcentage de réduction d'incertitude qui indique combien X explique l'incertitude de Y, et la Normalized Mutual Information qui permet de comparer plusieurs variables de manière équitable. Des exemples chiffrés illustrent chaque concept, montrant des dépendances significatives entre les variables analysées. Enfin, des remarques finales clarifient l'interprétation des pourcentages calculés.

Transféré par

Mounir Boumahdi
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
44 vues2 pages

Premi' Ere Valeur: Mutual Information (MI) : MI X Y P X, y P X, y P X P y

Le document explique trois valeurs clés en information mutuelle et réduction d'incertitude : la Mutual Information (MI) qui mesure la dépendance entre deux variables, le pourcentage de réduction d'incertitude qui indique combien X explique l'incertitude de Y, et la Normalized Mutual Information qui permet de comparer plusieurs variables de manière équitable. Des exemples chiffrés illustrent chaque concept, montrant des dépendances significatives entre les variables analysées. Enfin, des remarques finales clarifient l'interprétation des pourcentages calculés.

Transféré par

Mounir Boumahdi
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Interprétation des trois valeurs affichées (Information Mutuelle et Réduction d’In-

certitude)
Voici une explication détaillée et structurée, avec les trois formules mathématiques correspondant aux valeurs affichées et leur
interprétation claire.

1. Première valeur : Mutual Information (MI)


Formule :
 
X P (x, y)
M I(X; Y ) = P (x, y) log2
x,y
P (x)P (y)

Unité : bits
Interprétation :
— Mesure la quantité d’information que la connaissance de X apporte sur Y (et vice-versa, car MI est symétrique).
— M I = 0 ⇒ X et Y sont indépendants.
— M I > 0 ⇒ X et Y sont dépendants.
Exemple :
M I = 0.6298 bits
Il y a donc une forte dépendance entre Bare Nuclei et Class.

2. Deuxième valeur : % Reduction in Uncertainty (Bleu)


Formule :

M I(X; Y )
% Reduction1 = × 100%
H(Y )
où :
X
H(Y ) = − P (y) log2 P (y)
y

est l’entropie de la variable cible Y .


Interprétation :
— Représente la proportion d’incertitude de Y expliquée par X.
— Si = 100%, cela signifie que X détermine complètement Y .
Exemple :

57.0054%
⇒ Bare Nuclei explique 57% de l’incertitude de Class.

3. Troisième valeur : Normalized Mutual Information (Rouge)


Formule générale :
Selon BayesiaLab :

2 × M I(X; Y )
% Reduction2 = × 100%
H(X) + H(Y )
où :
— H(X) = entropie de X
— H(Y ) = entropie de Y
Interprétation :
— C’est une normalisation symétrique qui prend en compte l’incertitude de X et Y .
— Utile pour comparer plusieurs variables ayant des distributions différentes, car elle n’est pas biaisée vers la variable avec la plus
grande entropie.
Exemple :

69.6365%
⇒ Bare Nuclei partage ≈ 70% d’information normalisée avec Class, indiquant une forte association mutuelle équilibrée.
4. Tableau récapitulatif

Valeur Formule Signification Utilité


y) log2 PP(x)P
(x,y)
P
MI (0.6298) x,y P (x, (y) Information mutuelle brute (bits) Force absolue de la dépendance
MI
% Bleu (57.0%) H(Y ) × 100% % d’incertitude de Y expliquée par X Impact prédictif direct sur la cible
2×M I
% Rouge (69.6%) H(X)+H(Y ) × 100% % normalisé prenant X et Y Comparer équitablement différentes variables

Remarques finales
— La première % (bleu) te dit : ≪ si je connais X, combien je réduis l’incertitude sur Y ? ≫
— La deuxième % (rouge) te dit : ≪ quelle est la similarité normalisée entre X et Y ? ≫
—
Note : Dis-moi si tu souhaites une démonstration numérique complète de ces formules sur un petit tableau de données pour
t’entraı̂ner avant tes examens de réseaux bayésiens et théorie de l’information.

Vous aimerez peut-être aussi