Département d’Informatique

Master 1 IATI 2019/2020

Méthodes de l’intelligence artificielle

Chapitre 3
Les réseaux Bayésiens

Présenté par :
Dr DJEBBAR Akila

1
Plan du cours

• Introduction
• Réseaux Bayésiens : Définitions, propriétés,…
• Algorithmes d’inférences
• Exemples d’applications
• Conclusion

2
Introduction

L’un des buts principaux de l’intelligence artificielle (IA) est de concevoir des

systèmes capable de reproduire le raisonnement humain.

Les connaissances acquises ne sont pas toujours adéquates afin de permettre au

système de faire une décision la plus appropriée possible.

La notion de l’incertitude qui est intégré dans le raisonnement médical fait appel

aux choix d’une approche probabiliste, ce qui nous amène tout naturellement au

“Réseau bayésien” retrouvé par fois sous le nom de systèmes experts probabilistes.

3
 Approches en Diagnostic
Diagnostic

Approches ET
Qualitatif
méthodes
Aspect (I.A)
(I.A)

Systèmes Experts Réseaux Neurones CBR

Logique Floue Arbre de Décision Réseaux

Bayésiens

4
 Les Réseaux Bayésiens(1)
Definition:
Les réseaux bayésiens sont la combinaison des approches probabilistes et
la théorie de graphes. Autrement dit, ce sont des modèles qui permettent
de représenter des situations de raisonnement probabiliste à partir de
connaissances incertaines.
Structure
1. Graphe orienté acyclique (DAG, Directed Acyclic Graph).
2. Nœuds : ensemble de variables aléatoires (discrete ou continue).
3. Arcs orientés: des dépendances (causalités) probabilistes entre les variables
et des distributions de probabilités conditionnelles pour chaque variable
étant donné ses parents. V F
A
4. une table de probabilité pour chaque nœud.
A=v A=f
Méthode symbolique et
c=v
numérique C B
c=f

5
 Les Réseaux Bayésiens(2)

➢ Méthodes statistiques
➢ Basés sur des probabilités conditionnelles
➢La causalité joue un rôle important : des événements causent d’autres.
➢Afficher graphiquement les variables d'un problème de décision et les influences
entre ces variables.

➢Basé sur le principe de théorème de Bayes.

➢…..

6
 Rappels sur les probabilités
conditionnelles (1)

• Théorème de Bayes :
Soient deux événements A et B. La probabilité a posteriori de
l'événement A sachant la réalisation de l'événement B est :

De même la probabilité a posteriori de l'événement B sachant la

réalisation de l'événement A est :

7
 Rappels sur les probabilités
conditionnelles (2)
On en déduit des deux formules précédentes que la probabilité
conjointe des événements A et B est :

• Formule de Bayes :
La probabilité a posteriori de l'événement A sachant la
réalisation de l'événement B est :

8
 Indépendance conditionnelle (1)
Définition.
• La relation de définition de la probabilité conditionnelle de A lorsque B est réalisé,
P (A | B) = peut être écrite :
• P (A I B) = P (A | B) P (B)
• Si la probabilité de A n'est pas nulle, on peut écrire aussi :
• P (A I B) = P (B I A) = P (B | A) P (A)
• Deux événements A et B sont dits indépendants en probabilité, ou, simplement,
indépendants, s'ils vérifient la relation :
• P (A I B) = P (A) P (B)
• Pour des événements de probabilité non nulle, les propriétés suivantes sont
équivalentes :
— A et B sont indépendants.
— P (A I B) = P (A) P (B).
— P (A | B) = P (A).
— P (B | A) = P (B).
L'information donnée par la réalisation de A sur la réalisation de B est nulle et
l'information donnée par la réalisation de B sur la réalisation de A est nulle.

9
Indépendance conditionnelle (2)
S2 S5 S8

A=Fumeu B=Bronchit C=Dyspnée

r e

S2

C=Fumeu
r S5
S4

A=Cancer B=Bronchite

S6
S5

A=Tuber ou B=Bronchit
cancer e

C=Dyspnée

S8

10
10
Circulation de l’information

A B C Connexion convergente
A et C causent B

A B C Connexion en série
A cause B, B cause C

A B C Cas symétrique

A B C
Connexion divergente
B cause A et C

11
 Intuition de la classification
bayésienne naïve
• Objectif :
– Associer à un document D (représenté par un vecteur de
mots) la classe Ci qui lui correspond (parmi n catégories
données :
{C1 , C2 ,…., Cn }).

Exemple : soit à classer une page dans l’une des catégorie

suivante : {tourisme, culture, sport, science}

• Mise en œuvre :
– S’appuyer essentiellement sur la formule de Bayes pour
estimer les probabilités suivantes :

P(C1 / D), P(C2 / D),……………, P(Cn / D)

La classe choisie sera celle pour qui la probabilité est maximale
12
Question ?
Comment calculer pour
un document les
probabilités précédentes ?

13
Réponse :
Mais bien sûr : apprendre
à partir d’exemples que je
connais déjà !

14
Fondements de la classification
bayésienne :

a)Phase
d’apprentissage
b) Phase de test
15
 Phase d’apprentissage
• Hypothèses & Notations :
– L’ensemble C des classes de classification :

– Un modèle paramétrique théorique M() noté M permettant de

générer, à partir d’un vocabulaire V, des documents conformes
aux classes précédentes.

– Le modèle M associe à chaque document di un certain format vi

appelé vecteur caractéristique.

16
 Phase d’apprentissage
C1 C2 Ci

……

……

Ci+1 Ci+2 C|C| Classifieur bayésien

Input output
ensemble de documents estimations
17
étiquetés
 Phase de test

< Ci >

d
Classifieur bayésien

nouveau
document

Input output
- estimations label pour le
- document sans label document18
 Phase de test
– Soit di un document dont vi est le vecteur caractéristique associé
par le modèle M :

– Hypothèse naïve du classifieur :

Indépendance d’occurrence des mots d’un document :

– Après simplification :

19
 Phase de test

– La classification :
Choisir la classe la plus probable pour générer un tel document

20
 L’incertain dans le domaine médical

• Le diagnostic = identification d’une maladie par ses symptômes

• La décision médicale est toujours associée à un degré d’incertitude qui est inhérent
au domaine de la biologie et de l’humain, ceci est du à la difficulté et l’impossibilité
de :
➢ De recueillir certaines données physiopathologiques
➢ Et de faire des mesures et examens sans déroger à la déontologie.
➢ La rareté de certaines ressources
➢ …
Il existe une variabilité d’inter-sujet

Le processus décisionnel de diagnostic est un

Processus sous incertitude
21
Exemple d’un réseau bayésien dans le domaine
médical
Visite Fumeur

Tuberculose Cancer Bronchite

Tuber .ou cancer

Radiologie Dyspnée

22
Description générale d’un problème médical

Examen Examen Imagerie

clinique et Biologique médicale Diagnostic
données
interrogatoires

23
 Algorithmes d’inférences

• JLO (Junction Tree)

• PEARL (message Passing)
• EM(Expectation Maximisation)
• ….

24
Modélisation d’un problème médical par un réseau Bayésien

Niveau Clinique ……….

Niveau Biologique ……….

Attributs de
………. l’image
Echographique
Niveau Imagerie du foie
Médicale
………. Attributs de
l’image
Scanographique
du foie

Niveau Diagnostic
……….
et Thérapie

25
Exemple de réseau Bayésien avec deux
maladies du foie
Découverte Ictère Hépatomégalie
Fortuite 3 2 1

Sérologie
AgHg 4 Bilirubine 5 Hydatique
6

Taille du foie 7 Homogénéité 8

Taille de
lésion 9 Densité 10

Cystadéno 11 Kyste hépatique 12

26
Exemple de réseau Bayésien avec deux maladies du foie
Description d’un cas
Partie Clinique:
Douleur=1
Ictère=0
Tabac=1
Partie Biologique:
………
Imagerie médicale
Attributs de l’image échographique:
Taille=..
Homogéniété=..
Attributs de l’image scanographique:
Taille=..
Densité=..
Angle Aigu=..
………
Solution (diagnostic-Thérapie):
Cirrhose-Fonction Biopsie du foie

27
 1. Inférence : Algorithme JLO
Relier les parents entre
Jensen
eux et en éliminant les Lauritzen et Olsen Ajout1990
sélectif des arcs au
directions. graphe moral pour formé un
1. EtapeJLO
de construction
est obtenu à partir
graphe triangulé.
du graphe triangulé en
connectant les cliques Moralisation
de telle façon que
toutes les cliques sur le
chemin entre deux Triangularisation
cliques X et Y
contiennent X ∩ Y.
Arbre de jonction

2. Calculs des fonctions potentiels associées à l’arbre de Jonction

3. Etape de propagation

la recherche de probabilités se réalise dans l’arbre de Jonction

22
28
 3 2 1 3 2 1 3 2 1

4 5 6 4 5 6 4 5 6

7 8 7 8 7 8

9 10 9 10 9 10

11 12 11 12 11 12

(a)Réseau Bayésien (b)Moralisation ( c)Triangulation

1,2,6 2,6,5 2,5,3 3,5,4 4,5,7 5,7,8 5,8,6

7,8,9

8,9,10

9,10,11

10,12

(d)Arbre de Jonction

Exemple de construction d’un arbre de Jonction à partir d’un réseau

bayésien de deux maladies du foie 29
Algorithme JLO : Discussion

l’algorithme JLO permet :

➢ construire un graphe (sans boucle) plus efficace

➢ plus rapide

➢ réduire la complexité en temps et en espace mémoire

30
 1. Inférence : Algorithme EM
Expectation Maximisation par Dempster 1977

Le principe de l’algorithme EM :

Traiter des bases d’exemples incomplètes

Éviter d’ajouter une nouvelle modalité (variableEstimation des à chaque nœud

non mesurée)
variables manquantes

Etape E Utilisation des variables

connues estimées pour
estimer de nouveaux
paramètres jusqu’à
Etape M convergence.

Les étapes de l’algorithme EM

31
 Algorithme EM : Exemple

Iteration 1 Iteration 2

32
 Algorithme EM : Exemple
Iteration 3 Iteration 4

Iteration 5 Iteration 6

33
 Algorithme EM : Discussion

l’arbre de JLO est incapable de donner une

classification en cas de présence des valeurs
manquantes

Evite d’enrichir la base de cas par des

informations non mesurée (non pertinentes)

Afin d’améliorer les performances de notre système

34
 2. Recherche

➢ Elle consiste à déterminer le diagnostic associé à ce

nouveau cas en se basant sur les probabilités (obtenus par
l’arbre de Jonction) comme des mesures de similarité.

➢ A partir des observations ei, on cherche :

arg Max (P(C=ci | e))

C : est une variable aléatoire qui peut

prendre plusieurs valeurs correspondant à
des ensembles de cliques ci.

35
 Recherche
Nouveau cas Un calcul de similarité
Cas similaire
Obsevations e

La clique la plus probable

arg Max (P(C=ci | e))

C : est un nœud de l’arbre de Jonction (Clique)

e : nouveau cas

36
 4. Mémorisation

Pour chaque clique contenant la variable v

recevant l’évidence, la fonction potentiel de la
clique ØC de la clique est multipliée par l’évidence.

Nouveau cas
Ictère (1) 1,7, Fct1=Fct1 * P(1)
8
Biliribune (2)
Fct2=Fct2 * P(2)*P(3)
Sérologie hédatique (3) 2,3,4
Douleur (4)
2,5, Fct3=Fct3 * P(2)
…..
6

37
 Résultats Expérimentaux

➢ Test sur une base de 5 cas

➢ Sous Builder C++ version 6.0
➢ Réseau de 21 nœuds :
16 nœuds = représentant les signes de trois niveaux

(clinique, biologique, imagerie médicale)

5 nœuds = représentant le niveau diagnostic et

thérapie.

38
Réseau Bayésien modélisant une de base de cas de 5 cas

Découver Ictèr
e HP Douleu Alcoo Hépatite
te
M r l vivale
Fortuite

AgHg Phosphatèse Bilirubine Sérologi Héper-

e globulaire

Taille du foie homogénéi Athrophie

té

Taille de lésion Densit

é

HN Amylose Cystadér Cirrhos

Kyste
F o e
hépatique

39
Construction de l’arbre de jonction JLO

40
Construction de l’arbre de jonction JLO :
1. Etape de moralisation

41
Construction de l’arbre de jonction JLO :
2. Etape de triangulation

42
Construction de l’arbre de jonction JLO :
3. Arbre de Jonction

43
Classification du nouveau cas 1/2

44
Classification du nouveau cas 2/2

45
Détection d’un nouveau cas

46
Possibilité d’ajouter un nouveau nœud au
réseau initial

47
 La Message
Algorithme de propagation: « Pearl »
probabilité venant de
de X Z à son fils
1) Calcul de la probabilité actuelle sachant X
ses parents
P (X=x) = π (X= x)= ∑z P (X= x\ Z= z) πx (Z= z)

2) Construction de liste des fils

3) Diffuser un message π contenant la probabilité calculée à

tous les fils

4) Les fils recalculent ses nouvelles probabilités à la

lumière de message reçu

48
 Activation du réseau Calcul de π (C)
Calcul de π (A) Calcul de π (B)

A B C

D E F G
E F G
D recalcul
recalcul recalcule
recalcul e sa
e sa sa
e sa probabil
probabil probabili
probabil ité
ité té
ité
49
Algorithme de Pearl

Le modèle graphique est simple classé comme un polyarbres

avec plusieurs racine.
Raisonnement avec données complètes d’où le principe de
l’inférence exacte de Pearl.
Algorithme de Pearl est un algorithme exact qui permet de
parcourir touts l’espace de recherche de notre graphe.
La simplicité du calcul de la loi marginale d’une variable ou de sa
loi conditionnelle relativement à un ensemble d’observations.

50
Exemple d’application d’un réseau
bayésien Naif (1/5)

51
Exemple d’application d’un réseau
bayésien Naif (2/5)

52
Exemple d’application d’un réseau
bayésien Naif (3/5)

53
Exemple d’application d’un réseau
bayésien Naif (4/5)

54
Exemple d’application d’un réseau
bayésien Naif (5/5)

55
Conclusion

+ méthode très répandue

+ facile à implanter

+ facilite la recherche

+ simplifie la mise à jour

+ utilise un certain nombre d'avantages des réseaux bayésiens :

estimation des données incomplètes.

56
Exercices (TD)

57