kurze Gedächtnisstütze:
Naive Bayes-
Klassifikatoren
Dipl.-Inform. Martin Lösch
[Link]@[Link]
(0721) – 608 45944
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Theorem von Bayes
Wahrscheinlichkeit, dass h aus H gültig ist (a priori,
d.h. vor Beobachtung von D).
Wahrscheinlichkeit, dass D als Ereignisdatensatz
auftritt (ohne Wissen über gültige Hypothese).
Wahrscheinlichkeit des Auftretens von D in einer Welt,
in der h gilt.
Wahrscheinlichkeit, dass h wahr ist gegeben die
beobachteten Daten D (a posteriori).
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Bayessche Netze
2
Naiver Bayes (NB)-Klassifikator I
• Gegeben:
– Instanz x: Konjunktion von Attributen
– Endliche Menge von Klassen
– Menge klassifizierter Beispiele
• Gesucht:
– Wahrscheinlichste Klasse für eine neue Instanz
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Bayessche Netze
3
Naiver Bayes-Klassifikator II
• lässt sich leicht aus dem Auftreten der Klasse in
der Trainingsmenge berechnen - einfaches Zählen.
• ist schwerer zu berechnen: Auszählen
aller Kombinationen - dazu ist eine riesige Trainingsmenge
notwendig.
• Vereinfachende Annahme ( bedingt unabhängig):
• Naiver Bayes-Klassifikator:
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Bayessche Netze
4
Beispiel I
Vorhersage Temperatur Luftfeuchtigkeit Wind Tennis?
sonnig heiß hoch schwach nein
sonnig heiß hoch stark nein
bedeckt heiß hoch schwach ja
regnerisch warm hoch schwach ja
regnerisch kalt normal schwach ja
regnerisch kalt normal stark nein
bedeckt kalt normal stark ja
sonnig warm hoch schwach nein
sonnig kalt normal schwach ja
regnerisch warm normal schwach ja
sonnig warm normal stark ja
bedeckt warm hoch stark ja
bedeckt heiß normal schwach ja
regnerisch warm hoch stark nein
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Bayessche Netze
5
Beispiel II
• Neue Instanz:
• Klassifikation:
• Normierte Wahrscheinlichkeit:
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Bayessche Netze
6
Schätzen von Wahrscheinlichkeiten
• Problem: Was, wenn für eine Klasse ein Attribut
einen bestimmten Wert in den Daten gar nicht annimmt?
• Lösung: (m-Schätzer)
• Anzahl der Beispiele mit
• Anzahl der Beispiele mit und
• A priori Wahrscheinlichkeit für
• Gewichtung der „virtuellen Beispiele“ mit a priori
Wahrscheinlichkeit
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Bayessche Netze
7
Zusammenfassung
• Bayes-Methoden ermitteln a posteriori Wahrscheinlichkeiten
für Hypothesen basierend auf angenommenen a priori
Wahrscheinlichkeiten und beobachteten Daten.
• Der Naive Bayes-Klassifikator basiert auf einer Annahme:
bedingte Unabhängigkeit der Attributwerte.
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Bayessche Netze
8
Fragen?
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Literatur
• T. Mitchell: Machine Learning, Kapitel 6. McGraw-Hill, New
York, 1997.
• S. Russel, P. Norvig: Artificial Intelligence: A Modern
Approach. Prenctice Hall, 2nd Edition, 2003.
• C.M. Bishop: Pattern Recognition and Machine Learning.
Springer, 2006.
Dipl.-Inform. Martin Lösch
Labor Wissensbasierte Systeme
Bayessche Netze
10
