Algorithmes d’apprentissage et intelligence
artificielle
Yoshua Bengio
3 septembre 2008
Yoshua Bengio
Intelligence Naturelle
S’adapter à de nouvelles situations pour survivre / se
reproduire.
Nécessite l’acquisition de schémas comportementaux variés
(évolution + individu)
Permettent de généraliser à de nouvelles situations
Yoshua Bengio
Intelligence Artificielle
Plus d’un demi-siècle de recherches, et le but semble encore
très loin
Pourquoi ?
Trop pressés d’obtenir des résultats, plutôt que de
comprendre ?
Yoshua Bengio
Où prendre les connaissances ?
L’IA doit capter un grand nombre de connaissances
sur notre monde.
L’approche explicite-symbolique :
Cyc = collection de règles et faits écrits par des humains
Titanesque Incohérent/Incomplet Pas robuste
Yoshua Bengio
A pprendre les connaissances ?
Animaux et humains : connaissances innées et acquises.
Apprennent des tâches non prévues par l’évolution.
Plusieurs méthodes statistiques = apprentissage
Apprentissage statistique maintenant dans la plupart des
applications de l’IA : vision, reconnaissance de la parole,
traduction, moteurs de recherche, robotique, bio-informatique,
chemo-informatique, intelligence d’affaires...
Pari de l’existence de stratégies/principes assez généraux.
Yoshua Bengio
Apprentissage supervisé
Yoshua Bengio
Apprentissage supervisé
réponse correction du
professeur
apprenant
entrée
Yoshua Bengio
Apprentissage supervisé
La forme la plus simple d’apprentissage
Ensemble d’apprentissage : paires (x =entrée, y =sortie désirée)
Tirées d’un processus inconnu P
Critère d’erreur (y ,prédiction)
On cherche une fonction f qui minimise E [erreur (y , f (x))] sous P
* * = example (x,y)
*
y * vraie fonction: inconnue!
*
*
*
*
* *
* *
* * fonction apprise: prediction = f(x)
Yoshua Bengio
Apprentissage non-supervisé
Découvrir des catégories et autres facteurs naturels
Yoshua Bengio
Apprentissage non-supervisé
La plupart des exemples disponibles aux humains et aux
machines ne sont pas sémantiquement étiquetés
Objectif : capter les régularités statistiques dominantes
= découvrir où la vraie densité se concentre
Yoshua Bengio
Apprentissage dans le cerveau
1011 neurones et 1014 synapses (connexions)
Apprentissage = modification / destruction / création de
synapses
Le cortex est la partie la plus grande et la plus moderne
Fraction significative des neurones actifs à la fois
Apprentissage au fur et à mesure (“online”)
Yoshua Bengio
Système visuel des primates
Système visuel : séquence de transformations/niveaux d’abstraction
Yoshua Bengio
Apprentissage dans le cerveau
Sortie du neurone = train d’impulsions (∼ 1 par 5ms à 100ms )
avec aléas apparents
Neurone accumule signaux d’autres neurones (1000 en moy.)
Fréquences in/out : non-linéarité monotone bornée du neurone
L’effet dominant apprentissage : STDP (à la Hebb)
Yoshua Bengio
Généraliser
Voici un exemple de la lettre Zuf en Klingon :
Voici d’autres exemples :
Lesquels parmi ces caractères Klingons sont des Zuf ?
Pas de réponse universelle ⇒ problème mal posé !
Yoshua Bengio
Généraliser 6= Apprendre par cœur
Facile pour l’ordi d’apprendre par cœur
Pas pour nous !
⇒ Mais nous, nous
généralisons naturellement !
Yoshua Bengio
Compresser pour généraliser
Extraire l’essence des observations ⇒ généraliser
Principe du Rasoir d’Occam
Résultats de Kolmogorov/Solomonoff 1964
Résultats de Vapnik 1972
minf n1 ni=1 erreur (xi , f (xi )) 6=
P
minf E [erreur (xi , f (xi ))]
Yoshua Bengio
Généraliser en 1D
C’est facile si la fonction n’a pas beaucoup de variations.
Yoshua Bengio
Généraliser localement
Ça fonctionne bien avec la bonne représentation : où la notion de
voisinage fonctionne.
Yoshua Bengio
Situations où généraliser localement échoue
Apprentissage :
Test :
Distance euclidienne pixel à pixel inappropriée
Klingons utilisent un espace de représentation plus abstrait
Yoshua Bengio
