M1 : Probabilité Statistique et Théorie de l'Information

Lors d'un TP précédent, nous avons implémenté un classifieur Bayésien Naif sur les données MNIST. Deux hypothèses ont alors été faites:

• Conditionnellement à la classe, chaque pixel est indépendant des autres.
• Conditionnellement à la classe, chaque pixel a une densité de probabilité gaussienne.

Considérons la seconde hypothèse ci-dessus et regardons si cette hypothèse est juste. L'idée est de chercher les pixels qui ne seraient pas "Gaussiens".

• Pour la classe 4, sélectionner quelques pixels à grande variance et tracer leur histogramme. Commenter les résultats.
• Faire de même pour les classes 0,1,2 et 3. Commenter les résultats.

Pour améliorer le classifieur, nous allons utiliser une méthode d'estimation de densité de probabilité plus fine pour chaque pixel: au lieu de la considérer comme gaussienne, nous allons donc considérer un mélange de \(K\) gaussiennes. Pour cela, une suggestion est de commencer par une par une classe (par exemple la classe 5):

• Pour une classe, on sélectionne \(N\) pixels à forte variance (par exemple \(N=10\)).
• Ecrire la foncion qui implémente l'algorithme E.M (en partant du TP5 par exemple), afin d'estimer le mélange de \(K\) gaussiennes sur cette sélection de pixels.
• Puis faire cela pour toutes les classes, et intégrer les mélanges de gaussiennes au classifieur Bayésien.
• Evaluer le nouveau classifieur, en faisant varier d'abord $K=2,4,6,…$ puis $N=10,20,50,100,…$.

Dans le TP sur le Bayésien Naif, il y a un exercice sur l'implémentation et l'expérimentation d'un classifieur Bayésien Naif, version Bernoulli, pour les images binarisées. Vous deviez le faire, c'est l'occasion.

• Un problème est que certains pixels sont constants, en général, ou pour une classe donnée. Propoer un implémenter une solution.
• Comparer les performances de votre classifieur avec le Bayésien Naif Gaussien du TP4.
• Pour cela utiliser les données train pour l'apprentissage et le test pour l'évaluation.

Repartons sur les données MNIST qu'il est donc possible de binariser. Dans ce cas chaque pixel peut être considéré comme la réalisation d'une variable aléatoire binaire. Nous allons faire du clustering sur ces données (train) en ignorant dans la phase d'estimation les informations sur les étiquettes. Pour faire du clustering, nous allons utiliser un modèle de mélange de loi de Bernoulli.

L'hypothèse que chaque pixel est indépendant des autres est maintenu. Une image est supposée être engendrée par un mélange de \(K\) distribution de Bernoulli. \[ P(\mathbf{X} = \mathbf{x}) = \sum_{k=1}^K \pi_k P(\mathbf{X} = \mathbf{x} ;\mu_k), \] avec \((\pi_k,\mu_k)\) les paramètres du mélange.

Si on s'interesse à une des composantes \(k\) du mélange, la probabilité d'une image est : \[ P(\mathbf{X} = \mathbf{x} ;\mu_k) = \prod_{i=1}^d \mu_{ki}^{x_i} (1-\mu_{ki})^{1-x_i} \]

Chaque composante du mélange est donc une loi de Bernoulli sur les images et représente un "cluster". L'objectif est d'implémenter l'algorithme E.M pour ce modèle de mélange afin de de faire du clustering sur la base d'image MNIST et d'en regarder les résultat.

• Implémenter les deux fonctions (pour l'étape E et l'étape M), avec \(K\) comme paramètre. Pour cela il est important d'écrire les équations avant. Il faut donc reprendre le cours sur les mélanges de gaussiennes et ré-écrire les équations qui définissent ces 2 étapes.
• Lancer l'algorithme de clustering sur les images et visualiser le résultats pour les valeurs de \(K=5,10,15,20,25\). Pour cela il est possible de représenter l'image qui représente chaque cluster, en considérant le vecteur \(\mu_k\) comme une image.
• Pour les différentes valeurs de \(K\) , comparer les valeurs de la vraisemblance.