Apprentissage structuré et Deep-Learning / Master AIC
Table of Contents
Les slides et TP sont accessibles via le drive habituel (lien direct). Les TP seront en pytorch.
1 Evaluation
Le cours sera évalué par une présentation d'article et un projet. Vous trouverez les détails ce document partagé. Les dates importantes:
- Choix de l'article par mail avant le 28/11
- Choix du projet par mail avant le 12/12
2 21/11/18: Introduction + Bag of words
2.1 Cours d'intro
Le cours est une intro à l'apprentissage à la modélisation d'objet structuré. L'exemple principale sera des applications aux données textuelles.
2.2 TP : prise en main
Pytorch101 et classification de texte basique.
2.3 Lecture
A Primer on Neural Network Models for Natural Language Processing is "short" introduction. Yoav Goldberg also published a book on this topic.
3 28/11/18: Modèle de séquence - 1
3.1 Cours : ngram et convolution
Le cours introduit le problème de la modélisation de séquence. L'application pour commencer est un modèle de langue, soit un modèle génératif de séquence de symbole discret. Cette première partie présente le modèle ngram dans sa version neuronales.
La dernière partie est une étude de cas sur cet article.
3.2 TP : Convolutional Neural Networks for Sentence Classification
reproduire le modèle cet article sur les données IMDB.
3.3 Lecture
Le grand classique: A Neural Probabilistic Language Model. À lire !
4 05/12/18: Modèle de séquence - 2
4.1 Lectures d'article
Un peu de classification d'image avec :
Remarque: pour les réseaux avec des architecture différentes (récurrents, transformers), la BatchNorm est moins utilisée et la Layer Normalization semble plus adaptée.
4.2 Cours : Réseaux récurrents et LSTM
Pour les LSTMs, la référence reste la thèse d'Alex Graves.
5 12/12/18: Lectures et TP
5.1 Lectures d'article
- Transformer / Attention is all you need
- Deep Pyramidal convolution for text classification
- Xception, un peu d'image pour changer.
En complément, il est important d'avoir bien compris le papier sur les Transformer. Regarder par exemple cette illustration bien faite. Dans ce post, tout n'est pas forcément précis mais cela donne une bonne idée.
5.2 TPs
Reprises des derniers TPs. La correction du TP1 est disponible.
6 09/09/19:
6.1 Lecture d'article
7 16/01/19 : Neural Parsing
Benoit Crabbé
8 30/01/19 :
8.1 Lecture d'article
Les deux papiers sur WaveNet