Apprentissage structuré et Deep-Learning / Master AIC


Les slides et TP sont accessibles via le drive habituel (lien direct). Les TP seront en pytorch.

1 Evaluation

Le cours sera évalué par une présentation d'article et un projet. Vous trouverez les détails ce document partagé. Les dates importantes:

  • Choix de l'article par mail avant le 28/11
  • Choix du projet par mail avant le 12/12

2 21/11/18: Introduction + Bag of words

2.1 Cours d'intro

Le cours est une intro à l'apprentissage à la modélisation d'objet structuré. L'exemple principale sera des applications aux données textuelles.

2.2 TP : prise en main

Pytorch101 et classification de texte basique.

2.3 Lecture

A Primer on Neural Network Models for Natural Language Processing is "short" introduction. Yoav Goldberg also published a book on this topic.

3 28/11/18: Modèle de séquence - 1

3.1 Cours : ngram et convolution

Le cours introduit le problème de la modélisation de séquence. L'application pour commencer est un modèle de langue, soit un modèle génératif de séquence de symbole discret. Cette première partie présente le modèle ngram dans sa version neuronales.

La dernière partie est une étude de cas sur cet article.

3.2 TP : Convolutional Neural Networks for Sentence Classification

reproduire le modèle cet article sur les données IMDB.

3.3 Lecture

Le grand classique: A Neural Probabilistic Language Model. À lire !

4 05/12/18: Modèle de séquence - 2

4.1 Lectures d'article

Un peu de classification d'image avec :

Remarque: pour les réseaux avec des architecture différentes (récurrents, transformers), la BatchNorm est moins utilisée et la Layer Normalization semble plus adaptée.

4.2 Cours : Réseaux récurrents et LSTM

Pour les LSTMs, la référence reste la thèse d'Alex Graves.

5 12/12/18: Lectures et TP

5.1 Lectures d'article

En complément, il est important d'avoir bien compris le papier sur les Transformer. Regarder par exemple cette illustration bien faite. Dans ce post, tout n'est pas forcément précis mais cela donne une bonne idée.

5.2 TPs

Reprises des derniers TPs. La correction du TP1 est disponible.

7 16/01/19 : Neural Parsing

Benoit Crabbé

8 30/01/19 :

8.1 Lecture d'article

Les deux papiers sur WaveNet