École d’été francophone en apprentissage profond
avec IVADO et le MILA

Matériel complémentaire

Lundi	Mardi	Mercredi	Jeudi	Vendredi
Introduction à l’intelligence artificielle Myriam Côté, MILA/IVADO	Entraînement de réseaux: la rétropropagation Yoshua Bengio, DIRO/MILA/IVADO	Conseils pratiques : entraînements des réseaux Yoshua Bengio, DIRO/MILA/IVADO	Réseaux récurrents I César Laurent, MILA	Modèles génératifs Mathieu Germain, MILA/IVADO
Apprentissage automatique I Alain Tapp, DIRO/MILA	Introduction à l’optimisation continue Nicolas Le Roux, Google	Réseaux à convolution I Alexei Nordell-Markovits, Element AI	Réseaux récurrents II César Laurent, MILA	Conseil pratiques : entraînement et mise en œuvre informatique Guillaume Alain, MILA
Apprentissage automatique II Alain Tapp DIRO/MILA	Réseaux multicouches Yoshua Bengio DIRO/MILA/IVADO	Réseaux à convolution II : architecture et conseils Alexei Nordell-Markovits, Element AI	Réseaux pour le langage Gaétan Marceau Caron, MILA/IVADO	Modèles pour le langage : entraînement Gaétan Marceau Caron, MILA/IVADO
En pratique : mégadonnées Caroline Pernelle, IVADO	En pratique : bibliothèques Gaétan Marceau Caron, MILA/IVADO	En pratique : domaine médical Margaux Luck, MILA/IVADO & Tristan Sylvain, MILA	En pratique : start-ups Imagia, Keatext, Fluent.ai, Lyrebird	Session ouverte de questions-réponses
Cas d’utilisation Tristan Sylvain MILA	Cas d’utilisation Tristan Sylvain MILA	Cas d’utilisation Tristan Sylvain MILA	Cas d’utilisation Tristan Sylvain MILA

 

Lundi

Introduction à l’intelligence artificielle, Myriam Côté (MILA / IVADO)

• Vidéo
• Présentation (PDF)
  • Vidéo
    • Émission Découverte: la Révolution de l’IA

 

Apprentissage automatique I & II, Alain Tapp (DIRO/MILA)

• Vidéo: Partie 1, Partie 2
• Présentation (PDF)

 

En pratique : Mégadonnées, Caroline Pernelle (IVADO)

• Présentation (PDF)
  • Ressources en ligne
    • What is Big Data?, David Wellman.
    • Deep Learning, Andrew Ng (Stanford).
    • The Technologies Reshaping Life and Livelihood, Getting Smart.
    • Breakthrough Big Data and Deep Learning in Today’s Oil Industry: Interview with Kamal Hami-Eddine, Susan Nash.
    • Using Machine Learning for Insurance Pricing Optimization, Gaz Sato (Google Cloud).

 

Mardi

Entraînement de réseaux: la rétropropagation, Yoshua Bengio (DIRO/MILA/IVADO)

• Vidéo
• Présentation (PDF)

 

Introduction à l’optimisation continue, Nicolas Le Roux, Google

• Vidéo
• Présentation (PDF)

 

Réseaux multicouches, Yoshua Bengio (DIRO/MILA/IVADO)

• Vidéo
• Présentation (PDF)

 

En pratique : bibliothèques, Gaétan Marceau Caron (MILA/IVADO)

• Vidéo
• Présentation (PDF)
  • Front-End
    • Lasagne (Github)
  • Bibliothèques d’Apprentissage Profond
    • Theano, Université de Montréal (Tutoriel, Github)
    • Tensorflow, Google
    • Pytorch, Facebook
    • Caffe2, Facebook
    • Microsoft Cognitive Toolkit (CNTK), Microsoft
    • MXNet
  • Visualisation
    • d3viz
    • MatplotLib
    • TensorBoard

 

Mercredi

Conseils pratiques : entraînements des réseaux, Yoshua Bengio (DIRO/MILA/IVADO)

• Vidéo
• Présentation (PDF)

 

Réseaux à convolution I, Alexei Nordell-Markovits (Element AI)

• Vidéo
• Présentation (PDF)
  • Ressources en ligne
    • ConvNetJS: Deep Learning in your Browser
    • An Interactive Node-Link Visualization of Convolutional Neural Networks
    • Padding: conv_arithmetic (Github)
    • Partage des poids: convolutional-networks (Github)
  • En apprendre plus
    • CS231N – Standford CNN class
    • Tensorflow without a PhD part 1
    • Cola’s Blog – Understanding convolution
    • A Beginner’s Guide To Understanding Convolutional Neural Networks, Adit Deshpande
    • Intuitive Explanation of Convolutional Neural Networks, The Data Science Blog

 

Réseaux à convolution II, Alexei Nordell-Markovits (Element AI)

• Présentation (PDF)
  • Ressources en ligne
    • ImageNet
    • 2012: AlexNet
      • The 9 Deep Learning Papers you need to know about, Adit Deshpande
    • 2013: Clarifai/ZG
      • Visualizing and Understanding Convolutional Networks, Matthew D Zeiler, Rob Fergus
    • 2014 – VGG (2e)
      • Caffe Zoo
    • 2015 – Resnet
      • Training and investigating Residual Nets, S. Gross, M. Wilber
      • Resnet (Github)
    • 2016 – Culmage
      • Crafting GBD-Net for Object Detection, Zeng+
    • Vous pensez faire mieux qu’un DNN?
    • Apprentissage par transfert:
      • CADL (Github)
      • How to Retrain Inception’s Final Layer for New Categories
      • Train your own image classifier with Inception in TensorFlow, Google Research Blog
    • Augmentation des données: Is a convolution neural network immune to image resolutions? If so, what makes this possible?
    • TensorFlow and Deep Learning without a PhD
    • Deconvnet:
      • Visualizing and Understanding Convolutional Networks, Matthew D Zeiler, Rob Fergus
      • Deep Visualization Toolbox
    • Segmentation
      • A Brief History of CNNs in Image Segmentation: From R-CNN to Mask R-CNN, Blogue de Dhruv Parthasarathy
    • Détection
      • Fast R-CNN: Object detection with Caffe (PDF), R. Girshik
    • Conseils d’architecture
      • Convolutional Neural Networks (CNNs / ConvNets)
    • Ressources
      • What a Deep Neural Network thinks about your #selfie
      • Text Classification Using a Convolutional Neural Network on MXNet
      • CNN for translation – Torch
      • Deep Visual …. Generating Image Descriptions

 

En pratique : domaine médical, Margaux Luck (MILA/IVADO), Tristan Sylvain (MILA)

• Vidéo
• Présentation (PDF)
  •  Vidéos:
    • Seeing AI 2016 Prototype – A Microsoft research project
    • Count-ception pendant l’entrainement
  • Code
    • U-Net: Convolutional Networks for Biomedical Image Segmentation
    • Count-ception: Counting by Fully Convolutional Redundant Counting (GitHub)
    • Diet Network: Thin Parameters for Fat Genomics (GitHub)

Jeudi

Réseaux récurrents I, César Laurent (MILA)

• Vidéo
• Présentation (PDF)
  • Vidéos
    • Génération de musique: Generating Music with RNN
    • Génération d’écriture manuscrite: Recurrent Neural Network Handwriting Generation Demo
    • Génération de parole: Lyrebird
  • Blogues
    • Christopher Olah, Neural Networks
    • Andrej Karpathy
    • Altoros

 

Réseaux récurrents II, César Laurent (MILA)

• Vidéo
• Présentation (PDF)
  • Vidéo
    • Describing videos by exploiting temporal structure
  • Librairies RNN
    • Tensorflow
    • Torch7
    • Blocks (Theano)
    • Keras

 

Réseaux pour le langage, Gaétan M. Caron (MILA/IVADO)

• Vidéo
• Présentation (PDF)

 

En pratique : start-ups

• Datapreneur (PDF)

 

Vendredi

Modèles génératifs, Mathieu Germain (MILA/IVADO)

• Vidéo
• Présentation (PDF)
  • Ressources en ligne
    • WaveNet: A Generative Model for Raw Audio
    • LyreBird
    • Image to Image Demo (pix2pix)
    • Turning a Horse into a Zebra
    • Freeda Beast – Bringing Things to an End (GAN generated)
    • Sample RNN – Mozart

 

Conseil pratiques : entraînement et mise en œuvre informatique, Guillaume Alain (MILA)

• Vidéo
• Présentation (PDF)

 

Modèles pour le langage : entraînement, Gaétan M. Caron (MILA/IVADO)

• Github
  • Ressources en ligne
    • Le livre en Deep Learning par Ian Goodfellow, Yoshua Bengio et Aaron Courville
    • La bibliothèque de graphe computationnel Theano
    • Les tutoriaux de Theano
    • Le front-end Deep Learning de Theano Lasagne
    • Les recettes de Lasagne
    • Le cours sur les réseaux de convolution de Andrej Karpathy
    • Le cours en ligne de Michael Nielsen
    • Le dernier rapport technique de Theano
    • Le cours de Hugo Larochelle
    • Les articles de recherche du MILA
    • Les tutoriaux de Ian Goodfellow
    • L’algorithme de Fastext et les embeddings
    • Tutoriaux de Christipher Olah
    • Cours Deep Learning de Oxford

 

Cas d’utilisation

• Présentation (PDF)