Semaine 5

Consignes

Avant mardi 20 à minuit:

TP: fin du mini-projet 1

Les deux semaines précédentes, vous avez appliqué le schéma VI-ME-BA-BAR – [VI]sualisation, [MÉ]trique, Référence ([BA]se), [BAR]res d’erreur – pour la classification de votre propre jeu de données. Vous avez:

  • Fait quelques essais avec un des jeux de données fournis

  • Créé votre propre jeu de données avec 20 images réparties équitablement en deux classes.

  • Déroulé l’analyse de donnée avec des attributs simples (par exemple rougeur et élongation) ainsi qu’un premier classifieur, afin d’obtenir votre référence: sans chercher à optimiser quelle performance de classification obtient-on?

  • Implanté d’autres attributs et déroulé à nouveau l’analyse pour obtenir une meilleure performance.

Objectifs

L’objectif de cette troisième et dernière semaine de mini-projet est de mettre en application le cours de cette semaine en explorant d’autres classifieurs. Vous pouvez au choix:

  • Implanter l’un des classifieurs décrits dans le cours:

    • OneR(*)

    • KNN: k-plus proches voisins (**)

    • KNN: k-plus proches voisins avec arbre KD (****)

    • Arbre de décision (***)

    • Fenêtre de Parzen (**)

    • Centroid algorithm (*)

    • Perceptron (***)

    • Autre méthode de noyau (****)

    • Perceptron multi-couche perceptron (****)

  • Essayer plusieurs autres classifieurs fournis par Scikit-Learn

Rendu

Avant mardi 20 minuit, vous devrez avoir déposé votre version finale du dossier Semaine3 sur GitLab. Pour les binômes, chaque membre devra faire un dépôt séparé, même si les deux soumissions sont identiques.

Le dossier devra contenir une feuille de travail nommée rapport.ipynb. Cette feuille décrira succinctement votre travail:

  • Nom(s), prénom(s) et groupe(s)

  • Quel(s) jeu(x) de données avez vous étudié.

  • Quelle performance de référence avez-vous obtenue, avec quel choix d’attributs et de classifieur?

  • Quels attributs alternatifs avez-vous essayé? Quelle nouvelle performance(s) avez-vous obtenue?

  • Quels classifieur(s) alternatifs avez-vous essayé? Quelle nouvelle performance(s) avez-vous obtenue?

  • Pour chacune des analyses de performance ci-dessus, vous préciserez quel fichier consulter, et où, pour retrouver vos calculs et interprétations.

  • Vos conclusions: quelle méthode est la plus performante? Votre jeu de tests était-il facile ou difficile à classifier? À votre avis, pourquoi?

  • Le cas échéant: comment vous êtes vous réparti le travail dans le binôme

  • Difficultés éventuelles rencontrées, …

Critères d’évaluation indicatifs

  • Rapport (4 points):

    1. Le rapport est présent

    2. La plupart des éléments demandés sont présents

    3. Tous les éléments demandés sont présents et bien décrits

    4. En sus, le lecteur peut facilement retrouver dans Semaine3/ les éléments annoncés par le rapport

  • Bonnes pratiques (7 points):

    • 1 point: les données sont dans un ou des dossiers bien identifiés, les fichiers sont nommées comme demandé (a00, … b00, …).

    • 1 point: analyses et code sont bien séparés, avec le code dans utilities.py

    • 1 point: le code suit les conventions PEP8 telles que vérifiés par flake8

    • 1 point: les analyses s’exécutent de bout en bout sans erreur; lorsque ce n’est pas le cas, le rapport spécifie ce qui est fonctionnel et ce qui ne l’est pas.

    • 1 point: les analyses sont clairement documentées

    • 1 point: les textes sont bien écrits (orthographe, grammaire, …)

    • 1 point: les interprétations sont cohérentes avec les résultats

  • Jeux de données (3 points):

    1. utilisation de l’un des jeux de données fournis

    2. jeu de données personnel

    3. jeu de données personnel particulièrement original et/ou pertinent; ou comparatif entre plusieurs jeux de données

  • Attributs (3 points)

    1. Un attribut alternatif est proposé et étudié

    2. Deux attributs alternatifs sont proposés et étudiés

    3. Des attributs particulièrement originaux ou avancés sont proposés et étudiés

  • Classifieurs (3 points)

    1. Un autre classifieur est proposé et étudié

    2. Deux autres classifieurs sont proposés et étudiés

    3. Des classifieurs particulièrement originaux ou avancés sont proposés et étudiés

Au travail!

  1. Si nécessaire, relisez les instructions pour le téléchargement et le dépôt des TPs, ainsi que les bonnes pratiques.

  2. Si vous ne l’avez pas encore fait, inscrivez votre binôme sur le document partagé, ou cherchez-y un binôme.

  3. Relisez les consignes générales sur le mini-projet données en Semaine 3

  4. Reprenez le mini-projet où vous en étiez dans le dossier Semaine3.

Bon TP!