|
4 | 4 | "cell_type": "markdown", |
5 | 5 | "metadata": {}, |
6 | 6 | "source": [ |
7 | | - "# Leçon 2.2 Les querelles de données programmatiques avec Python et Pandas\n", |
| 7 | + "# Leçon 2.2 La préparation de données par programmation avec Python et Pandas\n", |
8 | 8 | "\n", |
9 | 9 | "<div class=\"alert alert-block alert-warning\">\n", |
10 | 10 | " <b>A la fin de la formation, vous pourrez:</b>\n", |
|
19 | 19 | "cell_type": "markdown", |
20 | 20 | "metadata": {}, |
21 | 21 | "source": [ |
22 | | - "## 2.2.1 Enquêter et manipuler les données avec les pandas\n", |
| 22 | + "## 2.2.1 Explorer et manipuler les données avec Pandas\n", |
23 | 23 | "\n", |
24 | | - "Ce serait bien si vous pouviez importer des données désordonnées et avoir un programme qui les restructure automatiquement pour vous dans le schéma de métadonnées que vous avez choisi. Il n'existe actuellement aucun mécanisme pour ce faire, et les querelles de programme sur les données ne réduisent la complexité du processus que de façon limitée. Ce qu'il fait, c'est réduire les tâches répétitives, comme le copier-coller, et limiter massivement le risque d'introduire des erreurs liées à la copie.\n", |
| 24 | + "Ce serait bien si vous pouviez importer des données désordonnées et avoir un programme qui les restructure automatiquement pour vous dans le schéma de métadonnées que vous avez choisi. Il n'existe actuellement aucun mécanisme pour faire cela, et les préparations de données par programmation ne réduisent la complexité du processus que de façon limitée. Ca apporte seulement de réduire les tâches répétitives, comme le copier-coller, et limiter de façon important le risque d'introduire des erreurs liées à la copie.\n", |
25 | 25 | "\n", |
26 | 26 | "### Configurer votre environnement de développement et installer des paquets tiers\n", |
27 | 27 | "\n", |
28 | | - "Python est un langage de programmation. Au cœur de ce langage se trouvent les fonctions et les définitions que vous avez apprises dans la leçon 1.2.1. Cependant, Python est aussi une communauté de développeurs passionnés - tout comme vous - qui apportent chacun au langage de programmation leur intérêt particulier. Il peut s'agir de résoudre des mathématiques complexes, ou de dessiner des graphiques et des visualisations saisissantes, de créer des jeux informatiques, ou même de travailler avec des données structurées. Ce faisant, ils créent de nouvelles fonctions qu'ils peuvent regrouper sous forme de bibliothèques pour les mettre à la disposition des autres. La communauté Pyton a produit des dizaines de milliers de ces paquets, et nous allons en installer certains maintenant.\n", |
| 28 | + "Python est un langage de programmation. Au cœur de ce langage se trouvent les fonctions et les définitions que vous avez apprises dans la leçon 1.2.1. Cependant, Python est aussi une communauté de développeurs passionnés - tout comme vous - qui apportent chacun au langage de programmation leur intérêt particulier. Il peut s'agir de résoudre des mathématiques complexes, ou de dessiner des graphiques et des visualisations saisissantes, de créer des jeux informatiques, ou même de travailler avec des données structurées. Ce faisant, ils créent de nouvelles fonctions qu'ils peuvent regrouper sous forme de bibliothèques pour les mettre à la disposition des autres. La communauté Python a produit des dizaines de milliers de ces paquets, et nous allons en installer certains maintenant.\n", |
29 | 29 | "\n", |
30 | | - "Si vous ne l'avez pas encore fait, lancez votre Anaconda Navigator : \n", |
| 30 | + "Si vous ne l'avez pas encore fait, lancez votre navigateur Anaconda : \n", |
31 | 31 | "\n", |
32 | 32 | "\n", |
33 | 33 | "\n", |
|
39 | 39 | "\n", |
40 | 40 | "![Jupyter environments](images/jupyter-environments.JPG \"Jupyter environments\")\n", |
41 | 41 | "\n", |
42 | | - "Donnez à votre environnement le nom que vous voulez, mais vous pouvez l'appeler `datascience` pour qu'il soit facile à trouver. Maintenant, vous devez installer les paquets dont nous avons besoin pendant ce cours. Il y a deux façons de le faire, l'une pour les paquets que Conda connaît déjà, et l'autre à partir du terminal du système d'exploitation. Nous allons maintenant faire la seconde qui nous permettra d'installer tout ce dont nous avons besoin.\n", |
| 42 | + "Donnez à votre environnement le nom que vous voulez, mais vous pouvez l'appeler `datascience` pour qu'il soit facile à trouver. Maintenant, vous devez installer les paquets dont nous avons besoin pendant ce cours. Il y a deux façons de le faire, l'une pour les paquets que Conda connaît déjà, et l'autre à partir du terminal du système d'exploitation. Nous allons maintenant appliquer la seconde méthode qui nous permettra d'installer tout ce dont nous avons besoin.\n", |
43 | 43 | "\n", |
44 | 44 | "Faites un clic gauche sur la \"flèche\" à côté de `datascience` et choisissez `Open Terminal`. Assurez-vous que vous cliquez sur le bon environnement ; pas sur `base` ou`root`, mais sur le nom de l'environnement que vous venez de créer : \n", |
45 | 45 | "\n", |
|
106 | 106 | " <br>\n", |
107 | 107 | " <ul>\n", |
108 | 108 | " <li>Après avoir importé un module, <code>dir(module)</code> vous permet de voir une liste de toutes les fonctions implémentées dans cette bibliothèque.</li>\n", |
109 | | - " <li>Vous pouvez également lire l'aide des chaînes de documentation du module avec <code>help(module)</code></li>\n", |
| 109 | + " <li>Vous pouvez également lire l'aide du module avec <code>help(module)</code></li>\n", |
110 | 110 | " </ul>\n", |
111 | 111 | "</div>" |
112 | 112 | ] |
|
225 | 225 | "cell_type": "markdown", |
226 | 226 | "metadata": {}, |
227 | 227 | "source": [ |
228 | | - "Nous `import` un module et pouvons le renommer en utilisant le terme `as` :\n", |
| 228 | + "Nous importons un module avec `import` et pouvons le renommer en utilisant le terme `as` :\n", |
229 | 229 | "\n", |
230 | 230 | " import pandas as pd\n", |
231 | 231 | " import numpy as np\n", |
232 | 232 | " \n", |
233 | | - "Il n'y a rien de spécial avec `pd` ou `np`, c'est juste une convention, mais nous utiliserons ___beaucoup___ ces modules, donc raccourcir les pandas en pd et numpy en np rend la frappe légèrement plus facile. Nous allons maintenant importer le même fichier Excel que nous avons utilisé dans la leçon 1.1 et faire exactement le même tutoriel qu'auparavant, mais cette fois-ci en utilisant des `pandas` et des `numpy`.\n", |
| 233 | + "Il n'y a rien de spécial avec `pd` ou `np`, c'est juste une convention, mais nous utiliserons ___beaucoup___ ces modules, donc raccourcir les pandas en pd et numpy en np rend la frappe légèrement plus facile. Nous allons maintenant importer le même fichier Excel que nous avons utilisé dans la leçon 1.1 et faire exactement le même tutoriel qu'auparavant, mais cette fois-ci en utilisant `pandas` et `numpy`.\n", |
234 | 234 | "\n", |
235 | | - "Nous commençons par importer le fichier Excel. Dans les pandas, une feuille de calcul est appelée `dataframe`, ou `df` en abrégé." |
| 235 | + "Nous commençons par importer le fichier Excel. Dans pandas, une feuille de calcul est appelée `dataframe`, ou `df` en abrégé." |
236 | 236 | ] |
237 | 237 | }, |
238 | 238 | { |
|
459 | 459 | "# read_excel est une fonction de pandas qui vous ouvrira un fichier Excel\n", |
460 | 460 | "# la \"source\" peut être n'importe où, soit dans un fichier local, soit dans une ressource en ligne distante\n", |
461 | 461 | "df = pd.read_excel(source)\n", |
462 | | - "# la tête imprimera les x premières lignes de la trame de données pour que nous puissions voir à quoi elle ressemble\n", |
| 462 | + "# head imprimera les x premières lignes du fichier de données pour que nous puissions voir à quoi il ressemble\n", |
463 | 463 | "df.head(5) " |
464 | 464 | ] |
465 | 465 | }, |
466 | 466 | { |
467 | 467 | "cell_type": "markdown", |
468 | 468 | "metadata": {}, |
469 | 469 | "source": [ |
470 | | - "Eh bien, c'est un problème, mais alors - si vous vous souvenez du tutoriel original - la ligne d'en-tête n'est pas dans la première rangée, elle est en fait dans la troisième. Réimportons notre fichier et assurons-nous d'ignorer les deux premières rangées :" |
| 470 | + "C'est un problème! mais si vous vous souvenez du tutoriel de la première leçon - la ligne d'en-tête n'est pas dans la première rangée, elle est en fait dans la quatrième. Réimportons notre fichier et assurons-nous d'ignorer les trois premières rangées :" |
471 | 471 | ] |
472 | 472 | }, |
473 | 473 | { |
|
691 | 691 | "cell_type": "markdown", |
692 | 692 | "metadata": {}, |
693 | 693 | "source": [ |
694 | | - "Vous remarquez le `NaN` dans la colonne `2019` ? Le `NaN` est l'abréviation de `Not-a-Number`, et c'est la façon dont les pandas (et `numpy`, le logiciel sur lequel ils fonctionnent) gardent la trace de nombres indéfinis. Dans ce cas, cela signifie qu'il n'y a pas de chiffres disponibles pour certains pays pour cette année-là. Les pandas essaieront de deviner le format des colonnes pour vous, mais il arrive qu'ils se trompent. Vérifions et voyons ce qu'il en pense :" |
| 694 | + "Vous remarquez la valeur `NaN` dans la colonne `2019` ? `NaN` est l'abréviation de `Not-a-Number`, et c'est la façon dont pandas (et `numpy`, le logiciel sur lequel il fonctionne) garde la trace de nombres indéfinis. Dans ce cas, cela signifie qu'il n'y a pas de chiffres disponibles pour certains pays pour cette année-là. Pandas essaiera de deviner le format des colonnes pour vous, mais il arrive qu'il se trompe. Vérifions et voyons ce qu'il en pense :" |
695 | 695 | ] |
696 | 696 | }, |
697 | 697 | { |
|
785 | 785 | "cell_type": "markdown", |
786 | 786 | "metadata": {}, |
787 | 787 | "source": [ |
788 | | - "`dtypes` nous indiquent les types de données pour chacune des colonnes. `object` est toute sorte de `string` ou de type de données qui ne correspond pas aux types de données numériques, catégorielles ou de date. `float64` signifie que ces valeurs sont considérées comme des nombres à virgule flottante de 64 bits.\n", |
| 788 | + "`dtypes` nous indiquent les types de données pour chacune des colonnes. `object` est n'importe quelle sorte de `string` ou de type de données qui ne correspondend pas aux types de données numériques, de catégories (on verra ca plus tard) ou de date. `float64` signifie que ces valeurs sont considérées comme des nombres à virgule flottante de 64 bits.\n", |
789 | 789 | "\n", |
790 | 790 | "<div class=\"alert alert-block alert-warning\">\n", |
791 | 791 | " <p>À partir de maintenant, je ne ferai référence à la documentation que pour chaque nouvelle fonction que j'introduirai sous forme de commentaire dans le code, avec un lien vers une ressource en ligne où vous pourrez trouver des informations supplémentaires. C'est une habitude de codage utile à prendre car vous pouvez parfois oublier exactement comment vous avez découvert cette solution ou cette référence.</p>\n", |
792 | 792 | " <p>Par exemple, <code># https://stackoverflow.com/a/51794989</code> est une référence à <a href=\"https://stackoverflow.com\">Stackoverflow</a> - un site de questions et réponses très populaire parmi les développeurs. Si vous visitez ce lien, vous obtiendrez une foule d'informations sur la ligne de code, ou la solution technique, qui suit. Certaines références, par exemple <code># Référence pour np.where https://docs.scipy.org/doc/numpy/reference/generated/numpy.where.html</code>, vous mèneront à la documentation du paquet.</p>\n", |
793 | | - " <p>Prendre l'habitude de lire des documents de référence. Le développement de logiciels exige de la patience et vous serez toujours en train de chercher. Faire vos propres recherches fait de vous un bon codeur.</p>\n", |
| 793 | + " <p>Prendre l'habitude de lire des documents de référence. Le développement de logiciels exige de la patience et vous serez toujours en train de chercher. Faire vos propres recherches fait de vous un bon développeur.</p>\n", |
794 | 794 | "</div>\n", |
795 | 795 | "\n", |
796 | 796 | "La liste complète des colonnes peut être consultée sous forme de liste :" |
|
828 | 828 | "cell_type": "markdown", |
829 | 829 | "metadata": {}, |
830 | 830 | "source": [ |
831 | | - "Le fichier est actuellement au format `large` et nous préférerions qu'il soit `long`, avec toutes les années qui s'écoulent le long de la trame de données. Pour ce faire, nous devons `pivot` notre cadre de données et créer une nouvelle colonne `année`. Pandas dispose d'une fonction appelée `melt` pour ce faire, mais nous devons d'abord obtenir les colonnes que nous voulons utiliser :" |
| 831 | + "Le fichier est actuellement au format `large` et nous préférerions qu'il soit `long`, avec toutes les années qui s'écoulent le long de la trame de données. Pour ce faire, nous devons faire 'pivoter (instruction `pivot`) notre cadre de données et créer une nouvelle colonne `année`. Pandas dispose d'une fonction appelée `melt` pour ce faire, mais nous devons d'abord obtenir les colonnes que nous voulons utiliser :" |
832 | 832 | ] |
833 | 833 | }, |
834 | 834 | { |
|
990 | 990 | "cell_type": "markdown", |
991 | 991 | "metadata": {}, |
992 | 992 | "source": [ |
993 | | - "Pandas peuvent faire bien plus que simplement déplacer des données. Vous pouvez aussi filtrer, trier et dessiner des graphiques :" |
| 993 | + "Pandas peux faire bien plus que simplement déplacer des données. Vous pouvez aussi filtrer, trier et dessiner des graphiques :" |
994 | 994 | ] |
995 | 995 | }, |
996 | 996 | { |
|
1022 | 1022 | } |
1023 | 1023 | ], |
1024 | 1024 | "source": [ |
1025 | | - "# importer la bibliothèque de graphiques dont nous avons besoin et la mettre en ligne avec le carnet\n", |
| 1025 | + "# importer la bibliothèque de graphiques dont nous avons besoin et la mettre en ligne avec le carnet (similaire a import mais spécifique a jupyter notebook pour que les graphiques soient affichés dans le notebook)\n", |
1026 | 1026 | "%matplotlib inline\n", |
1027 | 1027 | "# D'abord, triez par année pour vous assurer que tout est en ordre\n", |
1028 | 1028 | "# https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.sort_values.html\n", |
|
1039 | 1039 | "source": [ |
1040 | 1040 | "## 2.2.2 Tutoriel - nettoyage de données complexes\n", |
1041 | 1041 | "\n", |
1042 | | - "La feuille de calcul sur laquelle vous avez travaillé dans le premier tutoriel avait des problèmes beaucoup plus complexes que le simple fait d'être large. Elle comporte des cellules fusionnées qui doivent être nettoyées. Bien sûr, vous pouvez le faire manuellement avant de l'importer dans les pandas, mais essayons de le réparer par programme.\n", |
| 1042 | + "La feuille de calcul sur laquelle vous avez travaillé dans le premier tutoriel avait des problèmes beaucoup plus complexes que le simple fait d'être large. Elle comporte des cellules fusionnées qui doivent être nettoyées. Bien sûr, vous pouvez le faire manuellement avant de l'importer dans pandas, mais essayons de le réparer par programme.\n", |
1043 | 1043 | "\n", |
1044 | 1044 | "Tout d'abord, n'oubliez pas que c'est à cela que ça ressemble :\n", |
1045 | 1045 | "\n", |
|
3643 | 3643 | "cell_type": "markdown", |
3644 | 3644 | "metadata": {}, |
3645 | 3645 | "source": [ |
3646 | | - "Nous pouvons faire beaucoup plus pour nettoyer cette feuille de calcul, mais c'est un bon début et cela vous apprend beaucoup sur ce que vous pouvez faire avec les pandas. Lorsque vous aurez terminé, n'oubliez pas de sauvegarder votre cadre de données en tant que `CSV` en utilisant le fichier `.to_csv`, comme vous l'avez fait lors de l'exercice précédent.\n", |
| 3646 | + "Nous pouvons faire beaucoup plus pour nettoyer cette feuille de calcul, mais c'est un bon début et cela vous apprend beaucoup sur ce que vous pouvez faire avec pandas. Lorsque vous aurez terminé, n'oubliez pas de sauvegarder votre feuille de données en tant que `CSV` en utilisant la commande `.to_csv`, comme vous l'avez fait lors de l'exercice précédent.\n", |
3647 | 3647 | "\n", |
3648 | 3648 | "---\n", |
3649 | 3649 | "\n", |
|
0 commit comments