Python Tutoriel Pandas : DataFrame, plage de dates, utilisation de Pandas
Evelyn Clarke
Qu'est-ce que les Pandas Python?
Pandas est une bibliothèque open source qui vous permet d'effectuer des manipulations et des analyses de données dans Python. Pandas Python La bibliothèque offre la manipulation et les opérations de données pour les tableaux numériques et les séries chronologiques. Pandas fournit un moyen simple de créer, de manipuler et de gérer les données. Elle est construite sur NumPy, ce qui signifie qu'elle a besoin de NumPy pour fonctionner.
Pourquoi utiliser Pandas ?
Les data scientists utilisent Pandas dans Python pour ses avantages suivants :
- Gère facilement les données manquantes
- Il utilise Série pour structure de données unidimensionnelle et DataFrame pour une structure de données multidimensionnelle
- Il fournit un moyen efficace de découper les données
- Il offre un moyen flexible de fusionner, concaténer ou remodeler les données
- Il comprend un puissant outil de séries chronologiques avec lequel travailler
En un mot, Pandas est une bibliothèque utile dans l'analyse des données. Il peut être utilisé pour effectuer des manipulations et des analyses de données. Les Pandas fournissent des structures de données puissantes et faciles à utiliser, ainsi que les moyens d'effectuer rapidement des opérations sur ces structures.
Comment installer Pandas ?
Maintenant dans ce Python Tutoriel Pandas, nous apprendrons comment installer Pandas dans Python.
Pour installer la bibliothèque Pandas, veuillez vous référer à notre tutoriel Comment installer TensorFlow. Pandas est installé par défaut. Dans les cas éloignés, les pandas ne sont pas installés.
Vous pouvez installer Pandas en utilisant :
- Anaconda : conda install -c anaconda pandas
- In Jupyter Carnet de notes :
import sys
!conda install --yes --prefix {sys.prefix} pandas
Qu'est-ce qu'un DataFrame Pandas ?
Cadre de données Pandas est un tableau bidimensionnel avec une structure de données étiquetée ayant différents types de colonnes. Un DataFrame est un moyen standard de stocker des données sous forme de tableau, avec des lignes pour stocker les informations et des colonnes pour nommer les informations. Par exemple, le prix peut être le nom d'une colonne et 2,3,4 peuvent être les valeurs du prix.
Data Frame est bien connu des statisticiens et autres praticiens des données.
Ci-dessous, une image d'un bloc de données Pandas :
Qu'est-ce qu'une série ?
Une série est une structure de données unidimensionnelle. Il peut avoir n’importe quelle structure de données comme un entier, un flottant et une chaîne. C'est utile lorsque vous souhaitez effectuer un calcul ou renvoyer un tableau unidimensionnel. Une série, par définition, ne peut pas avoir plusieurs colonnes. Dans ce dernier cas, veuillez utiliser la structure de trame de données.
Python La série Pandas présente les paramètres suivants :
- Données : peut être une liste, un dictionnaire ou une valeur scalaire
pd.Series([1., 2., 3.])
0 1.0 1 2.0 2 3.0 dtype: float64
Vous pouvez ajouter l'index avec index. Cela aide à nommer les lignes. La longueur doit être égale à la taille de la colonne
pd.Series([1., 2., 3.], index=['a', 'b', 'c'])
Ci-dessous, vous créez une série Pandas avec une valeur manquante pour les troisièmes lignes. Attention, valeurs manquantes dans Python sont notés « NaN ». Vous pouvez utiliser numpy pour créer artificiellement la valeur manquante : np.nan
pd.Series([1,2,np.nan])
Sortie
0 1.0 1 2.0 2 NaN dtype: float64
Créer un DataFrame Pandas
Maintenant, dans ce didacticiel Pandas DataFrame, nous allons apprendre à créer Python Trame de données Pandas :
Vous pouvez convertir un tableau numpy en une trame de données pandas avec pd.Data frame(). L’inverse est également possible. Pour convertir une trame de données pandas en tableau, vous pouvez utiliser np.array()
## Numpy to pandas
import numpy as np
h = [[1,2],[3,4]]
df_h = pd.DataFrame(h)
print('Data Frame:', df_h)
## Pandas to numpy
df_h_n = np.array(df_h)
print('Numpy array:', df_h_n)
Data Frame: 0 1
0 1 2
1 3 4
Numpy array: [[1 2]
[3 4]]
Vous pouvez également utiliser un dictionnaire pour créer une trame de données Pandas.
dic = {'Name': ["John", "Smith"], 'Age': [30, 40]}
pd.DataFrame(data=dic)
| Âge | Nom | |
|---|---|---|
| 0 | 30 | John |
| 1 | 40 | Smith |
Données sur la plage Pandas
Les pandas disposent d'une API pratique pour créer une plage de dates. Apprenons avec Python Exemples de pandas :
pd.data_range(date,période,fréquence) :
- Le premier paramètre est la date de début
- Le deuxième paramètre est le nombre de périodes (facultatif si la date de fin est précisée)
- Le dernier paramètre est la fréquence : jour : 'J', mois : 'M' et année : 'Y'.
## Create date
# Days
dates_d = pd.date_range('20300101', periods=6, freq='D')
print('Day:', dates_d)
Sortie
Day: DatetimeIndex(['2030-01-01', '2030-01-02', '2030-01-03', '2030-01-04', '2030-01-05', '2030-01-06'], dtype='datetime64[ns]', freq='D')
# Months
dates_m = pd.date_range('20300101', periods=6, freq='M')
print('Month:', dates_m)
Sortie
Month: DatetimeIndex(['2030-01-31', '2030-02-28', '2030-03-31', '2030-04-30','2030-05-31', '2030-06-30'], dtype='datetime64[ns]', freq='M')
Inspection des données
Vous pouvez vérifier la tête ou la queue de l'ensemble de données avec head() ou tail() précédé du nom du bloc de données du panda, comme indiqué dans l'exemple Pandas ci-dessous :
Étape 1) Créez une séquence aléatoire avec numpy. La séquence comporte 4 colonnes et 6 lignes
random = np.random.randn(6,4)
Étape 2) Ensuite, vous créez un bloc de données à l'aide de pandas.
Utilisez dates_m comme index pour le bloc de données. Cela signifie que chaque ligne recevra un « nom » ou un index, correspondant à une date.
Enfin, vous donnez un nom aux 4 colonnes avec l'argument colonnes
# Create data with date
df = pd.DataFrame(random,
index=dates_m,
columns=list('ABCD'))
Étape 3) Utilisation de la fonction tête
df.head(3)
| A | B | C | D | |
|---|---|---|---|---|
| 2030-01-31 | 1.139433 | 1.318510 | - 0.181334 | 1.615822 |
| 2030-02-28 | - 0.081995 | - 0.063582 | 0.857751 | - 0.527374 |
| 2030-03-31 | - 0.519179 | 0.080984 | - 1.454334 | 1.314947 |
Étape 4) Utilisation de la fonction tail
df.tail(3)
| A | B | C | D | |
|---|---|---|---|---|
| 2030-04-30 | - 0.685448 | - 0.011736 | 0.622172 | 0.104993 |
| 2030-05-31 | - 0.935888 | - 0.731787 | - 0.558729 | 0.768774 |
| 2030-06-30 | 1.096981 | 0.949180 | - 0.196901 | - 0.471556 |
Étape 5) Une excellente pratique pour avoir une idée des données consiste à utiliser décrire(). Il fournit les décomptes, la moyenne, la norme, le minimum, le maximum et le centile de l'ensemble de données.
df.describe()
| A | B | C | D | |
|---|---|---|---|---|
| compter | 6.000000 | 6.000000 | 6.000000 | 6.000000 |
| signifier | 0.002317 | 0.256928 | - 0.151896 | 0.467601 |
| std | 0.908145 | 0.746939 | 0.834664 | 0.908910 |
| min | - 0.935888 | - 0.731787 | - 1.454334 | - 0.527374 |
| 25 % | - 0.643880 | - 0.050621 | - 0.468272 | - 0.327419 |
| 50 % | - 0.300587 | 0.034624 | - 0.189118 | 0.436883 |
| 75 % | 0.802237 | 0.732131 | 0.421296 | 1.178404 |
| max | 1.139433 | 1.318510 | 0.857751 | 1.615822 |
Données de tranche
Le dernier point de ceci Python Le didacticiel Pandas explique comment découper une trame de données Pandas.
Vous pouvez utiliser le nom de la colonne pour extraire les données d'une colonne particulière, comme indiqué dans l'exemple Pandas ci-dessous :
## Slice ### Using name df['A'] 2030-01-31 -0.168655 2030-02-28 0.689585 2030-03-31 0.767534 2030-04-30 0.557299 2030-05-31 -1.547836 2030-06-30 0.511551 Freq: M, Name: A, dtype: float64
Pour sélectionner plusieurs colonnes, vous devez utiliser deux fois le crochet, [[..,..]]
La première paire de crochets signifie que vous souhaitez sélectionner des colonnes, la deuxième paire de crochets indique les colonnes que vous souhaitez renvoyer.
df[['A', 'B']].
| A | B | |
|---|---|---|
| 2030-01-31 | - 0.168655 | 0.587590 |
| 2030-02-28 | 0.689585 | 0.998266 |
| 2030-03-31 | 0.767534 | - 0.940617 |
| 2030-04-30 | 0.557299 | 0.507350 |
| 2030-05-31 | - 1.547836 | 1.276558 |
| 2030-06-30 | 0.511551 | 1.572085 |
Vous pouvez découper les lignes avec :
Le code ci-dessous renvoie les trois premières lignes
### using a slice for row df[0:3]
| A | B | C | D | |
|---|---|---|---|---|
| 2030-01-31 | - 0.168655 | 0.587590 | 0.572301 | - 0.031827 |
| 2030-02-28 | 0.689585 | 0.998266 | 1.164690 | 0.475975 |
| 2030-03-31 | 0.767534 | - 0.940617 | 0.227255 | - 0.341532 |
La fonction loc est utilisée pour sélectionner les colonnes par noms. Comme d'habitude, les valeurs avant la virgule représentent les lignes et après la colonne. Vous devez utiliser les crochets pour sélectionner plusieurs colonnes.
## Multi col df.loc[:,['A','B']]
| A | B | |
|---|---|---|
| 2030-01-31 | - 0.168655 | 0.587590 |
| 2030-02-28 | 0.689585 | 0.998266 |
| 2030-03-31 | 0.767534 | - 0.940617 |
| 2030-04-30 | 0.557299 | 0.507350 |
| 2030-05-31 | - 1.547836 | 1.276558 |
| 2030-06-30 | 0.511551 | 1.572085 |
Il existe une autre méthode pour sélectionner plusieurs lignes et colonnes dans Pandas. Vous pouvez utiliser iloc[]. Cette méthode utilise l'index au lieu du nom des colonnes. Le code ci-dessous renvoie la même trame de données que ci-dessus
df.iloc[:, :2]
| A | B | |
|---|---|---|
| 2030-01-31 | - 0.168655 | 0.587590 |
| 2030-02-28 | 0.689585 | 0.998266 |
| 2030-03-31 | 0.767534 | - 0.940617 |
| 2030-04-30 | 0.557299 | 0.507350 |
| 2030-05-31 | - 1.547836 | 1.276558 |
| 2030-06-30 | 0.511551 | 1.572085 |
Supprimer une colonne
Vous pouvez supprimer des colonnes en utilisant pd.drop()
df.drop(columns=['A', 'C'])
| B | D | |
|---|---|---|
| 2030-01-31 | 0.587590 | - 0.031827 |
| 2030-02-28 | 0.998266 | 0.475975 |
| 2030-03-31 | - 0.940617 | - 0.341532 |
| 2030-04-30 | 0.507350 | - 0.296035 |
| 2030-05-31 | 1.276558 | 0.523017 |
| 2030-06-30 | 1.572085 | - 0.594772 |
Enchaînement
Vous pouvez concaténer deux DataFrame dans Pandas. Vous pouvez utiliser pd.concat()
Tout d'abord, vous devez créer deux DataFrames. Jusqu’ici tout va bien, vous êtes déjà familier avec la création de dataframes
import numpy as np
df1 = pd.DataFrame({'name': ['John', 'Smith','Paul'],
'Age': ['25', '30', '50']},
index=[0, 1, 2])
df2 = pd.DataFrame({'name': ['Adam', 'Smith' ],
'Age': ['26', '11']},
index=[3, 4])
Enfin, vous concaténez les deux DataFrame
df_concat = pd.concat([df1,df2]) df_concat
| Âge | Le nom | |
|---|---|---|
| 0 | 25 | John |
| 1 | 30 | Smith |
| 2 | 50 | paul |
| 3 | 26 | Adam |
| 4 | 11 | Smith |
Drop_duplicates
Si un ensemble de données peut contenir des informations en double, `drop_duplicates` est un moyen facile d'exclure les lignes en double. Vous pouvez voir que `df_concat` a une observation en double, `Smith` apparaît deux fois dans la colonne `name.`
df_concat.drop_duplicates('name')
| Âge | Le nom | |
|---|---|---|
| 0 | 25 | John |
| 1 | 30 | Smith |
| 2 | 50 | paul |
| 3 | 26 | Adam |
Trier les valeurs
Vous pouvez trier la valeur avec sort_values
df_concat.sort_values('Age')
| Âge | Le nom | |
|---|---|---|
| 4 | 11 | Smith |
| 0 | 25 | John |
| 3 | 26 | Adam |
| 1 | 30 | Smith |
| 2 | 50 | paul |
Renommer : changement d'index
Vous pouvez utiliser rename pour renommer une colonne dans Pandas. La première valeur est le nom de la colonne actuelle et la deuxième valeur est le nouveau nom de la colonne.
df_concat.rename(columns={"name": "Surname", "Age": "Age_ppl"})
| Âge_ppl | Prénom | |
|---|---|---|
| 0 | 25 | John |
| 1 | 30 | Smith |
| 2 | 50 | paul |
| 3 | 26 | Adam |
| 4 | 11 | Smith |
Résumé
Vous trouverez ci-dessous un résumé de la méthode la plus utile pour la science des données avec Pandas.
| importer des données | lire_csv |
|---|---|
| créer une série | Série |
| Créer une trame de données | Trame de données |
| Créer une plage de dates | date_range |
| retourner la tête | front |
| queue de retour | queue |
| Décrire | décrire |
| tranche en utilisant le nom | nom de données['nom de colonne'] |
| Découper en utilisant des lignes | nom_données[0:5] |
