1 Python pour Calcul Scientifique

MLlib de la technologie Spark.

Python pour Calcul Scientifique De façon plus précise, Python et la librairie pandas offrent des outils ef-
ficaces, comme le découpage automatique en morceaux (chunks,) adaptés à la
Résumé taille de la mémoire vive ou encore l’accès à des données au format binaire
HDF5 (librairie Pytable), pour lire (format csv ou fixe), gérer, pré-traiter,
Cette première vignette d’initiation au langage Python décrit l’exé- trafiquer (en jargon : data munging ou wrangling), visualiser des données vo-
cution de commandes interactives ou de scripts Python avec un cale- lumineuses. Néanmoins, la parallélisation des traitements pour des analyses
pin (notebook) ou encore un IDE Spyder, les types et structures élé- complexes (apprentissage statistique) sera sans doute plus efficace sur une ar-
mentaires de données, les premières structures de contrôle, les fonc- chitecture adaptée avec la librairie MLlib de Spark/Hadoop plutôt qu’avec la
tions et modules. L’utilisation des librairies scientifiques (Numpy, librairie Scikit-learn de Python. A part quelques méthodes relativement
Matplotlib, Scipy) et du type array est également intro- frustres, les principaux développements de cette librairie sont en effet adaptés
duite. Les tutoriels suivants abordent progressivement les outils plus à un data frame chargé en mémoire.
spécifiques pour la "Science des Données". La version 3.4. de Python est celle actuellement la "plus récente". Le passage
• Python pour Calcul Scientifique à la version 3 introduisit une rupture de compatibilité par rapport à la version
• Trafic de Données avec [Link] 2 qui est toujours en développement (2.7). Il reste actuellement nécessaire de
• Apprentissage Statistique avec [Link]-learn pouvoir utiliser les 2 versions selon les librairies utilisées (la 2.7 pour Spark)
• Programmation élémentaire en Python et applications recherchées. La version 2.7 inclut des ajouts permettant des
• Sciences des données avec Spark-MLlib éléments de "rétro"-compatibilité avec la version 3. Pour l’usage rudimentaire
de ce tutoriel, il semble que les deux versions soient compatibles.
1 Introduction 1.2 Prérequis
1.1 Pourquoi Python Cette vignette introduit le langage libre Python et décrit les premières com-
mandes nécessaires au pré-traitement des données avant l’utilisation de mé-
Le langage Python est développé et diffusé par la Python Software Founda-
thodes statistiques avec ce langage ou avec R. Les aspects statistiques dévelop-
tion selon une licence GPL-compatible. À partir d’applications initialement de
pés dans les différents scénarios de Wikistat sont supposés acquis ainsi qu’une
calcul scientifique (image, signal...), son utilisation s’est généralisée dans de
connaissance des principes élémentaires de programmation dans un langage
nombreux domaines et notamment pour l’analyse statistique de données trop
matriciel comme R ou Matlab.
volumineuses pour R ou Matlab. Il est donc "libre", efficace en calcul numé-
rique (librairie NumPy), orienté objet... et bénéficie d’une communauté très Pour des approfondissements, il existe de très nombreuses ressources pé-
active qui développe de nombreuses applications et librairies. dagogiques accessibles sur la toile dont le tutoriel officiel de Python 3.4., les
sites [Link], [Link], le livre de Sheppard (2014)[2]
L’objectif de ce tutoriel est d’introduire le langage Python et quelques li-
qui présentent une introduction à Python pour l’Économétrie et la Statistique et
brairies pour surtout préparer puis commencer à analyser des données trop
celui de Mac Kinney (2013)[1], principal auteur de la bibliothèque pandas.
volumineuses pour la mémoire vive (RAM) d’un ordinateur basique. Lorsque,
À noter que ces ouvrages offrent une large part aux outils de gestion des séries
2ème étape, elles sont trop volumineuses pour la taille du disque et distribuées
chronologiques pour l’analyse financière.
sur les nœuds d’un cluster sous Hadoop, c’est encore le langage Python qui
permet de passer à l’échelle pour exécuter des analyses en utilisant la librairie
 2 Python pour Calcul Scientifique

1.3 Installation 2 Utilisation de Python

Python et ses librairies peuvent être installés dans quasiment tout environne- Python exécute programmes ou scripts, programmes qui peuvent être pré-
ment matériel et système d’exploitation à partir du site original. Voici les prin- compilés pour plus d’efficacité. Ce langage s’exécute également à l’aide d’un
cipales librairies scientifiques définissant des structures de données et fonc- interprète de commande (IDLE ou IPython) de manière interactive.
tions de calcul indispensables.
ipython : pour une utilisation interactive de Python,
2.1 IPython
numpy : pour utiliser vecteurs et tableaux, A la suite du prompt : In[i], entrer chaque commande qui sera immédia-
tement exécutée. Cet environnement offre différentes possibilités :
scipy : intègre les principaux algorithmes numériques,
Tab complétion. La touche de tabulation propose une complétion automatique
matplotlib pour les graphes, d’objet ou commande ;
pandas : structure de données et feuilles de calcul, Aide : objet?, objet?? où objet est une variable, une fonction ou une
commande affiche les caractéristiques de l’objet ou de l’aide en ligne ;
patsy : formules statistiques,
Magic Certaines commandes précédées de % sont spécifiques à IPython. Par
statsmodels : modélisation statistique, exemple :
seaborn : visualisation de données, %run pour exécuter tout un fichier (extension .py) de commandes py-
scikit-learn : algorithmes d’apprentissage statistique. thon,
%timeit pour afficher la durée d’exécution d’une commande,
Néanmoins, compte tenu de la complexité de l’opération, il est plus simple
pour le néophyte, surtout sous Windows, de faire appel à une procédure d’ins- %reset pour effacer les objets et réinitialiser la session,
tallation intégrant les principales librairies. Ces procédures sont développées %cpaste pour copier/coller en respectant les indentations,
par des entreprises commerciales mais libres de droits pour une utilisation aca-
%pdb mode de débogage,
démique.
%magic : liste des commandes "magiques".
Continuum Analytics propose Anaconda avec au choix la version 3.4 ou celle
2.7. Conda est l’utilitaire (commande en ligne) qui permet les mises à 2.2 Notebook de IPython
jour et installations des librairies complémentaires.
IPyhton s’exécute de façon interactive dans une fenêtre de lignes de com-
Enthought propose Canopy qui n’installe pour le moment que la version 2.7 mande ou à partir d’un navigateur pour créer un Notebook ou calepin. Les
et intègre un package manager avec interface graphique. Attention, cer- commandes sont regroupées dans des cellules suivies de leur résultat après
taines librairies même "collectives" ne sont disponibles que dans la ver- exécution. Ces résultats et commentaires sont stockés dans un fichier spéci-
sion commerciale ou celle "académique" de Canopy après inscription. fique .ipynb et sauvegardés. Les commandes LaTeX sont acceptées pour
D’un point de vue légal, les propositions sont identiques mais Canopy néces- intégrer des formules, la mise en page est assurée par des balises HTML ou
site la création d’un compte académique. Seul "souci", ces versions n’incluent Markdown.
ques les versions dites stables des différentes librairies et donc avec un temps La commande de sauvegarde permet également d’extraire les seules com-
de retard vis-à-vis des versions encore développement. mandes Python dans un fichier d’extension .py. C’est une façon simple
 3 Python pour Calcul Scientifique

et efficace de conserver tout l’historique d’une analyse pour en faire une tation proche de celles de Matlab ou RStudio. Cet environnement exécutant
présentation ou créer un tutoriel. Le calepin peut être en effet chargé sous IPython reconnaît évidemment les commandes précédentes.
un autre format : page html, fichier .rst "restructuré", .pdf ou en- Comme pour RStudio, Spider ouvre plusieurs fenêtres :
core converti au format LATEX, .js (diaporama HTML) par la commande • un éditeur de commande dont les boutons du menu exécutent tout le fi-
ipython nbconvert --to slides (ou latex). chier ou interactivement la cellule courante, sauvent le fichier, contrôlent
Important Le projet Jupyter propose le même environnement de type cale- le débogage. Une cellule débute par la balise : #%%.
pin (IPython Notebook) pour beaucoup de langages (Pyhton, Julia, Scala...) et • Un explorateur d’objets avec aide en ligne, des variables en cours, du
environnements logiciels (R, Spark...). Jupyter devient de la sorte un standard répertoire courant. Les boutons de l’explorateur de variables permettent
pour élaborer et diffuser (tutoriels) des enchaînements de traitements. C’est un de supprimer, sauver les objets créés ou encore d’importer des données.
outil important pour assurer la reproductibilité des analyses. • La console IPython avec les résultats et son historique.
L’ouverture d’un navigateur sur un calepin (Ipython ou Jupyter) est obtenu,
2.4 Exemple
selon l’installation, à partir des menus ou en exécutant :
ipython notebook En résumé, utiliser un calepin pour des analyses exploratoires élémentaires
ou et un IDE (Spyder) pour la construction de programmes et modules.
jupyter notebook Sous windows, utiliser au choix l’installation
dans la fenêtre de commande. • Anaconda (python 3.4 ou 2.7) pour lancer un calepin ou spyder],
Une fois le calepin ouvert, • Canopy (python 2.7)pour ouvrir un calepin.
• Entrer des commandes Python dans une cellule . Sous Unix, utiliser l’IDE de son choix comme Eclipse (un peu compli-
• Cliquer sur le bouton d’exécution de la cellule. qué !) ou lancer, à partir du répertoire de travail, la commande :
• Ajouter une ou des cellules de commentaires et balises HTML ou
Markdown. ipython notebook
Itérer l’ajout de cellules. Une fois l’exécution terminée :
• Sauver le calepin .ipynb qui ouvre le navigateur par défaut avec les menus contextuels ou encore
• Charger éventuellement une version .html pour une page web.
• Charger le fichier .py regroupant les commandes python pour une ver- [Link]
sion opérationnelle.
Attention Un calepin de IPython ou Jupyter est un outil de travail explo- si cette distribution est installée comme c’est le cas à l’INSAT.
ratoire efficace et un compte rendu nécessairement chronologique d’exécu- Entrer les commandes ci-dessous dans le calepin et les exécuter cellule par
tion ; ce n’est pas le rapport d’une étude statistique dont l’organisation suit cellule en cliquant sur le bouton (widget) d’exécution de la cellule courante.
des règles spécifiques.
Outre des commentaires, les premières lignes déclarent les librairies à utili-
2.3 IDE Spyder ser comme par exemple :
# Ceci est le début d’une session Python
Pour la réalisation d’applications et programmes plus complexes, l’usage
# importer les librairies
d’un IDE (Integrated Development Environment) libre comme Spyder est re-
import [Link] as plt
commandé. Ce dernier est intégré à la distribution Anaconda et sa présen-
import numpy as np
 4 Python pour Calcul Scientifique

import pandas as pd 3.1 Scalaires et chaînes

from pylab import *
import os La déclaration des variables est implicite (integer, float, boolean, string), la
# Définir si nécessaire le répertoire courant
syntaxe est très proche de celle de R mais il n’y a pas de type factor.
# spécifique de l’utilisateur. a=3 # est un entier
# A modifier selon l’environnement b=1. # est un flottant
[Link](r"D:\Users\utilisateur\Documents\Exemple") # Attention
# Commande "magique" demandant d’intégrer les a/2 # a pour résultat 1.5 en Python 3.4
# graphiques dans le calepin # mais 1 en 2.7
%matplotlib inline
Opérateurs de comparaison : ==, >, <, != de résultat booléen.
L’utilisation d’une commande de librairie est alors élémentaire : # Comparaison
a==b
# Créer un data frame avec pandas # affichage et type des variables
data = [Link]({ a
"Gender": ["f", "f", "m", "f", "m", #
"m", "f", "m", "f", "m"], type(a)
"TV": [3.4, 3.5, 2.6, 4.7, 4.1, # Chaîne de caractère
4.0, 5.1, 4.0, 3.7, 2.1] a="bonjour"
}) b="le"
data c="monde"
a+b+c
Séparer les cellules avec chacune un résultat.
3.2 Structures de données basiques
# Graphique élémentaire
xx = randn(100,100) Listes
y = mean(xx,0)
plot(y) Les listes permettent des combinaisons de types. Attention, le premier élé-
show() ment d’une liste ou d’un tableau est indicé par 0, pas par 1.
Il est plus lisible dans un calepin de présenter un résultat par cellule et donc
de séparer les liches de commandes provoquant un résultat.
3 Types de données python # exemples de listes
liste_A = [0,3,2,"hi"]
Comme précédemment, exécuter les commandes de ce tutoriel cellule par
liste_B = [0,3,2,4,5,6,1]
cellule dans le calepin IPython ou Jupyter, ou encore dans un IDE
liste_C = [0,3,2,"hi",[1,2,3]]
Spyder ; en analyser les résultats.
# Elément d’une liste
 5 Python pour Calcul Scientifique

Liste_A[1] [Link]()
# dernier élément [Link]()
liste_C[-1]
liste_C[-1][0] Cet objet est utilisé pour la construction de l’index des colonnes (variables) du
liste_C[-2] type DataFrame de la librairie pandas.
# Sous -liste
liste_B[0:2] 4 Syntaxe de Python
# début:fin:pas
liste_B[Link] 4.1 Structures de contrôle élémentaires
liste_B[::-1]
# Fonctions de listes Un bloc de commandes ou de codes est défini par deux points suivis d’une
List=[3,2,4,1] indentation fixe. Cela oblige à l’écriture de codes faciles à lire mais à être très
[Link]() attentif sur la gestion des indentations car la fin d’indentation signifie la fin
[Link]("hi") d’un bloc de commandes.
[Link](3) Structure conditionnelle
[Link]([7,8,9])
[Link]([10,11,12]) # si alors sinon
a=2
Tuple if a>0:
b=0
Un tuple est similaire à une liste mais ne peut être modifié, il est défini par print(b)
des parenthèses. else:
# Tuple b=-1
MyTuple=(0,3,2,"h") print(b)
MyTuple[1]
Structure itérative
MyTuple[1]=10 # TypeError: "tuple" object
# does not support item assignment # itération
for i in range(4):
Dictionnaire print(i)
for i in range(1,8,2):
Un dictionnaire est similaire à une liste mais chaque entrée est assignée par
print(i)
une clé/un nom, il est défini avec des accolades.
# dictionnaire 4.2 Fonctions
months = {"Jan":31 , "Fev": 28, "Mar":31} Syntaxe
months["Jan"]
[Link]() La syntaxe de la définition d’une fonction est la suivante :
 6 Python pour Calcul Scientifique

def FunctionName(args): Commencer par définir un module dans un fichier texte contenant les com-
commands mandes suivantes.
return value def DitBonjour():
print("Bonjour")
Exemple def DivBy2(x):
return x/2
# Définition d’une fonction
def pythagorus(x,y): Sauver le fichier avec pour nom [Link] dans le répertoire courant de
""" calcule l’hypoténuse d’un triangle """ IPython.
r = pow(x**2+y**2,0.5)
Il est possible d’importer toutes les fonctions en une seule commande
return x,y,r
import.
pythagorus(3,4)
# appel import testM
pythagorus(x=3,y=4) [Link]()
pythagorus(y=4,x=3) print(testM.DivBy2(10))
# aide intégrée # autre possibilité
help(pythagorus) from testM import *
pythagorus.__doc__ DitBonjour()
print(DivBy2(10))
Arguments avec valeur par défaut
ou seulement celles qui seront utilisées. Préférer cette dernière méthode pour
# Valeurs par défaut les grosses librairies.
def pythagorus(x=1,y=1): import testM as tm
""" calcule l’hypoténuse d’un triangle """ [Link]()
r = pow(x**2+y**2,0.5) print(tm.DivBy2(10))
return x,y,r %reset
pythagorus() from testM import DitBonjour
DitBonjour()
4.3 Modules et librairies print(DivBy2(10)) # erreur
Modules Lors de son premier appel, un module est pré-compilé dans un fichier .pyc
Un module contient plusieurs fonctions et commandes qui sont regroupées qui est utilisé pour les appels suivants. Attention, si le fichier a été modifié /
dans un fichier d’extension .py. Insérer un fichier vide de nom _init_.py corrigé, il a besoin d’être rechargé par la commande reload(name).
dans chaque dossier et sous-dossier contenant un module à importer. Un mo- Librairies
dule est appelé par la commande import. Un module est considéré comme
un script s’il contient des commandes. Lors de l’import d’un script, les com- Une librairie (package) regroupe plusieurs modules dans différents sous-
mandes sont exécutées tandis que les fonctions sont seulement chargées. répertoires. Le chargement spécifique d’un des modules se fait en précisant le
 7 Python pour Calcul Scientifique

chemin. La gallerie de cette librairie propose tout un ensemble d’exemples de gra-

import [Link] phiques avec le code Python pour les générer.
SciPy
5 Calcul scientifique Cette librairie est un ensemble très complet de modules d’algèbre linéaire,
Voici trois des principales librairies indispensables au calcul scientifique. statistiques et autres algorithmes numériques. Le site de la documentation en
Deux autres librairies : pandas, scikit-learn, sont exposées en détail fournit la liste.
dans des vignettes spécifiques.
5.2 Type array
5.1 Principales librairies ou packages C’est de loin la structure de données la plus utilisée pour le calcul scien-
NumPy tifique sous Python. Elle décrit des tableaux ou matrices multi-indices de di-
mension n = 1, 2, 3, . . . , 40. Tous les éléments sont de même type (booléen,
Cette librairie définit le type de données array ainsi que les fonctions de entier, réel, complexe).
calcul qui y sont associées. Il contient aussi quelques fonctions d’algèbre li-
Il est possible de contrôler précisément le type d’un array, par exemple
néaire et statistiques. Il est supporté par Python 2.6 et 2.7, ainsi que 3.2 et plus
pour gagner de la place en mémoire, en codant les entiers sur 8, 16, 32 ou 64
récent.
bits, de même pour les réels (float) ou les complexes.
Il n’est finalement utilisé que pour la définition du type array car les fonc-
Les tableaux ou tables de données (data frame), bases d’analyses statis-
tions numériques sont beaucoup plus développées dans SciPy.
tiques et regroupant des objets de type différents sont décrits avec la librairie
Matplotlib pandas.

Celle-ci propose des fonctions de visualisation / graphs avec des commandes Définition du type array
proches de celles de Matlab. Aussi connue sous le nom de pylab.
# Importation # Importation
import numpy as np import numpy as np
from pylab import * my_1D_array = [Link]([4,3,2])
gaussian = lambda x: [Link](-(0.5-x)**2/1.5) print(my_1D_array)
x=[Link](-2,2.5,0.01) my_2D_array = [Link]([[1,0,0],[0,2,0],[0,0,3]])
y=gaussian(x) print(my_2D_array)
plot(x,y,label=’$y=\exp(-(0.5-x)^2/1.5))$’) myList=[1,2,3]
# On peut mettre des commentaires Latex my_array = [Link](myList)
xlabel("x values") print(my_array)
ylabel("y values") a=[Link]([[0,1],[2,3],[4,5]])
title("Gaussian function") a[2,1]
legend(loc=’upper left’) a[:,1]
show() print([Link])
a[0,0]=1
 8 Python pour Calcul Scientifique

print(a) [Link](A,interpolation="nearest")
a[0,0]=1.5 [Link]
print(a) [Link]()
#1.5 a été converti en entier M=[Link](10,10)
#Il faut changer le type des éléments de a [Link](’[Link]’,M,fmt=’%2.2f’,delimiter=’,’)
B=[Link](float) #au format propre à numpy : npy
B[0,0]=1.5 [Link](’[Link]’,M)
print(B) [Link](’[Link]’)

Fonctions de type array Slicing

Génération de matrices. Extraction d’une partie d’un vecteur ou d’une matrice
# Une ligne par cellule v=[Link]([1,2,3,4,5])
[Link](5) print(v)
[Link](3) v[1:4]
[Link]((3,4)) v[ : : ]
[Link]((2,3)) v[ : : 2] # par pas de 2
[Link](3) v[: 3] # les 3 premiers éléments
[Link](3, 7, 3) v[3 :] # à partir de l’indice 3
[Link][0:3,0:2] v[-1] # dernier élément
D=[Link]([1,2,4,3]) v[-2 :] # deux derniers éléments
print(D) M=[Link](4,3)
print([Link](D)) print(M)
M=[Link]([[10*n+m for n in range(3)] ind=[1,2]
for m in range(2)]) M[ind] # lignes d’indices 1 et 2
print(M) M[:,ind] # colonnes d’indices 1 et 2
Le module [Link] fournit toute une liste de fonctions pour la géné- M[[0,2],[1,2]] # renvoie M[0,1] et M[2,2]
ration de matrices aléatoires. M[np.ix_([0,2],[1,2])]
(M>0.5)
from numpy import random M[M>0.5]
[Link](4,2) #tirage uniforme [0,1)
[Link](4,2) #tirage selon la loi N(0,1) Autres fonctions
v=[Link](1000)
import [Link] as plt a=[Link]([[0,1],[2,3],[4,5]])
h=[Link](v,20) # histogramme à 20 pas # Nombre de dimensions
show() [Link](a)
A=[Link](64,64) # Nombre d’éléments
 9 Python pour Calcul Scientifique

[Link](a) [Link]((A,B))
# Tuple contenant la dimension de a
[Link](a) Conversion de type avec les fonctions dtype et astype.
# Transposée Opérations sur array
[Link](a)
a.T # autre façon de définir la transposée # somme
# Valeur min a=[Link](6).reshape(3,2)
[Link](), [Link](a) b=[Link](3,9).reshape(3,2)
# Somme des valeurs c=[Link](b)
[Link](), [Link](a) c=b.T
# Somme sur les colonnes a+b
[Link](axis=0) # produit terme à terme
# sur les lignes a*b
[Link](axis=1) # produit matriciel
# aussi max , mean , std ,... [Link](a,c)
#
Quelques manipulations : [Link](a,2)
#
# Concaténation en ligne [Link](2,a)
np.r_[1:4,10,11] #
# Concaténation en colonne a/3
np.c_[1:4,11:14]
# erreur Les fonctions genfromtxt, savetxt permettent de lire, écrire des fichiers
np.c_[1:4,11:15] textes par exemple au format .csv mais ces fonctionnalités sont plus large-
[Link](6).reshape(3,2) ment abordées avec la librairie pandas.
A=[Link]([[1,2],[3,4]]) Fonctions d’algèbre linéaire
# Répétition de la matrice A
[Link](A,(3,2)) # Importation
A=[Link]([[1,2],[3,4]]) import numpy as np
B=[Link]([[11,12],[13,14]]) from scipy import linalg
#Concaténation en ligne A = [Link]([[1,2],[3,4]])
[Link]((A,B),axis=0) [Link](A)
#Equivalent à #
[Link]((A,B)) [Link](A)
#Concaténation en colonne #
[Link]((A,B),axis=1) la,v = [Link](A)
#Equivalent à l1,l2 = la
 10 Python pour Calcul Scientifique

# valeurs propres
print(l1, l2)
# 1er vecteur propre
print(v[:,0])
# 2ème vecteur propre
print(v[:,1])
U,s,V = [Link](A) # SVD de A
print(s**2)
# vérifier les valeurs propres
[Link]([Link]([Link](A),A))
Tests élémentaires de Statistique
# Importation
import [Link]
rvs1 = [Link](loc=5, scale=10,
size=500)
rvs2 = [Link](loc=5, scale=10,
size=500)
rvs3 = [Link](loc=8, scale=10,
size=500)
# t-test returns: t-statistic/two -tailed p-value
[Link].ttest_ind(rvs1, rvs2)
[Link].ttest_ind(rvs1, rvs3)
# Kolmogorov -Smirnov test
# returns: KS statistic / two -tailed p-value
[Link].ks_2samp(rvs1, rvs2)
#
[Link].ks_2samp(rvs1, rvs3)

Références
[1] W. Mac Kinney, Python for Data Analysis, O’Reilly, 2013, http://
[Link]/book/1041/.
[2] K. Sheppard, Introduction to Python for Econometrics, Statistics and Data
Analysis, 2014, [Link]
0/09/Python_introduction.pdf.