représentation et codage de l’information
4. représentation des données textuelles
Pierre Réty
février 2021
L1 informatique — Université d’Orléans
Retour sur le codage des caractères
Codage des caractères
Le langage écrit repose sur l’utilisation d’alphabets, de
graphèmes, de symboles.
Les fichiers contiennent des suites d’octets.
La convention qui associe un caractère à un code numérique
est appelée codage de caractères.
Remarque Une fois cette convention choisie, il reste encore
pour l’afficher à associer une représentation graphique à une
suite de caractères, mais c’est une autre histoire (glyphe,
ligature, etc).
1
ASCII
Norme incontournable, codage de caractères sur 7 bits adapté
à l’alphabet anglais + 33 codes de contrôle.
Un 0 est rajouté à gauche pour obtenir un octet complet (8 bits).
Ainsi, le caractère a est codé par l’octet 61 = 0110 0001
2
ISO 8859
Norme définissant 16 façons ISO-8859-𝑛 d’étendre ASCII, avec
le bit gauche à 1, pour la gestion d’autres langues :
• ISO-8859-1, latin-1, européen occidental
• ISO-8859-2, latin-2, européen central
• ISO-8859-3, latin-3, européen du Sud
• ISO-8859-4, latin-4, européen du Nord
• ISO-8859-5, cyrillique
• ISO-8859-6, arabe
• ISO-8859-7, grec
• ISO-8859-8, hébreu
• ISO-8859-9, latin-5, turc
• ISO-8859-10, latin-6, nordique
• ISO-8859-11, thaï
• ISO-8859-13, latin-7, balte
• ISO-8859-14, latin-8, celtique
• ISO-8859-15, latin-9, latin-1 + € 3
• ISO-8859-16, latin-10, européen du Sud-Est
ISO-8859-15 (latin-1 + codage de €)
𝑥= 0 1 2 3 4 5 6 7 8 9 𝐴 𝐵 𝐶 𝐷 𝐸 𝐹
Ainsi, le caractère é est codé par l’octet 𝐸9 = 1110 1001
4
EBCDIC
Codage exotique utilisé par les mainframe IBM.
5
Unicode
Compatible avec Universal Character Set (UCS, ISO/IEC 10646)
Standard visant à normaliser les échanges de texte au niveau
mondial. Modélise les caractères et leurs traitements.
Décrit plus de 110000 caractères couvrant plus de 100 écritures.
Associe un mot binaire à chaque caractère : les 256 premiers
sont identiques à ISO-8859-1 (latin-1).
Initialement codé sur 16 bits, aujourd’hui sur 17 plans de 65536
caractères, soit 1114112 caractères codables de 0x0 à 0x10FFFF.
Rappel : 0x10FFFF est le nombre 10FFFF écrit en base 16.
Notation : U+0000 à U+FFFF pour le premier plan (BMP),
6
U+10000 à U+10FFFF pour les autres plans.
Implémentation de l’unicode : UTF-32
Chaque mot binaire est représenté sur 32 bits, en complétant
par des 0 à gauche.
Un texte, même en anglais, occupe quatre fois plus de place !
Peu utilisé en pratique, éventuellement pour la représentation
interne de chaînes Unicode.
7
Implémentation de l’unicode : UTF-8
UTF-8 est un codage à longueur variable compatible ASCII et
latin-1, très répandu, en particulier pour le Web et le mail.
bits dernier code octet 1 octet 2 octet 3 octet 4
7 U+7F 0xxxxxxx
11 U+7FF 110xxxxx 10xxxxxx
16 U+FFFF 1110xxxx 10xxxxxx 10xxxxxx
21 U+10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
Si besoin, on complète par des 0 à gauche pour avoir le nombre de bits demandés.
Exemple Unicode UTF-8
@ U+40 1000000 (7 bits) 01000000 0x40
é U+E9 000 11101001 (11 b) 11000011 10101001 0xC3 0xA9
€ U+20AC 00100000 10101100 11100010 10000010 10101100 0xE2 0x82 0xAC
Rem : les codages unicode des caractères @ et é sont les mêmes qu’en latin-1 (et
ASCII pour @). Mais en UTF-8, @ est codé sur 1 octet, é sur 2 octets, € sur 3 octets.
Les caractères anglais, donc codables en ASCII, sont codés sur 1 octet en UTF-8. 8
Normalisation
Histoire de compliquer un peu tout ça, Unicode propose
plusieurs manières de définir un même caractère :
é est codé U+00E9 ou U+0065 U+0301 (e suivi d’un accent aigü).
De plus, dans certains contextes, ont peut avoir envie
d’ interpréter à l’identique certains caractères à la sémantique
différente :
U+00C5 LATIN CAPITAL LETTER A WITH RING ABOVE : Å
U+212B ANGSTROM SIGN : Å
Unicode définit donc des normalisations du texte pour
permettre la comparaison de chaînes.
9
En pratique
En dehors du codage proprement dit, problème du codage des
fins de lignes : CR vs LF vs CRLF.
10
Fichier texte brut
Un fichier texte est une suite de codes de caractères dans un
encodage fixé (ASCII, latin-1, latin-9, UTF-8, …).
Ici, le fichier dumbo.txt est codé en UTF-8. cat et hexdump sont des commandes
exécutées dans un terminal sous Linux ou MacOS. Ne pas tenir compte des numéros
d’octets 000000, 000010, etc...
$ cat dumbo.txt
BlaBlaBlaBla
Un éléphant qui se balançait sur une toile d'araignée.
$ hexdump dumbo.txt
000000 42 6c 61 42 6c 61 42 6c 61 42 6c 61 0a 55 6e 20
000010 c3 a9 6c c3 a9 70 68 61 6e 74 20 71 75 69 20 73
000020 65 20 62 61 6c 61 6e c3 a7 61 69 74 20 73 75 72
000030 20 75 6e 65 20 74 6f 69 6c 65 20 64 27 61 72 61
000040 69 67 6e c3 a9 65 2e 0a 11
Base64 (Norme RFC 2045, 1996)
Afficher un texte UTF-8 avec l’alphabet américain.
On découpe la suite d’octets en mots de 6 bits.
Ainsi 3 octets = 4 mots de 6 bits.
chaque mot de 6 bits ⟹ entier compris entre 0 et 63
chaque entier ⟹ codé par le caractère :
0=A, 1=B,…, 25=Z, 26=a, …, 51=z, 52=0, …, 61=9, 62= +, 63= /
Remplissage (padding)
On complète par des zéros pour avoir un nombre entier de
mots de 6 bits.
si on ajoute 2 zéros, on rajoute = à la fin du texte codé
si on ajoute 4 zéros, on rajoute == à la fin du texte codé
12
0 A 17 R 34 i 51 z
1 B 18 S 35 j 52 0
2 C 19 T 36 k 53 1
3 D 20 U 37 l 54 2
4 E 21 V 38 m 55 3
5 F 22 W 39 n 56 4
6 G 23 X 40 o 57 5
7 H 24 Y 41 p 58 6
8 I 25 Z 42 q 59 7
9 J 26 a 43 r 60 8
10 K 27 b 44 s 61 9
11 L 28 c 45 t 62 +
12 M 29 d 46 u 63 /
13 N 30 e 47 v
14 O 31 f 48 w (pad) =
15 P 32 g 49 x
16 Q 33 h 50 y
13
Base64 (Norme RFC 2045, 1996)
Fichier texte en UTF-8.
$ cat dumbo.txt
BlaBlaBlaBla
Un éléphant qui se balançait sur une toile d'araignée.
$ python -m base64 -e < dumbo.txt
QmxhQmxhQmxhQmxhClVuIMOpbMOpcGhhbnQgcXVp
IHNlIGJhbGFuw6dhaXQgc3VyIHVuZSB0b2lsZSBk
J2FyYWlnbsOpZS4=
14
Données structurées
Structuration des données
Données non structurées :
• le contenu d’un fichier texte
• un enregistrement audio
• une collection de photographies
Données semi-structurées :
• une page web
• vos notes de cours
• un dictionnaire
Données structurées :
• les horaires de cinéma
• le contenu d’un agenda
• le système de réservation d’une compagnie aérienne 15
Modélisation relationnelle
Les données sont organisées en tables (ou relations).
id Interprète Titre Année
1 Led Zeppelin Stairway to Heaven 1971
2 AC/DC Highway to Hell 1979
… … … …
Colonnes champs, attributs
Lignes tuples, n-uplets
16
Le format textuel CSV
Le format de fichier CSV (comma-separated values) représente
un tableau par un texte.
Chaque ligne du fichier correspond à un enregistrement, une
ligne du tableau.
Les colonnes sont séparées par un séparateur (virgule ou
point-virgule).
id,Interprète,Titre,Année
1,Led Zeppelin,Stairway to Heaven,1971
2,AC/DC,Highway to Hell,1979
17
Données semi-structurées
XML
Un document XML (eXtensible Markup Language) est une
chaîne de caractère structurée par des balises.
• balise ouvrante : <bonjour>
• balise fermante : </aurevoir>
• balise vide : <message />
Toute balise ouvrante est fermée par une balise fermante de
même nom.
Une balise vide ou bien l’ensemble du texte entre une balise
ouvrante et la balise fermante correspondante forme un
élément.
18
<? xml version="1.0" encoding="utf-8" standalone="yes" ?>
<filmographie>
<film id="sw" acteur="cf,mh">
<titre>Star Wars</titre>
<annee>1977</annee>
</film>
<acteur id="cf" jouedans="sw">
<nom>Carrie Fisher</nom>
<adresse>
<rue>Maple St.</rue><ville>Hollywood</ville>
</adresse>
<adresse>
<rue>Locust Rd.</rue><ville>Malibu</ville>
</adresse>
</acteur>
<acteur id="mh" jouedans="sw">
<nom>Mark Hamill</nom>
<rue>Oak St.</rue>
<ville>Bollywood</ville>
</acteur>
</filmographie>
HTML : code source d’une page web
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head><title>Exemple XHTML 1.0</title></head>
<body><h2>Texte codé en UTF-8, et décodé en latin-1 !</h2>
<ul>
<li>Tous les éléments doivent être explicitement balisés.</li>
<li>Les balises fermantes ne sont pas optionnelles.</li>
<li>Les noms d'éléments et d'attributs
<em class="important">doivent</em> être en minuscules.</li>
<li>Tous les attributs doivent avoir une valeur explicite
<input type="checkbox" checked="checked" value="..." />.</li>
<li>Les guillemets sont <em class="important">toujours</em>
obligatoires autour des valeurs d'attribut.</li>
<li>Les éléments vides doivent être fermés
<img src="i.png" alt="i"/>.</li>
</ul></body></html>
Affichage par le navigateur web
Le fichier HTML est codé en UTF-8.
Page web affichée avec décodage latin-1 :
Rem : Chaque é est codé sur 2 octets en UTF-8, ce qui donne 2 caractères en latin-1.
Page web affichée avec décodage UTF-8 :
21
