TP encodage des caractères
1) Avec un éditeur de texte « suffisamment évolué » sous Linux (xed, geany, sublime text, ou autre), vous enregistrerez deux
fichiers contenant la même chaîne de caractère « Voilà 100 € » dans deux encodages différents, en respectant le nommage
des fichiers suivant :
• en UTF-8 : utf8.txt
• en ISO-8859-15 : latin9.txt
2) Avec la commande file, puis la commande xxd, vous analyserez le contenu de ces deux fichiers.
• Commentez la taille de ces fichiers par rapport à la longueur de la chaîne de caractères
• Vérifiez que les caractères appartenant au code ASCII sont codés de manière identique
• Commentez particulièrement le codage des caractères non ASCII « à » et « € »
3) Effectuez « à la main » le codage binaire UTF8 du caractère « € » en utilisant le tableau suivant, et sachant que le point de code unicode
hexadécimal de ce caractère est U+20AC :
Bits Dernier point de code Octet 0 Octet 1 Octet 2 Octet 3 Octet4 Octet 5
7 U+7f 0xxxxxx
11 U+7ff 110xxxxx 10xxxxxx
16 U+ffff 1110xxxx 10xxxxxx 10xxxxxx
21 U+1fffff 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
26 U+3ffffff 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
31 U+7fffffff 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
• Vérifiez que votre résultat est exact après avoir converti votre code binaire en hexadécimal, Utilisez pour cela à nouveau la commande xxd -g
1 utf8.txt
4) langage C et chaînes de caractère UTF8.
4.1) Éditez (en copiant-collant), compilez puis exécutez le programme suivant :
#include <stdio.h>
int main()
{
FILE *fichier = fopen("texte.txt", "w");
fputs("A é ⁂ 😀", fichier);
fclose(fichier);
return 0;
}
• Visualisez result.txt avec la commande cat, puis analysez son contenu avec file puis xxd. Sur combien d’octets sont codés chacun des
quatre caractères (on ne considère pas les espaces) ?
• Retrouvez leurs points de code UNICODE respectifs en utilisant le tableau de la question 2.
Passez par les octets exprimés en binaire.
• Retrouver pour chaque caractère sa documentation complète sur Wikipédia,
4.2) Complétez le programme « compte.c » qui permet d’afficher, à partir d’une châne de caractères utf8 :
• le nombre de caractères codés sur 1 octet
• le nombre de caractères codés sur 2 octets
• le nombre de caractères codés sur 3 octets
• le nombre de caractères codés sur 4 octets
4.3) En vous servant du guide « algos », établissez en langage C les programmes de conversions utf8 vers unicode et unicode vers utf8.
Voici quelques exemples d’exécution pour chacun d’entre eux :
