{"id":516,"date":"2013-04-06T15:21:16","date_gmt":"2013-04-06T13:21:16","guid":{"rendered":"http:\/\/data.hypotheses.org\/?p=516"},"modified":"2013-04-06T18:43:54","modified_gmt":"2013-04-06T16:43:54","slug":"collecter-des-donnes-sur-wikipedia-lexemple-des-salles-du-culte-musulman-a-paris-2","status":"publish","type":"post","link":"https:\/\/data.hypotheses.org\/516","title":{"rendered":"Collecter des donn\u00e9s sur Wikip\u00e9dia : l’exemple des salles du culte musulman \u00e0 Paris"},"content":{"rendered":"

En d\u00e9pit de critiques r\u00e9currentes, on trouve des informations tr\u00e8s utiles sur l’encyclop\u00e9die en ligne Wikip\u00e9dia<\/em>. Et, \u00e0 condition de savoir les lire (i.e.<\/em> de pratiquer la critique des sources), elle peut constituer une mine d’or pour les chercheurs. D’aileurs, vous pourriez y contribuer, ou contribuer<\/a>.<\/p>\n

Comment faire pour collecter automatiquement ces informations\u00a0? De la m\u00eame mani\u00e8re qu’on l’a d\u00e9j\u00e0 fait, mais le site impose de respecter certaines r\u00e8gles. Examinon-les en repartant de l’exemple des \u00e9difices religieux \u00e0 Paris, trait\u00e9 dans un pr\u00e9c\u00e9dent billet<\/a>. Cette fois, on s’int\u00e9resse au culte musulman.<\/p>\n

<\/p>\n

L’exemple des lieux de culte musulman \u00e0 Paris<\/h2>\n

Parmi les diff\u00e9rents sites qui r\u00e9pertorient lieux du culte musulman \u00e0 Paris<\/a>, Wikip\u00e9dia<\/em> semble bien renseign\u00e9. Une rapide consultation montre une liste d\u2019environ 75 sites, qu\u2019on va r\u00e9cup\u00e9rer afin de pouvoir la traiter (statistiques, visualisation), ou la sauvegarder. Assur\u00e9ment, on n\u2019est pas en mesure de dire si elles sont fr\u00e9quent\u00e9es, toujours actives, ou si la liste est compl\u00e8te (mais des gens ici<\/a> ou l\u00e0<\/a> ont s\u00fbrement une id\u00e9e – ainsi que l\u2019administration fran\u00e7aise, comme le montrait la th\u00e8se de S. Jouanneau<\/a>).<\/p>\n

Et on peut remarquer au passage une distinction qu\u2019on ne retrouve pas chez d\u2019autres groupes religieux plus \u00e9tablis : plus de la moiti\u00e9 des endroits recens\u00e9s sont des \u201csimples\u201d salles de pri\u00e8res, et pas des \u00e9difices sp\u00e9cifiquement religieux (ce qui a s\u00fbrement trait \u00e0 la croissance diff\u00e9rentielle des groupes religieux, comme \u00e0 leur histoire).<\/p>\n

Sur Wikip\u00e9dia<\/em>, les donn\u00e9es sont souvent pr\u00e9sent\u00e9es sous forme de tableaux. Ceux-ci sont d\u00e9crits par une balise <table><\/code> dans le code source<\/a>. Dans ce cas, leur extraction est tr\u00e8s simple, gr\u00e2ce \u00e0 la fonction readHTMLTable<\/code> (pr\u00e9sent\u00e9e ici<\/a> \u00e9galement), que l’on va utiliser.<\/p>\n

\"\"<\/a><\/p>\n

Le premier “tableau” de la page est la table des mati\u00e8res de l’article, donc on s’int\u00e9resse au deuxi\u00e8me (mosqu\u00e9es), et au troisi\u00e8me (salles de pri\u00e8re). La fonction readHTMLTable<\/code> peut s’utiliser directement avec l’URL (l’adresse) de la page, dans ce cas on extrait les tableaux comme ceci\u00a0:<\/p>\n

# Modules\r\nlibrary(RCurl)\r\nlibrary(XML)\r\n\r\n# Adresse de la page Wikip\u00e9dia\r\nlieux.islam.url <-\r\n  "http:\/\/fr.wikipedia.org\/wiki\/Liste_des_mosqu%C3%A9es_de_Paris"\r\n\r\n# R\u00e9cup\u00e9ration directe des tableaux\r\nlieux.islam.tableaux <- readHTMLTable(lieux.islam.url)\r\nmosquees      <- lieux.islam.tableaux[[2]]\r\nsalles.priere <- lieux.islam.tableaux[[3]]\r\n<\/code><\/pre>\n
Si on v\u00e9rifie le contenu de salles.priere<\/code>, on peut v\u00e9rifier que \u00e7a fonctionne. Reste un probl\u00e8me d’accents, qui se traduit par des choses comme \\u0080<\/code> (Mac OS) ou des caract\u00e8res bizarres (Windows) et des avertissements \u00e9sot\u00e9riques comme “it is not known that wchar_t is Unicode on this platform<\/code>”. Il s’agit d’un malentendu d’encodage<\/em>, c’est-\u00e0-dire d’interpr\u00e9tation des caract\u00e8res accentu\u00e9s – qu’on traitera en d\u00e9tail prochainement\u00a0[1]<\/a>.<\/p>\n
Pour y rem\u00e9dier, on va adopter une proc\u00e9dure l\u00e9g\u00e8rement plus longue. Cela va nous permettre \u00e9galement de se conformer aux conditions d’utilisation de Wikip\u00e9dia<\/em>, et plus g\u00e9n\u00e9ralement aux bonnes pratiques de collecte automatique de donn\u00e9es.<\/p>\n
Collecter, \u00e0 quelles conditions\u00a0?<\/h2>\n
Collecter automatiquement des donn\u00e9es peut \u00eatre grisant, mais il ne faut pas oublier que l’op\u00e9ration peut \u00eatre co\u00fbteuse pour l’h\u00e9bergeur (en termes de bande passante, donc d’infrastructures mat\u00e9rielles), et que le droit prot\u00e8ge la propri\u00e9t\u00e9 des donn\u00e9es\u00a0: ce n’est pas parce que vous pouvez les consulter qu’elles sont \u00e0 vous. Les sites peuvent, au-del\u00e0 du droit, se prot\u00e9ger par divers outils techniques. Certains vous bloqueront l’acc\u00e8s en cas de non-respect des conditions d’utilisation\u00a0; il est donc vivement conseill\u00e9 de lire celles-ci pour savoir ce que vous \u00eates autoris\u00e9 \u00e0 faire, et comment.<\/p>\n
Chez Wikip\u00e9dia<\/em>, les donn\u00e9es sont librement accessibles, aux conditions des licences Creative Commons<\/a> et GNU Free Documentation License<\/a>\u00a0: en gros, citer vos sources, ne pas en faire un usage commercial, etc. (un peu comme pour ce blog). Concernant la collecte automatis\u00e9e de donn\u00e9es, la r\u00e8gle<\/a> veut qu’on se pr\u00e9sente, qu’on donne les moyens au webmaster de vous contacter par email, et qu’on \u00e9vite de revenir trop r\u00e9guli\u00e8rement. \u00c0 d\u00e9faut, l’acc\u00e8s vous sera bloqu\u00e9 apr\u00e8s quelques requ\u00eates. On va donc utiliser des fonctions qui permettent de charger des pages web tout en envoyant nos coordonn\u00e9es au serveur.<\/p>\n
Pour cela, et toujours avec R, on prend un chemin d\u00e9coup\u00e9 en plusieurs \u00e9tapes. Les fonctions de tr\u00e8s “haut niveau”, c’est-\u00e0-dire qui font beaucuop d’op\u00e9rations complexes en une seule fois, ne permettent en effet pas toujours de contr\u00f4ler assez finement la communication avec le serveur. Notre programme commence donc par la pr\u00e9paration d’une ligne, appell\u00e9e User-Agent<\/em><\/a>, qu’on envoie au serveur pour lui signaler notre identit\u00e9 (personnelle et logicielle) lorsqu’on lui demande une page\u00a0[2]<\/a>.<\/p>\n
Ici, cette ligne est de la forme “RCurl (mon.adresse@moi.net)<\/code>”, RCurl<\/em> \u00e9tant le “navigateur” qu’on utilise. On la communique comme ceci\u00a0:<\/p>\n
# Modules utilis\u00e9s ici\r\nlibrary(RCurl)\r\nlibrary(XML)\r\n\r\n# Adresse (URL) de la page\r\nlieux.islam.url <-\r\n  "http:\/\/fr.wikipedia.org\/wiki\/Liste_des_mosqu%C3%A9es_de_Paris"\r\n\r\n# Identifiant que l'on envoie \u00e0 Wikipedia pour se pr\u00e9senter\r\n# \u00c0 remplacer par votre email !\r\nmon.adresse.mail <- "mon.adresse@moi.net"\r\n\r\n# Assemblage du message qui va \u00eatre envoy\u00e9\r\nidentifiant <- paste("RCurl", " (",\r\n                     mon.adresse.mail, ")",\r\n                     sep="")\r\n\r\n# Requ\u00eate\r\npage.brute <- getURL(url = lieux.islam.url,\r\n                     useragent = identifiant)\r\n\r\n# On traite ensuite cet objet, pour en analyser la structure\r\npage.lignes <- readLines(tc <- textConnection(page.brute))\r\n               close(tc)\r\npage.parsed <- htmlTreeParse(page.lignes,\r\n                             useInternalNodes=TRUE,\r\n                             asText=TRUE)\r\n<\/code><\/pre>\n
La variable page.brute<\/code> est le contenu de la page web charg\u00e9e, en HTML. On la transforme en lignes (page.lignes<\/code>), puis on analyse sa structure (parse<\/em>). On pourra ensuite appliquer la fonction de lecture simplifi\u00e9e des tableaux vue pr\u00e9c\u00e9demment. Mais avant cela on va enlever les accents du texte.<\/p>\n
Enlever les accents<\/h2>\n
L’int\u00e9r\u00eat de cette proc\u00e9dure est d’avoir un contr\u00f4le fin sur les op\u00e9rations de t\u00e9l\u00e9chargement et de transformation de la page web. En particulier, on va pouvoir enlever les accents du texte, ce qui \u00e9vitera toute confusion d’encodage\u00a0[3]<\/a>.<\/p>\n
On utilise ici une fonction que l’on a d\u00e9taill\u00e9e ailleurs<\/a>, et que l’on appelle Unaccent()<\/code>.<\/p>\n
Le moment le plus propice pour appliquer cette fonction, dans les op\u00e9rations traitement de la page, est lorsqu’elle est sous forme de lignes, \u00e0 l’\u00e9tape page.lignes<\/code>. Les accents (ou plut\u00f4t l’encodage) sont \u00e0 ce moment correctement trait\u00e9s.<\/p>\n
Le programme int\u00e9gral<\/h2>\n
On reprend ainsi les morceaux pr\u00e9sent\u00e9s plus haut. Au passage, on englobe les op\u00e9rations dont le r\u00e9sultat ne nous int\u00e9resse pas dans une fonction, ce qui \u00e9vite de les garder en m\u00e9moire.<\/p>\n
# Modules utiles\r\nlibrary(RCurl)\r\nlibrary(XML)\r\n\r\n# Adresse (URL) de la page\r\nlieux.islam.url <-\r\n  "http:\/\/fr.wikipedia.org\/wiki\/Liste_des_mosqu%C3%A9es_de_Paris"\r\n\r\n# Identifiant que l'on enverra \u00e0 Wikipedia pour se pr\u00e9senter\r\n# \u00c0 remplacer par votre email !\r\nmon.adresse.email <- "mon.adresse@moi.net"\r\n\r\n# D\u00e9finition d'une fonction d'enl\u00e8vement des accents (et des '`^")\r\nUnaccent <- function(text) {\r\n  text      <- gsub("['`^\\"]", " ", text)\r\n  text.unac <- iconv(text, to="ASCII\/\/TRANSLIT")\r\n  text.unac <- gsub("['`^\\"]", "", text.unac)\r\n  return(text.unac)\r\n}\r\n\r\n# Fonction de t\u00e9l\u00e9chargement, enl\u00e8vement des accents,\r\n# et analyse (parsing) de la structure HTML\r\nGetUnaccentURL <- function(url.page, email='') {\r\n  identifiant <- paste("RCurl", " (",\r\n                       email, ")",\r\n                       sep="")\r\n  page.brute <- getURL(url = url.page,\r\n                       useragent = identifiant)\r\n  page.lignes <- readLines(tc <- textConnection(page.brute))\r\n                 close(tc)\r\n  page.lignes.unac <- Unaccent(page.lignes)\r\n  page.parsed <- htmlTreeParse(page.lignes.unac,\r\n                               useInternalNodes=TRUE,\r\n                               asText=TRUE)\r\n  return(page.parsed)\r\n}\r\n\r\n# T\u00e9l\u00e9chargement de la page sur les lieux de culte musulman\r\nlieux.islam <- GetUnaccentURL(url.page = lieux.islam.url,\r\n                              email = mon.adresse.email)\r\n\r\n# Extraction des tableaux\r\nmosquees      <- readHTMLTable(lieux.islam, which=2)\r\nsalles.priere <- readHTMLTable(lieux.islam, which=3)\r\n<\/code><\/pre>\n
Et voil\u00e0\u00a0[4]<\/a>\u00a0!<\/p>\n
On peut maintenant cartographier ces r\u00e9sultats\u00a0: il suffit de g\u00e9ocoder les adresses<\/a> obtenues.<\/p>\n
\"\"<\/a><\/p>\n
<\/p>\n
La distribution g\u00e9ographique appara\u00eet clairement localis\u00e9e dans l’Est parisien, soit les quartiers les moins bourgeois de la capitale\u00a0; plus le quinzi\u00e8me arrondissement. Les salles de pri\u00e8re sont globalement situ\u00e9es dans les m\u00eames quartiers que les mosqu\u00e9es, mais avec de fortes variations.<\/p>\n
\n
\n
    \n
  1. \n
    En deux mots, le probl\u00e8me est le suivant\u00a0: les fichiers informatiques sont constitu\u00e9s d’octets, des blocs \u00e9l\u00e9mentaires de m\u00e9moire qui peuvent prendre chacun 256 valeurs. Pour communiquer un texte, il faut transformer la suite des caract\u00e8res en une s\u00e9rie d’octets, donc de valeurs enti\u00e8res entre 0 et 255, et pour cela utiliser un code. Si le code employ\u00e9 pour d\u00e9chiffrer la suite de ces valeurs num\u00e9riques n’est pas le m\u00eame que celui employ\u00e9 la cr\u00e9er, alors cela d\u00e9forme le texte initial. Les “encodages” d\u00e9signent, dans le sens usuel (qui est assez impr\u00e9cis), les diff\u00e9rents codes utilis\u00e9s, dont les plus g\u00e9n\u00e9raux se nomment ASCII, iso–8859–1 (ou Latin–1), ou encore Unicode \/ UTF–8.  ↩<\/a><\/p>\n<\/li>\n
  2. \n
    Cette m\u00e9thode n’est pas vraiment un outil de s\u00e9curisation\u00a0: il est possible de d\u00e9clarer une fausse identit\u00e9 sans difficult\u00e9, et le serveur n’a aucun moyen de le contr\u00f4ler. En r\u00e9alit\u00e9, elle est utilis\u00e9e sur le web avec une vis\u00e9e surtout pratique\u00a0: en d\u00e9clarant quel est votre navigateur et sa version (par exemple, “Mozilla\/5.0 (X11; Ubuntu; Linux i686; rv : 15.0) Gecko\/20100101<\/code>” d\u00e9signe Firefox 15.0 pour Ubuntu), le serveur peut savoir comment vous envoyer une page adapt\u00e9e aux capacit\u00e9s techniques du navigateur, ou au format d’\u00e9cran de votre machine (ordinateur, t\u00e9l\u00e9phone mobile, tablette, etc.).  ↩<\/a><\/p>\n<\/li>\n
  3. \n
    Plus pr\u00e9cis\u00e9ment, les caract\u00e8res latins non-accentu\u00e9es, disons le clavier am\u00e9ricain, sont transcrits de la m\u00eame mani\u00e8re par les diff\u00e9rents encodages occidentaux standards. On peut donc se tromper d’encodage dans l’interpr\u00e9tation de tels textes, le r\u00e9sultat est toujours correct. D\u00e9saccentuer un texte permet ainsi de ne (presque) plus se soucier des questions.  ↩<\/a><\/p>\n<\/li>\n
  4. \n
    On aurait pu, en r\u00e9alit\u00e9, \u00e9viter d’enlever les accents, en appliquant la transformation suivante \u00e0 la fin (et avec un \u00e9quivalent pour salles.priere<\/code>)\u00a0: for(i in 1:length(mosquees)) {mosquees[[i]] <- iconv(from="UTF-8", to="LATIN1", mosquees[[i]])}<\/code>. Celle-ci est applicable au r\u00e9sultat de l’extraction directe des tableaux, mais ne permet pas de se conformer \u00e0 la politique d’identification de Wikip\u00e9dia<\/em>.  ↩<\/a><\/p>\n<\/li>\n<\/ol>\n<\/div>\n","protected":false},"excerpt":{"rendered":"
    En d\u00e9pit de critiques r\u00e9currentes, on trouve des informations tr\u00e8s utiles sur l’encyclop\u00e9die en ligne Wikip\u00e9dia. Et, \u00e0 condition de savoir les lire (i.e. de pratiquer la critique des sources), elle peut constituer une mine d’or pour les chercheurs. D’aileurs, vous pourriez y contribuer, ou contribuer. Comment faire pour collecter automatiquement ces informations\u00a0? De la […]<\/p>\n","protected":false},"author":3864,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_license":"","publish_to_discourse":"","publish_post_category":"","wpdc_auto_publish_overridden":"","wpdc_topic_tags":"","wpdc_pin_topic":"","wpdc_pin_until":"","discourse_post_id":"","discourse_permalink":"","wpdc_publishing_response":"","wpdc_publishing_error":"","footnotes":""},"categories":[847,577],"tags":[425926,10267,235817,382,1626],"ppma_author":[1198663],"class_list":["post-516","post","type-post","status-publish","format-standard","hentry","category-divers","category-outils","tag-cad","tag-culte","tag-encodage","tag-islam","tag-wikipedia"],"authors":[{"term_id":1198663,"user_id":3864,"is_guest":0,"slug":"aheo","display_name":"Alexandre Hobeika et \u00c9tienne Ollion","avatar_url":"https:\/\/secure.gravatar.com\/avatar\/ebcef8ce04036297dafa1c6f7e45c2c3fa6161a6058cdee844345e0cb40472e0?s=96&d=blank&r=g","1":"","2":"","3":"","4":"","5":"","6":"","7":"","8":""}],"_links":{"self":[{"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/posts\/516","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/users\/3864"}],"replies":[{"embeddable":true,"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/comments?post=516"}],"version-history":[{"count":5,"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/posts\/516\/revisions"}],"predecessor-version":[{"id":520,"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/posts\/516\/revisions\/520"}],"wp:attachment":[{"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/media?parent=516"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/categories?post=516"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/tags?post=516"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/data.hypotheses.org\/wp-json\/wp\/v2\/ppma_author?post=516"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}