INSERM UMRS 1142 LIMICS

This article describes the design of a common syntactic description for the core grammar of a group of related dialects. The common description does not rely on an abstract sub-linguistic structure like a metagrammar: it consists in a single FS-LTAG where the actual specific language is included as one of the attributes in the set of attribute types defined for the features. When the 'lan' attribute is instantiated, the selected subset of the grammar is equivalent to the grammar of one dialect. When it is not, we have a model of a hybrid multidialectal linguistic system. This principle is used for a group of creole languages of the West-Atlantic area, namely the French-based Creoles of Haiti, Guadeloupe, Martinique and French Guiana.

In the frame of a Unified Messaging System, a crucial task of the system is to provide the user with key information on every message received, like keywords reflecting the object of the message, or the name of the sender. However, in the case of facsimiles, this information is not as easy to detect as in the case of emails, since no standard headers are defined. The aim of the present work is to identify and extract a specific information (the name of the sender) from a fax cover page. For this purpose, methods based on image document analysis (OCR recognition, physical blocks selection), and text analysis methods (optimised dictionary lookup, local grammar rules), are implemented to work in parallel. The fusion of their results brings a more accurate guess than any of the methods would achieve separately.

Dysphasic subjects do not have complete linguistic abilities and only produce a weakly structured, topicalized language. They are offered artificial symbolic languages to help them communicate in a way more adapted to their linguistic abilities. After a structural analysis of a corpus of utterances from children with cerebral palsy, we define a semantic lexicon for such a symbolic language. We use it as the basis of a semantic analysis process able to retrieve an interpretation of the utterances. This semantic analyser is currently used in an application designed to convert iconic languages into natural language; it might find other uses in the field of language rehabilitation.

We propose a theoretical framework within which information on the vocabulary of a given corpus can be inferred on the basis of statistical information gathered on that corpus. Inferences can be made on the categories of the words in the vocabulary, and on their syntactical properties within particular languages. Based on the same statistical data, it is possible to build matrices of syntagmatic similarity (bigram transition matrices) or paradigmatic similarity (probability for any pair of words to share common contexts). When clustered with respect to their syntagmatic similarity, words tend to group into sublanguage vocabularies, and when clustered with respect to their paradigmatic similarity, into syntactic or semantic classes. Experiments have explored the first of these two possibilities. Their results are interpreted in the frame of a Markov chain modelling of the corpus' generative processe(s): we show that the results of a spectral analysis of the transition matrix can be interpreted as probability distributions of words within clusters. This method yields a soft clustering of the vocabulary into sublanguages which contribute to the generation of heterogeneous corpora. As an application, we show how multilingual texts can be visually segmented into linguistically homogeneous segments. Our method is specifically useful in the case of related languages which happened to be mixed in corpora.

Without prior knowledge, distinguishing different languages may be a hard task, especially when their borders are permeable. We develop an extension of spectral clustering -- a powerful unsupervised classification toolbox -- that is shown to resolve accurately the task of soft language distinction. At the heart of our approach, we replace the usual hard membership assignment of spectral clustering by a soft, probabilistic assignment, which also presents the advantage to bypass a well-known complexity bottleneck of the method. Furthermore, our approach relies on a novel, convenient construction of a Markov chain out of a corpus. Extensive experiments with a readily available system clearly display the potential of the method, which brings a visually appealing soft distinction of languages that may define altogether a whole corpus.

Nous présenterons dans cette communication les premiers travaux de modélisation informatique d'une grammaire de la langue créole martiniquaise, en nous inspirant des descriptions fonctionnelles de Damoiseau (Damoiseau, 1984) ainsi que du manuel de Pinalie & Bernabé (Pinalie, 1999).  Prenant appui sur des travaux antérieurs en génération de texte (Vaillant, 1997), nous utilisons un formalisme de grammaires d'unification, les grammaires d'adjonction d'arbres (TAG d'après l'acronyme anglais), ainsi qu'une modélisation de catégories lexicales fonctionnelles à base syntaxico-sémantique, pour mettre en œuvre une grammaire du créole martiniquais utilisable dans une maquette de système de génération automatique. L'un des intérêts principaux de ce système pourrait être son utilisation comme logiciel outil pour l'aide à l'apprentissage du créole en tant que langue seconde.

Pour la formalisation du lexique et de la grammaire de dialectes étroitement apparentés, il peut se révéler utile de factoriser une partie du travail de modélisation. Les soussystèmes linguistiques isomorphes dans les différents dialectes peuvent alors faire l'objet d'une description commune, les différences étant spécifiées par ailleurs. Cette démarche aboutit à un modèle de grammaire à couches : le noyau est commun à la famille de dialectes, et une couche superficielle détermine les caractéristiques de chacun. Nous appliquons ce procédé à la famille des langues créoles à base lexicale française de l'aire américano-caraïbe.

Résumé [fr]: Nous proposons un algorithme de recherche approximative de chaînes dans un dictionnaire à partir de formes altérées.  Cet algorithme est fondé sur une fonction de divergence entre chaînes — une sorte de distance d'édition: il recherche des entrées pour lesquelles la distance à la chaîne cherchée est inférieure à un certain seuil.  La fonction utilisée n'est pas la distance d'édition classique (distance DL); elle est adaptée à un corpus, et se fonde sur la prise en compte de coûts d'altération élémentaires définis non pas sur des caractères, mais sur des sous-chaînes (des blocs de caractères).

Abstract [en]: We propose an algorithm for approximative dictionary lookup, where altered strings are matched against reference forms.  The algorithm makes use of a divergence function between string — broadly belonging to the family of edit distances; it finds dictionary entries whose distance to the search string is below a certain threshold.  The divergence function is not the classical edit distance (DL distance); it is adaptable to a particular corpus, and is based on elementary alteration costs defined on character blocks, rather than on individual characters.

Résumé (fra)

Les méthodes de traitement automatique de corpus se sont jusqu’à présent plus intéressées aux corpus multilingues (textes de différentes langues portant sur un même thème) qu’aux corpus plurilingues (corpus présentant une pluralité linguistique interne). Ceci est dû au fait qu’elles ont surtout émergé dans le domaine du traitement automatique des langues, dans des applications pratiques portant sur des textes écrits, et non dans le domaine de la linguistique, qui s’intéresse aux manifestations spontanées et non-normées, où des phénomènes d’utilisation combinée de plusieurs langues sont fréquents.

L’observation, et la compréhension, de phénomènes de contact de langues, suscite pourtant un intérêt accru non seulement de la part des spécialistes de linguistique, mais également de la part de tous ceux qui s’intéressent aux corpus d’oral ou de genres textuels non-normés.

Dans le cadre du projet ANR CLAPOTY, une équipe de linguistes et d’informaticiens s’est intéressée à la représentation et à l’encodage de transcriptions d’oral présentant différentes situations de contact de langues, mettant au total en contact 40 langues de différentes aires et de profils typologiques variés.

Le choix effectué, pour rendre l’exploitation de ces corpus possible sans perdre la complexité des phénomènes réels, a été d’annoter avec précision toutes les données linguistiques des unités observées, sans les classer a priori dans des catégories descriptives dont la définition fait souvent encore débat (comme emprunt, calque, ou alternance de code).

À cette fin, l’équipe de CLAPOTY a développé un schéma d’annotation conforme aux normes les plus actuelles en matière de transcription (Unicode), et d’encodage des annotations (XML). Ce schéma s’inscrit dans le cadre de l’initiative TEI (Text Encoding Initiative), dont il constitue une extension. Dans ce modèle, les unités linguistiques, à tous les niveaux, peuvent être décrites comme relevant d’une langue ou d’une autre, voire de plusieurs à la fois. Ce modèle permet de rendre compte de la richesse et de la flexibilité des manifestations linguistiques spontanées, où il arrive que les pratiques langagières des locuteurs « flottent » entre deux langues.

Abstract (eng)

Methods in corpus processing have until recently been more focused on multilingual corpora (texts in different languages about the same domain) than on plurilingual corpora (corpora with an internal linguistic heterogeneity). This may be due to the fact that they have emerged in natural language processing contexts, mostly in practical applications to written texts, and not in the field of applied linguistics, where the focus is rather on spontaneous, genuine utterances of non-standard speech, and where phenomena of combined use of different languages are not rare.

However, observing -and understanding- language contact phenomena has a growing appeal not only to linguistic specialists, but also to all those who have an interest in mining corpora of spoken language, or non-standard written language.

Within the frame of the ANR CLAPOTY project, a team of linguists and computer scientists has worked on the representation and encoding of oral transcripts, displaying different situations of language contact (with a total of 40 languages from different linguistic areas and various typological profiles).

The choice that was made, in order to allow automatic mining of the corpora without losing the complexity of real-world linguistic phenomena, was to precisely annotate all the linguistic data on the observed units, without classifying them a priori in descriptive categories, the exact definition of which is still often debatable (e.g. borrowing, calque, code switching).

To this purpose, the CLAPOTY team has developed an annotation schema in compliance with the latest standards with respect to transcription (Unicode) and markup (XML). This schema follows the inspiration of the TEI (Text Encoding Initiative), extending it where needed (namely, for the annotation of language plurality). In this model, linguistic units (at all levels) may be described as pertaining to one language or another, and even to many languages at the same time. The model is able to represent the richness and versatility of spontaneous linguistic utterances, where speakers actually often “float” between two languages.

La Prothèse Vocale Intelligente est un système de communication qui reconstitue le sens -supposé -d'une séquence peu structurée d'icônes ou de symboles, et l'exprime par des phrases en langue naturelle (français). Elle aété développée pour l'usage de personnes ne possédant pas la maîtrise du langage oral, et en particulier incapables de s'exprimer en suivant les règles d'une grammaire complexe comme celle de la langue. Nous décrivons ici la construction d'un dictionnaire sémantique de symboles simple et pertinentà partir des corpus de communication icônique relevés auprès d'enfants Infirmes Moteurs Cérébraux (IMC). Nous expliquerons ensuite le mécanisme d'analyse sémantique ascendante qui permet, en déterminant les dépendances entre symboles, de trouver le sens des messages de l'utilisateur.À partir du résultat de cette analyse, un module de transfert lexical choisit les mots français les mieux adaptés pour l'exprimer, et construit un réseau sémantique linguistique. Celui-ci est ensuite hiérarchisé, grâceà une Grammaire d'Arbres Adjoints (TAG) lexicalisée, en arbres syntaxiques de phrases françaises. Enfin, nous décrirons l'interface d'accès paramétrable qui aété définie pour ce système.