Depuis une dizaine d’années, une clameur venue de la Silicon Valley nous pousse à prendre conscience de la révolution en cours. De quoi s’agit-il ? Les progrès de l’Intelligence Artificielle (IA) seraient tellement importants que les humains peuvent dès à présent débrancher leur cerveau.

Cette entrée en matière un peu triviale fait suite à un entretien que j’ai eu avec un chercheur au CNRS. Nous sommes tous les deux réticents à utiliser un agent conversationnel tel que ChatGPT dans nos travaux quotidiens. Quelques jours après notre rencontre, le doute s’est installé : est-ce que j’accorde aussi peu d’intérêt à chatGPT à cause de mes a priori et du manque d’information sur l’outil ?

Compréhension et interprétation du langage humain

La première chose à faire est d’évaluer le niveau de compréhension de l’agent conversationnel. Est-ce que l’IA décode et traite correctement les données en entrée ?

Cette étape est loin d’être un processus facile à réaliser. En partant d’un ensemble de caractères, l’IA devra donner une fonction à chaque mot, définir le contexte général de la phrase puis, in fine, déterminer l’intention ou la demande de l’utilisateur.

Étiquetage grammatical

Autrefois réalisé à la main, l’étiquetage est le marquage de mots ou de mots dans une phrase. Le but de l’opération est d’ajouter un calque sur le texte afin d’identifier le rôle de chaque séquence. Concrètement, un humain ou un logiciel (par exemple TreeTagger Universität Stuttgart) annote chaque mot avec la catégorie grammaticale (nom, verbe, adjectif,…) et le type de relation entre les séquences de la phrase.

Prompt: peux-tu étiqueter grammaticalement la phrase suivante:
Cerise déguste une cerise à la chantilly à Chantilly

Cerise : nom commun, sujet (sujet de la phrase)
déguste : verbe, verbe principal, 3ème personne du singulier, indicatif présent
une : déterminant indéfini, article défini, introduit le nom "cerise"
cerise : nom commun, complément d'objet direct (COD) du verbe "déguste"
à : préposition
la : déterminant défini, article défini, introduit "chantilly"
chantilly : nom commun, complément du nom "à la chantilly"
à : préposition
Chantilly : nom propre, complément du nom "à Chantilly" (lieu)

Aucun souci, l’étiquetage est correct tant au niveau du genre grammatical qu’au niveau de la fonction de chaque partie de la phrase.

Extraction d’entités nommées

Le deuxième test que nous allons mener est la reconnaissance d’entités nommées (Named Entity Recognition). Est-ce que l’IA de ChatGPT identifie les informations clés dans un corpus non structuré ?

Imaginons que l’on veuille évaluer le sens de la phrase en identifiant les personnages, les lieux, les dates, ou encore les quantités.

Prompt: extrait les entités nommées de: Depuis le 25 mai, Roland-Garros accueille 128 joueurs du monde entier pendant deux semaines à l’ouest de Paris

25 mai (date)
Roland-Garros (lieu / événement)
128 joueurs (nombre / entité numérique)
le monde entier (entité géographique / population mondiale)
deux semaines (durée)
l’ouest de Paris (lieu / région)

ChatGPT s’en sort haut la main, les entités nommées retournées résument bien le sens de la phrase. Avec ces données, il devient possible, par exemple, d’évaluer la proximité sémantique de deux textes.

Test de compréhension du langage naturel

Après avoir vérifié que l’étiquetage se fait correctement, intéressons nous au contexte de la phrase. En fonction de l’ordre des mots et de la ponctuation, la demande de l’utilisateur aura un sens différent. Est-ce que l’IA est capable d’interpréter correctement l’intention de l’humain ?

Prompt: lorsque j'avais 18 ans ma soeur avait la moitié de mon age. J'ai 49 ans.
Quel age a ma soeur ?

Aujourd'hui, vous avez 49 ans. En conservant cette différence d'âge, votre sœur doit avoir 49 - 9 = 40 ans.

Prompt: le train part à 18h20 de la gare de Paris. Le trajet dure 3:45 et la SNCF a signalé à Paris un incident technique qu'ils ont mis une heure à résoudre. A quelle heure arrive le train à Strasbourg ?

Le train arrivera à Strasbourg vers 23h05.

Dans les deux cas, ChatGPT a parfaitement compris notre demande.

Dans le traitement automatique du langage naturel (TALN), la lemmatisation est un des processus de préparation des corpus. Pour que l’Intelligence Artificielle assimile correctement le contenu, la lemmatisation remplace chaque mot par sa variante la plus basique, appelée lemme, en fonction du contexte grammaticale. Cette technique de prétraitement normalise les textes et sécurise par la même occasion l’apprentissage profond.

Aujourd’hui, la lemmatisation est le plus souvent automatisée et réalisée en tâche de fond. À des fins pédagogiques, l’article expose les principes et le but de cette simplification du texte pour mieux comprendre la finalité de l’opération. À quoi sert la lemmatisation ? Alimenter les modèles d’apprentissage profond qui engloutissent des quantités astronomiques de données.

Qu’est-ce que la lemmatisation ?

La lemmatisation est une technique de normalisation linguistique visant à simplifier un texte. Pour cela, chaque mot fléchi est remplacé par sa forme canonique, appelée aussi « lemme ». Lemmatiser un verbe consiste à utiliser l’infinitif à la place de la forme conjuguée. Par exemple, la forme canonique de « voyageons », « voyagez » et « voyagent » est le verbe à l’infinitif « voyager ».

En fait, le processus de la lemmatisation est plus complexe qu’un simple remplacement d’un mot pluriel par un mot au singulier ou encore d’un féminin par un masculin. Dans la langue française, le sens d’un même mot varie en fonction du contexte grammatical où il se trouve. Par exemple, le mot « danse » peut aussi bien signifier l’activité du samedi soir (nom commun) que le verbe « danser » conjugué au présent simple.

Un processus supplémentaire est nécessaire à la normalisation de corpus: la désambiguïsation lexicale. De quoi s’agit-il ? Lorsque plusieurs sens sont possibles pour un mot, la désambiguïsation détermine sa signification exacte en fonction du contexte de la phrase. L’algo choisit le bon lemme à partir d’une liste de possibilités (dictionnaire) et de l’analyse syntaxique issue de règles linguistiques.

Comparaison racinisation et lemmatisation

Les modèles d’apprentissage profond ont besoin de corpus de qualité et normalisé pour éviter toute forme de biais. La lemmatisation et la racinisation sont deux techniques de préparation de texte assez similaires.

La racinisation (stemming)

La racinisation est une méthode de prétraitement de texte utilisée pour réduire un mot à son radical. La racine du mot, aussi appelée stem, est obtenue par suppression du préfixe ou du suffixe de sa forme fléchie. En suivant les règles de racinisation de l’algorithme de Porter ou de l’algorithme de Carry, on obtient les radicaux suivants:

« mang » pour « mangeons », « mang » pour « manger » et « mang » pour « mangeoir »

La recherche du radical par racinisateur algorithmique est très rapide par contre les radicaux obtenus sont parfois incohérents.

La lemmatisation

La lemmatisation s’appuie à la fois sur les lexiques et sur les règles grammaticales de la langue. Cette recherche de la forme canonique est bien plus précise qu’une simple suppression de caractères (racinisation). Par contre, le dictionnaire, la recherche du contexte grammaticale et le test des possibilités prend beaucoup de temps.

En résumé

• La racinisation est rapide mais peu précise. Attention, deux mots au sens très différents peuvent avoir la même racine.
• La recherche du radical par lemmatisation est plus précise. par contre ce traitement lexical demande plus de puissance de calcul.

Pour des projets où la précision est essentielle, la lemmatisation est généralement privilégiée. Pour des analyses rapides ou sur de gros volumes de données, la racinisation peut suffire.

Code source de la lemmatisation avec Python

Nul besoin d’être un développeur informatique de génie pour lemmatiser un texte. Le langage Python est assez simple à utiliser et propose des librairies d’analyse de corpus « clé en main ». Pour les avoir mis en œuvre assez régulièrement, je vous conseille le package NLTK (Natural Language Toolkit) maintenu par l’université de Pennsylvanie et la bibliothèque SpaCy developpé par Matt Honnibal.

Exemple de lemmatisation avec SpaCy

# Définir le package
import spacy

# Charger le modèle de langue française
nlp = spacy.load("fr_core_news_sm")

# Texte à lemmatiser
text = "Rien ne sert de courir ; il faut partir à point."

# Traitement du texte
doc = nlp(text)

# Affichage des lemmes et la classe grammaticale
for token in doc:
    print(token.text, "->", token.lemma_,token.pos_)

Que fait le code source ci-dessus ?
Découper la phrase en unités lexicales (tokenisation) puis étiqueter chaque unité avec son lemme et la classe grammaticale. Le résultat dans la console Python est le suivant :

Rien -> rien PRON
ne -> ne ADV
sert -> servir VERB
de -> de ADP
courir -> courir VERB
; -> ; PUNCT
il -> il PRON
faut -> falloir VERB
partir -> partir VERB
à -> à ADP
point -> point NOUN
. -> . PUNCT

La phrase « Rien ne sert de courir ; il faut partir à point. » est découpée en 12 unité de sens. La bibliothèque SpaCy s’en sort bien, les unités lexicales sont identifiées et les catégories grammaticales sont également renseignées (adjectif, verbe, nom commun, …).

Exemples d’utilisation de la lemmatisation

La lemmatisation est un processus de normalisation de corpus souvent utilisé en TALN. Par défaut, un texte est une donnée non structurée que la machine comprend difficilement. L’identification des lemmes condense la richesse du vocabulaire et par là même réduit les éléments non pertinents (bruit). Ces données structurées sont une ‘nourriture’ idéale pour tous les modèles d’apprentissage de l’Intelligence Artificielle.

Fouille de texte

La fouille de texte est la recherche d’information sur de gros volumes de données. Pour illustrer l’intérêt de lemmatisation, prenons l’exemple d’un texte dans lequel le rédacteur souhaite entourer toutes les formes du verbes « flâner ». Sans lemmatisation préalable, l’utilisateur devra repérer un à un les formes fléchies « flâne », « flânons », « flânâtes », … dans le texte. Avec la lemmatisation, une simple recherche sur « flâner » lui donnera toutes les occurrences du verbe.

Classification de document

Le but de la classification de document est de regrouper les données suivant leur contenu. Prenons l’exemple d’une boite mail générique sur laquelle arrivent toutes les demandes. Sans assistance par l’Intelligence Artificielle, l' »humain » ouvre le message, repère la demande puis redirige le mail vers le bon service, tâche rébarbatif et sans intérêt. Avec la lemmatisation, les modèles d’apprentissage auront appris, à partir des données structurées, à rediriger automatiquement le message vers le bon service.

La lemmatisation est un domaine de recherche stable du traitement automatique du langage naturel (TALN). Avec les bibliothèques gratuites telles que NLTK et spaCy, chacun peut se faire sa propre expérience du traitement de données non structurées. Peu importe votre, dès lors que le volume de texte devient important, la lemmatisation préalable est vivement conseillée.

Pour nous assister dans la relecture du texte, un correcteur d’orthographe peut se révéler être un allié précieux. Soyons honnête, un courriel, un document interne ou encore une dissertation sera lu avec moins d’intérêt s’il y a avec une faute à chaque ligne. De plus, la langue française est réputée pour être une langue complexe. Seuls les élus de l’Académie française maitrisent à la perfection les multiples exceptions grammaticales.

Voici donc un guide des correcteurs d’orthographe en français gratuits, qui facilitent la recherche de fautes dans les textes. La liste proposée n’est pas un classement sur le niveau de détection de fautes. L’article présente un ensemble d’outils dans lequel vous pourrez choisir le correcteur d’orthographe qui vous convient le mieux.

Grammalecte

Apparu en janvier 2011 sur la base d’Aspell, Grammalecte est un ensemble d’outils et de dictionnaires dédiés à la langue française. Ces aides à la rédaction se composent d’un correcteur orthographique, d’un conjugueur et d’un module consacré aux erreurs typographiques. Son principe de fonctionnement est d’analyser le paragraphe en cours de rédaction afin de proposer des suggestions et des corrections qu’il suffit d’accepter.

Entièrement gratuit, il est possible que vous utilisiez déjà Grammalecte dans votre logiciel de traitement de texte. En effet, ce correcteur grammatical est une extension installée fréquemment sur les suites bureautiques (Libre Office), sur les navigateurs internet (Firefox, Chrome) ou encore sur les clients de messagerie (Thunderbird).

L’installation de ce correcteur d’orthographe est rapide et facile à réaliser. La première étape consiste à se rendre dans le menu des extensions pour rechercher les dictionnaires à installer. Puis après le téléchargement des greffons, les aides à la rédaction s’insèrent dans l’éditeur de texte. Les outils de Grammalecte sont discrets et ne gênent pas l’ajout de nouveau texte à votre article. Lorsqu’un mot ou une locution est souligné en rouge, il suffit d’un clic droit pour afficher les propositions de correction.

Cordial

Depuis plus de trente ans, la société toulousaine Synapse développe des outils d’aide à la rédaction. Le nom du logiciel Cordial est en fait l’acronyme de « CORrecteur D’Imprécisions et Analyseur Lexico-syntaxique ». La société s’adresse à tous ceux qui ont besoin d’analyser des corpus aussi bien pour la correction que pour l’analyse. En effet, une version de Cordial a même été développée pour les chercheurs en linguistique comprenant en autres un outil l’étiquetage morpho-syntaxique.

Ce logiciel de correction grammaticale s’intègre facilement dans les traitements de texte courants aussi bien sous Windows que sous Macintosh. En plus de la correction orthographique, Cordial propose également des ressources permettant à chacun de progresser. Notamment sur le site internet, un simple clic vous amène sur les dictionnaires, les manuels de typographie et les fiches de grammaire.

Le logiciel Cordial se décline en deux versions, l’une payante pour les professionnels, l’autre gratuite pour un usage moins fréquent. Pour cela, il suffit de se rendre sur le site internet de Cordial pour soumettre votre texte au correcteur d’orthographe. Un code couleur guide le rédacteur dans l’amélioration et la correction du texte: du rouge pour les erreurs de syntaxe, du bleu pour les fautes d’orthographe et de grammaire, et du vert pour les suggestions. La limite de 1000 mots pour la version gratuite est largement suffisante pour corriger les textes de la vie quotidienne.

Techniques pour vérifier son texte

Pour limiter la longueur de l’article, la revue des correcteurs d’orthographe se résume à la présentation de deux outils. Un billet du blog sera consacré à outil de rédaction Antidote, au correcteur orthographique Scribens et à la startup MerciApp.

La relecture du texte est une étape essentielle après la rédaction d’un article. Des outils basés sur l’intelligence artificielle corrigent la majorité des fautes d’orthographe, de grammaire ou encore d’accord. En complément, je vous conseille de reprendre votre article quelques jours après l’avoir rédigé. Avec des yeux reposés, le coquilles sont bien plus faciles à corriger.