Depuis une dizaine d’années, une clameur venue de la Silicon Valley nous pousse à prendre conscience de la révolution en cours. De quoi s’agit-il ? Les progrès de l’Intelligence Artificielle (IA) seraient tellement importants que les humains peuvent dès à présent débrancher leur cerveau.
Cette entrée en matière un peu triviale fait suite à un entretien que j’ai eu avec un chercheur au CNRS. Nous sommes tous les deux réticents à utiliser un agent conversationnel tel que ChatGPT dans nos travaux quotidiens. Quelques jours après notre rencontre, le doute s’est installé : est-ce que j’accorde aussi peu d’intérêt à chatGPT à cause de mes a priori et du manque d’information sur l’outil ?
Compréhension et interprétation du langage humain
La première chose à faire est d’évaluer le niveau de compréhension de l’agent conversationnel. Est-ce que l’IA décode et traite correctement les données en entrée ?
Cette étape est loin d’être un processus facile à réaliser. En partant d’un ensemble de caractères, l’IA devra donner une fonction à chaque mot, définir le contexte général de la phrase puis, in fine, déterminer l’intention ou la demande de l’utilisateur.
Étiquetage grammatical
Autrefois réalisé à la main, l’étiquetage est le marquage de mots ou de mots dans une phrase. Le but de l’opération est d’ajouter un calque sur le texte afin d’identifier le rôle de chaque séquence. Concrètement, un humain ou un logiciel (par exemple TreeTagger Universität Stuttgart) annote chaque mot avec la catégorie grammaticale (nom, verbe, adjectif,…) et le type de relation entre les séquences de la phrase.
Prompt: peux-tu étiqueter grammaticalement la phrase suivante:
Cerise déguste une cerise à la chantilly à Chantilly
Cerise : nom commun, sujet (sujet de la phrase)
déguste : verbe, verbe principal, 3ème personne du singulier, indicatif présent
une : déterminant indéfini, article défini, introduit le nom "cerise"
cerise : nom commun, complément d'objet direct (COD) du verbe "déguste"
à : préposition
la : déterminant défini, article défini, introduit "chantilly"
chantilly : nom commun, complément du nom "à la chantilly"
à : préposition
Chantilly : nom propre, complément du nom "à Chantilly" (lieu)
Aucun souci, l’étiquetage est correct tant au niveau du genre grammatical qu’au niveau de la fonction de chaque partie de la phrase.
Extraction d’entités nommées
Le deuxième test que nous allons mener est la reconnaissance d’entités nommées (Named Entity Recognition). Est-ce que l’IA de ChatGPT identifie les informations clés dans un corpus non structuré ?
Imaginons que l’on veuille évaluer le sens de la phrase en identifiant les personnages, les lieux, les dates, ou encore les quantités.
Prompt: extrait les entités nommées de: Depuis le 25 mai, Roland-Garros accueille 128 joueurs du monde entier pendant deux semaines à l’ouest de Paris
25 mai (date)
Roland-Garros (lieu / événement)
128 joueurs (nombre / entité numérique)
le monde entier (entité géographique / population mondiale)
deux semaines (durée)
l’ouest de Paris (lieu / région)
ChatGPT s’en sort haut la main, les entités nommées retournées résument bien le sens de la phrase. Avec ces données, il devient possible, par exemple, d’évaluer la proximité sémantique de deux textes.
Test de compréhension du langage naturel
Après avoir vérifié que l’étiquetage se fait correctement, intéressons nous au contexte de la phrase. En fonction de l’ordre des mots et de la ponctuation, la demande de l’utilisateur aura un sens différent. Est-ce que l’IA est capable d’interpréter correctement l’intention de l’humain ?
Prompt: lorsque j'avais 18 ans ma soeur avait la moitié de mon age. J'ai 49 ans.
Quel age a ma soeur ?
Aujourd'hui, vous avez 49 ans. En conservant cette différence d'âge, votre sœur doit avoir 49 - 9 = 40 ans.
Prompt: le train part à 18h20 de la gare de Paris. Le trajet dure 3:45 et la SNCF a signalé à Paris un incident technique qu'ils ont mis une heure à résoudre. A quelle heure arrive le train à Strasbourg ?
Le train arrivera à Strasbourg vers 23h05.
Dans les deux cas, ChatGPT a parfaitement compris notre demande.
Publications similaires
