Introduction aux méthodes de traitement du langage naturel

pour les sciences sociales

Author

Sophie Balech et Christophe Benavent

Published

October 15, 2024

Préambule

“Au commencement était le verbe”, et désormais le verbe est partout, non pas l’esprit de Dieu, mais la parole humaine qui s’éteignait avec le vent, la rumeur mais qui désormais, accumule ses traces imprimées de manière systématique, non plus des petits mots passés de main en main, mais l’enregistrement des transactions informatiques. Le verbe est désormais une copie du monde, moins l’affirmation d’une vision, que la stratification de nos manifestations sociales.

C’est bien sur le fruit d’un développement technique engagés depuis 10 000 ans et dont l’imprimerie est une nouvelle étape. La révolution actuelle réside dans la colonisation de l’espace social, chaque bribes de parole est enregistrée , transcrite, archivée. Le livre n’est plus qu’un îlot dans un océan de texte.

Il y a un défi empirique pour les sciences sociales, la société produit massivement la documentation de son développement. L’exploitation de ces sources est un enjeu majeur pour la psychologique, sociologique, économique, le droit, les sciences de gestion en ouvrant un nouvel accès au données.

A mesure que ces données prolifèrent, des méthodes pour les analyser se sont développées à grande vitesse, moins pour des motivations d’études que pour répondre à des besoins opérationnels. Aujourd’hui, dans le sillage de l’invention des embeddings, nous sommes à l’ère des grands modèles de langages qui ouvrent de nouveaux horizons dans la capacité de produire du texte (par exemple des descriptions d’images), de transformer le texte (résumé ou traduction), et surtout de l’annoter (classification, NER…)

Le but de l’ouvrage

Ce e-book est le syllabus d’un cours que nous dispensons sous différents formats et avec différents degrés d’approfondissement. Il fait l’inventaire des méthodes les plus courantes incluant le développement des embeddings et aboutit à l’usage des LLM pour différentes formes d’annotations. Il a une vocation pratique, étudier des cas, et décrire des codes.

Les contributeurs

On ne peut (encore) en produire la liste exhaustives, mais plusieurs générations d’étudiants ont contribué à ce travail en explorant un certain nombre de jeux de données proposés ici.

Le plan du cours

Il s’organise selon les grandes étapes du processus d’analyse et des types de problèmes posés par le traitement et l’analyse du texte. Ce processus va de l’acquisition des données à leurs représentations en passant par des phases de transformation, mais aussi un ordre de complexité des modèles et des ressources.

Il suit ainsi une sorte de développement historique qui se construit par l’accumulation de différentes philosophies d’analyses et de méthodes et qui peut se présenter en trois grandes périodes:

  • compter les mots et jouer avec leur co-occurences

  • annoter des mots en s’appuyant sur leurs régularités syntaxiques.

  • encoder les mots dans un espace vectoriel, cette perspective a été ouverte par word2vec , étendue avec les transformers, systématisée par les grands modèles de langages tels que gpt4 ou Bloom.

Voici les raisons qui organisent le cours en 20 chapitres (c’est à ajuster au cours de la rédaction)

  • Préambule (ce que vous êtes en train de lire !)

  • Chapitre 1 : une introduction générale à des éléments linguistique et technique et sociaux de l’analyse du langage naturel et de ses fulgurantes évolutions au cours de la dernière décennie.

  • Chapitre 2 : Constituer des corpus. Pour les sciences sociales, le texte est un document qu’on étudie par collection. Il faut aussi penser à la notion de corpus.

  • Chapitre 4 : corpus - techniques avancées D’un point de vue matériel le corpus est aussi

  • Chapitre 5 : Explorer et naviguer dans le corpus

  • Chapitre 6 : Analyse quantitative du corpus

  • Chapitre 7 : Tokenisation et dtm

  • Chapitre 8 : Analyse des co-occurences

  • Chapitre 9 : au début il y avait l’analyse factorielle

  • Chapitre 10 : SVD et LSA :

  • Chapitre 11 : Topic model

  • Chapitre 12 : word2vec to doc2vec

  • Chapitre 13 : Transformers

  • Chapitre 14 : Supervised modeling

  • Chapitre 15 : LLM

  • Chapitre 16 : NER

  • Chapitre 17 : abstracting

  • Chapitre 18 : generative models , un monde à inventer.

Data sets

On s’appuiera sur des data test “réel” et publics

  • Trump Tweeter Archive : c’est un site qui rassemble tous les tweets émis par Donald Trump depuis 2010, et propose un outil de navigation.

  • Tripadvisor en Polynésie constitués par Gwevy et Chabrier de l’Université de Polynésie.

  • Airbnb Paris 2023 à partir de Inside Airbnb

  • PMP40ans : ce set de données comprend tous les résumés d’articles publiés par la revue Politique et Management Public sur une période de 40 années de sa naissance en 1983 jusqu’en 2023. C’est un observatoire intéressant d’une discipline naissance et de l’évolution des normes professionnelles de la recherche en gestion.

  • RapLyrics : Une collection de texte de rap français des années 80 à 2020 constituées par un groupe d’étudiants.

Packages

Ce cours utilise les ressources de r, de rstudio et de Quarto, de l’analyse des données à la publication de ce book. On utilise Zotero pour gérer la bibliographie.Il n’y a jamais une solution unique, nous avons fait des choix de méthodes qui se reflètent dans celui des packages dont voici la liste commentée. Pour l’usage des modèle LLM on basculera progressivement en python qui propose immensément plus de ressources.

Show the code
#environnement de travail
library(tidyverse) # the perfect tool box. Comprend dplyr pour la gestion des données, ggplot pour les graphiques, et d'autres packages utiles comme lubreidate ou stringr.
library(flextable) # pour produire des tableaux élégants

#ses compléments  
library(ggwordcloud) ##complete ggplot pour les nuages de mots
library(ggrepel) ## pour éviter la superposition de label

#glosaire 
library(glossary)
glossary_path("glossary.yml")
# un exemple pour ajouter des termes au cours de la rédaction
#glossary_add(term = "loi de Dirichlet",
#             def = "la loi de Dirichlet, souvent notée Dir(α), est une famille de lois de probabilité continues pour des variables #aléatoires multinomiales.(Ex. probabilités d'un mot parmi les trois milles d'usage courant")

#ressource nlp  
library(quanteda) 
library(udpipe)

#analyse de données
library(FactoMineR)
library(factoextra)

#python
library(reticulate)

Ressources complémentaires

Pour aller plus loin, il est possible de suivre le NLPWorkshop de Acss ou le cours ” introduction au NLP pour les sciences sociales ” dispensé chaque année en novembre au sein de la PSL week.