5  Manipuler les chaines de caractères

Objectifs du chapitre :

*Apprendre à manipuler les chaines de caractères ainsi que les regex*

</div>
Show the code
#les librairies du chapître
library(tidyverse)
library(readr)
library(quanteda)
library(flextable)
theme_set(theme_minimal()) 

set_flextable_defaults(
  font.size = 10, theme_fun = theme_vanilla,
  padding = 6,
  background.color = "#EFEFEF")


df <- read_csv("data/PMPLast3.csv", 
    locale = locale(encoding = "WINDOWS-1252")) %>%
  rename(Year=3, Text=11)

Environnement de travail

5.1 Stringr

[stringr](https://stringr.tidyverse.org/index.html) est le package de la suite tidyverse destiné à manipuler les chaînes de caractère.

5.1.1 Compter

Dans le code suivant on utilise le set de donnée PMP40ans. Le but est de compter le nombre de fois où un terme apparaît dans chacun des textes avec la fonction str_count. On en donne l’évolution au cours du temps

Show the code
foo <- df %>% 
  dplyr::select(Year, Text)%>% 
  filter(!is.na(Text))%>% #on filtre les textes manquants
  mutate(n=str_count(Text, "évaluation")) %>% #
  group_by(Year)%>% #on agrège sur l'année 
  summarise(n=sum(n))

ggplot(foo, aes(Year,n))+geom_line() +
  geom_smooth()+
  ylim(0,40)

5.1.2 Extraire, supprimer et remplacer

Dans certaines situations on peut souhaiter extraire une chaîne de caractère pour l’utiliser à un autre usage.L’exemple ordinaire est celui d’extraire l’année d’une date ou un auteur d’un titre.

str_extract

str_replace

5.1.3 Majuscules, minuscule et espaces.

5.2 Regex

Dans la section précédente on a appris à rechercher une chaîne de caractères, ou plusieurs dans une chaîne de caractères, à les compter, les extraire, les enlever, les remplacer. Dans nos exemples, on a employé des pattern simple. Dans l’exemple “évaluation”, on a tenu compte uniquement de cette forme, elle aurait pu être au pluriel, porté une majuscule, exacte ou inexacte. L’enjeu est de pouvoir saisir toute les variantes en une seule expression.

Dans notre exemple la solution est la suivante : [E|e|é]valuation.*, en voulant saisir plus de variation on peut employer [E|e|é]valu.* qui permet se saisir les former verbales.

Une expression régulière, ou regex, ou expression rationnelle ou expression normale ou motif est une chaîne de caractères qui décrit, selon une syntaxe précise, un ensemble de chaînes de caractères possibles. Son invention est attribuée au logicien Stephen Cole Kleene)

sa pratique se fonde sur une forte théorie.

5.2.1 les éléments principaux

https://towardsdatascience.com/a-gentle-introduction-to-regular-expressions-with-r-df5e897ca432

Les regex reposent sur plusieurs concepts :

  • des jeux de caractères qui sont défini par des crochets []. Dans l’exemple suivant on remplace toutes les voyelles, par rien, puis toute les majuscules par X. Il y a différentes variantes par exemple [A-Z] pour les majuscules ou [0-9] pour les chiffres.
Show the code
# Mathias Malzieu
x<-c("Si Cendrillon avait eu une horloge dans le coeur, elle aurait bloqué les aiguilles à minuit moins une et se serait éclaté au bal toute sa vie.")

str_replace_all(x,"[aeiou]", "")
[1] "S Cndrlln vt  n hrlg dns l cr, ll rt blqé ls glls à mnt mns n t s srt éclté  bl tt s v."
Show the code
str_replace_all(x,"[A-Z]", "X")
[1] "Xi Xendrillon avait eu une horloge dans le coeur, elle aurait bloqué les aiguilles à minuit moins une et se serait éclaté au bal toute sa vie."
  • Les méta caractères représentent un type de caractère. Ils commencent généralement par une barre oblique inverse (backslash). La barre oblique inverse étant un caractère spécial dans R, elle doit être échappée chaque fois qu’elle est utilisée avec une autre barre oblique inverse. En d’autres termes, R exige deux barres obliques inverses lors de l’utilisation de méta caractères. Chaque méta-caractère correspondra à un seul caractère.

\\s : Ce méta caractère représente les espaces. Il correspondra à chaque espace, tabulation et nouvelle ligne.

  • Les quantificateurs permette de contrôler le nombre de caractère que l’on attend. Par exemple , le quantificateur + indique que l’on souhaite que l’élément recherché apparaisse une ou plus fois. Si l’action est d’identifier a, a+, renvoie a, aa, aaa etc . Ceci ne semble pas très utile, sauf si le caractère peut être n’importe quelle lettre de l’alphabet, ce qui est représenté par le . Une variante du + est *, c’est la même idée mais cela inclue l’option de 0 caractère.

  • Groupes de capture

5.2.2 Des formules usuelles

La formulation de regex est un art, dans le quotidien on se contentera de reprendre des formules communes et d’utiliser des générateurs de regex comme xxxx

en voici quelles-unes

  • date \[0-9\]{2}-\[0-9\]{2}-\[0-9\]{2}"

  • mention

  • adresse web

  • numéro de téléphone

5.3 Conclusion

Sur le plan pratique nous avons fortement avancé, nous pouvons jouer avec les chaînes de caractère, et en saisir les variations. nous avons les moyens de pré-traiter le texte

  • pour réduire les morphologies
  • pour extraire des entités nommées
  • …