9  Des tokens à leurs co-occurences.

Show the code
#les librairies du chapître
library(tidyverse)
#accessoires de ggplot
library(ggridges)
library(ggrepel)
library(ggwordcloud)
library(igraph)
library(ggraph)

theme_set(theme_minimal()) 

#NLP
library(tokenizers)
library(quanteda)
library(quanteda.textplots)
library(quanteda.textstats )

## Analyse de données
library(FactoMineR)
library(factoextra)

# glossaire
library(glossary)
glossary_path("glossary.yml")
glossary_style(color = "purple", 
               text_decoration = "underline",
               def_bg = "#333",
               def_color = "white")
Show the code
glossary_popup("click")
#glossary_add(term = "hapax", def = "Mot unique dans un corpus donné")

#tableau
library(flextable)
set_flextable_defaults(
  font.size = 10, theme_fun = theme_vanilla,
  padding = 6,
  background.color = "#EFEFEF")

#palettes

library(wesanderson)
#names(wes_palettes)
col_1<-c("#85D4E3")
col_1b<-c("#F4B5BD")
col_2<-c <-c("#85D4E3", "#F4B5BD")
col_4<-c("#85D4E3", "#F4B5BD", "#9C964A", "#CDC08C")

Objectifs du chapitre :

Puisque nous savons découper une chaîne de caractères en unités élémentaires, mais aussi en caractériser la nature (POS,…), nous allons apprendre à mieux représenter ces éléments sous formes de tableaux statistiques

Dans ce chapitre, nous allons travailler sur les textes de MC Solaar, soit un ensemble de 44 chansons (et rien n’empêche de mettre le son.

9.1 Décomposons le pipe

9.1.1 lire les données et les sélectionner

On commence par lire le fichier, en apportant des petites corrections.

Show the code
###LECTURE du FICHIERS
df <- read_csv("data/RapLyrics.csv", 
    locale = locale(encoding = "WINDOWS-1252")) |>
  filter(Artiste=="MC Solaar")|>
  mutate(Paroles=str_remove_all(Paroles, "<U\\+[0-9A-F]{4}>"))

9.1.2 Constituer le corpus

On constitue le corpus et on en profites pour examiner les caractéristiques du texte.

Show the code
### création du corpus
corpus <- corpus(df$Paroles, doc_var=df)  # build a new corpus from the texts
summary<-as.data.frame(summary(corpus))

summary2<-cbind(df$Titre,df$Date,summary)|>
  rename(Titre=1,
         Date=2)|>
  select(-Text,-3) |>
  mutate(TTR=Types/Tokens,
         complexité=Tokens/Sentences,
         Year=year(Date)) |>
  mutate(Titre=str_remove_all(Titre, "<U\\+[0-9A-F]{4}>"))

ggplot(summary2, aes(x=Year,y=TTR))+
  geom_text_repel(aes(label=Titre), size=3)+
  geom_smooth()+ labs(title="Evolution de la diversité du lexique (TTR)")

9.1.3 tokenizer

On passe à la tokenisation en nettoyant la ponctuation, les nombres et les symboles. Ainsi que les stopwords.

Show the code
# Créer un dictionnaire de stop words en français
stopwords_fr <- stopwords("fr", source = "stopwords-iso")

toks <- tokens(df$Paroles,
               remove_punct = TRUE, 
               remove_numbers = TRUE, 
               remove_symbols = TRUE) |>
  tokens_remove(pattern = stopwords_fr)

head(toks)
Tokens consisting of 6 documents.
text1 :
 [1] "Fuck"      "Terre"     "meurs"     "testament" "Déposez"   "cendres"  
 [7] "bouche"    "opposants" "Virez"     "coup"      "d'front"   "kick"     
[ ... and 360 more ]

text2 :
 [1] "J'étais"    "cool"       "assis"      "banc"       "c'était"   
 [6] "printemps"  "cueillent"  "marguerite" "amants"     "Overdose"  
[11] "douceur"    "jouent"    
[ ... and 211 more ]

text3 :
 [1] "s'étaient"  "rencontrés" "bancs"      "d'l'école"  "heure"     
 [6] "colle"      "maths"      "cours"      "d'espagnol" "C'était"   
[11] "fille"      "fun"       
[ ... and 160 more ]

text4 :
 [1] "passe-t-il" "c'est"      "personnel"  "douleur"    "éternelle" 
 [6] "partageais" "qu'avec"    "ciel"       "monstre"    "yeux"      
[11] "verts"      "synonyme"  
[ ... and 215 more ]

text5 :
 [1] "Hasta"      "siempre"    "viva"       "Revolucion" "Rapero"    
 [6] "numero"     "uno"        "el"         "grito"      "cancion"   
[11] "Soy"        "el"        
[ ... and 202 more ]

text6 :
 [1] "vie"        "belle"      "vie"        "belle"      "vie"       
 [6] "belle"      "chambre"    "jour"       "normal"     "J'apprends"
[11] "journaux"   "j'suis"    
[ ... and 287 more ]

9.1.4 Construire le dfm

Les tokens sont dans quanteda une liste de mots associés à chaque texte. En l’Etat ils ne peuvent être exploités directement. On aura besoin dans les analyses ultérieures de les recomposer sous la forme d’un tableau texte x mots, dans lequel chaque cellule représente le nombre de fois où un mot est employé dans un texte.

Des outils tels que quanteda, simplifie la tâche en proposant une fonction qui fait l’opération simplement en une fonction élémentaire. Cette matrice que nous appelons dfm pour document feature matrix (les matrices peuvent êtres des mots ou d’autres termes comme des collocations) , possède une particularité : c’est une matrice creuse, ou vide, la plus part de ses éléments sont égaux à zéro.

Show the code
dfm<-dfm(toks)

head(dfm)
Document-feature matrix of: 6 documents, 4,876 features (96.28% sparse) and 0 docvars.
       features
docs    fuck terre meurs testament déposez cendres bouche opposants virez coup
  text1    1     4     1         1       1       1      1         1     1    1
  text2    0     0     0         0       0       0      0         0     0    0
  text3    0     0     0         0       0       0      0         0     0    0
  text4    0     0     0         0       0       0      0         0     0    0
  text5    0     0     0         0       0       0      0         0     0    0
  text6    0     0     0         0       0       0      0         0     0    0
[ reached max_nfeat ... 4,866 more features ]

Pour mieux s’en représenter le contenu, un petit nuage de mots fera l’affaire. On sélectionne ceux qui ont été employés au moins cinq fois.

Show the code
dfm_df<-convert(dfm, to="data.frame")

foo1<- cbind(summary2$Titre, dfm_df) |>
  rename(Titre=1)|>
  select(-doc_id)|>
  pivot_longer(-Titre, names_to = "Tokens", values_to = "Fréquence") |>
    group_by(Tokens)|>
  summarise(Fréquence=sum(Fréquence)) |>
  filter( Fréquence>5)

n<-nrow(foo1)
set.seed(42)
ggplot(foo1, aes(label = Tokens, size = Fréquence)) +
  geom_text_wordcloud(aes(color=Fréquence)) +
  scale_size_area(max_size = 12) +
  theme_minimal()+
  scale_color_gradient(low = "brown", high = "red")

Show the code
foo<- cbind(summary2$Titre, dfm_df) |>
  rename(Titre=1)|>
  select(-doc_id)|>
  pivot_longer(-Titre, names_to = "Tokens", values_to = "Fréquence") |>
    group_by(Tokens)|>
  summarise(Fréquence=sum(Fréquence)) |>
  filter( Fréquence<2)
l<-nrow(foo)

foo<- cbind(summary2$Titre, dfm_df) |>
  rename(Titre=1)|>
  select(-doc_id)|>
  pivot_longer(-Titre, names_to = "Tokens", values_to = "Fréquence") |>
    group_by(Tokens)|>
  summarise(Fréquence=sum(Fréquence)) |>
  filter( Fréquence>1)
m<-nrow(foo)

A ce stade on dispose d’un tableau textes x mots de dimension [44,5800] dont la grande part sont des hapaxMot unique dans un corpus donné , on en compte 3522. Ils sont 1354 à être répété plus d’une fois, et 270 6 fois et plus.

En voici une image condensée.

Show the code
df_afc <- cbind(summary2$Titre, dfm_df) |>
  rename(Titre=1)|>
  select(-doc_id)|>
  pivot_longer(-Titre, names_to = "Tokens", values_to = "Fréquence_text") |>
    group_by(Titre, Tokens)|>
  summarise(Fréquence_text=sum(Fréquence_text))|>
  ungroup()|>
  left_join(foo1)|>
  filter(!is.na(Fréquence))

foo<- df_afc|>
  filter(Fréquence>15)

ggplot(foo, aes(Titre, Tokens, fill = Fréquence_text)) +
  geom_tile() +
  scale_fill_gradient(low = "white", high = "grey10") +
  theme_minimal() +
  theme(
    axis.text.x = element_text(angle = 60, vjust = 1, size = 7, hjust = 1),
    axis.text.y = element_text(size = 7),
    axis.title.x = element_blank(),
    axis.title.y = element_blank()
  ) +
  labs(fill = "Value")

Show the code
df_AFC<-df_afc %>%
  select(-Fréquence) |>
  pivot_wider(id_cols=Tokens, names_from = "Titre", values_from = "Fréquence_text")%>%
  column_to_rownames(var="Tokens")

head(df_AFC[,1:6])
      A La Claire Fontaine AIWA Arkansas Baby Love Bouge de là Caroline
acte                     0    0        0         0           0        0
aiwa                     0   12        0         0           0        0
aller                    0    0        0         0           1        0
amis                     0    0        0         0           1        0
amor                     0    0        0         0           0        0
anges                    0    0        0         0           0        0

9.1.5 Son analyse par la vénérable AFC

L’ Analyse factorielle des Correspondance, héritage de Benzecri (2006), est l’outil traditionnel de l’analyse textuelle et de ce type de tableau. Elle permet de donner une représentation des lignes et des colonnes, des mots et des textes, simultanément.

Show the code
res.ca <- CA(df_AFC, graph = FALSE)
#fviz_screeplot(res.ca, addlabels = TRUE, ylim = c(0, 10))

d_word<-as.data.frame(res.ca$row$coord) %>%
  rownames_to_column(var="Tokens") |>
  left_join(foo1) %>%filter(Fréquence>10)

d_texte<-as.data.frame(res.ca$col$coord)%>%
  rownames_to_column(var="Tokens") |>
  mutate(Fréquence=10)

ca<-rbind(d_word,d_texte) %>%
  mutate(Type=ifelse(Fréquence==10,"texte", "word"))

ggplot(ca, aes(x=`Dim 1`, y=`Dim 2`, color=Type))+
  geom_text_repel(aes(label=Tokens), size=2, max.overlaps =80)+
  theme(
    axis.text.x = element_text(angle = 45, vjust = 1, size = 8, hjust = 1),
    axis.text.y = element_text(size = 8),
    axis.title.x = element_blank(),
    axis.title.y = element_blank()
  ) #+ylim(-2,1)+xlim(-1,1)

Nous verrons dans le chapitre suivant des méthodes bien plus efficace.

9.2 Tf-idf

Le dfm a un défaut, il ne tient pas compte du fait que les mots fréquents peuvent être partagés par un grand nombre de texte et n’indiquer rien d’autre qu’un élément régulier du corpus, un plus petit dénominateur commun, des mots un peu moins fréquents mais concentrés sur quelques textes sont plus informatifs.

C’est cette idée qui conduit à une autre métrique, celle du Tf-idf qui pondère la fréquence d’un mot dans un texte par l’inverse de sa fréquence dans les documents. Les mots qu’on retrouvent partout sont pénalisés.

Dans un dfm, chaque cellule du tableau indique la fréquence d’un mot dans un document. Cette mesure cependant peut ne pas être pertinentes. Les mots les plus fréquents peuvent se distribuer également entre les documents, et leur fréquence indique au mieux un lieu commun.

L’idée clé va être de pondérer la fréquence d’un terme dans un document par la présence de ce terme à travers les documents. S’il se retrouve partout on en minore le poids, s’ils est présent dans une petit groupe de document on va lui donner de l’importance.

9.2.1 le calcul

Le TF-IDF est calculé en deux étapes :

  1. Term Frequency (TF) : La fréquence d’un terme \(t\) dans un document \(d\) est définie par :\(f_{td}\)

\(TF_{t,d} = \frac{f_{td}}{f_{.d}}\)

  1. Inverse Document Frequency (IDF) : L’IDF d’un terme ( t ) dans un corpus de documents est donnée par :

\(IDF_{t} = \log (\frac{D}{D_t} )\)

Le TF-IDF est alors le produit du TF et de l’IDF :

$ (t, d) = (t, d) (t)$

9.2.2 les variantes

9.2.3 On met en oeuvre

9.2.4 le concept de tfidf

Cette idée est formalisée par le critère du TfIdf. La fréquence d’un terme dans un document (Tf) par être pondéré par l’inverse de la fréquence des documents dans lesquels il est présent (Idf). S’il est présent partout (c’est le cas des verbes auxiliaires) sont poids sera minimal, s’il est concentré dans un petit nombre de documents on lui donnera un poids plus important.

Formalisation

la fréquence brute des termes est le rapport du nombre de termes i dans le document d sur le nombre de termes du document i

\(tf_{id}= n_{id}\)

Cette fréquence peut être modulée par le nombre de mots dans le texte, cette fréquence relative permet d’avoir une idée de la densité d’un terme dans un document.

\(tf_{id}= n_{id}/\sum_{i}(n_{id})\)

la pondération

\(idf_{id}= log(D_{}/D_{i})\)

Ce concept souligne une chose capitale : un terme, ou token, dans un corpus, est caractérisé par une double distribution : d’une part sa part dans l’ensemble des termes de références, et d’autre part, sa présence à travers les documents.

9.2.5 D’autres variantes

Celles de l’idf https://programminghistorian.org/fr/lecons/analyse-de-documents-avec-tfidf

le bm25 est une généralisation à une requête Q de plusieurs termes et vise à qualifier la pertinence

on développe avec une étude empirique.

9.3 Calculer les coocurrences

9.3.1 Un simple exemple

on continue avec quanteda.

9.3.2 Des mesures plus sensibles

les co-occurrences peuvent être calculées sur une fenêtre de texte. Deux mots ne sont pas forcément similaires s’ils sont dans le même texte, il le sont plus s’ils sont employés dans la même séquence de texte, dans une même fenêtre. C’est une manière de prendre mieux en compte le contexte, cette notion essentielle pour identifier le sens des termes : il est lié à leur proximités aux autres termes de leur contexte. Le sens des mots se déterminent par leurs usages communs.

9.3.3 ou des distances

9.4 Références

Benzecri, Jean-Paul. 2006. “L’analyse de Données : Histoire, Bilan, Projets Et Perspectives,” 5.