library(tidyverse) #on ne peut plus s'en passerlibrary(quanteda) # les bases du nlplibrary(quanteda.textstats)library(quanteda.textmodels)library(scales)library(ggwordcloud)library(readr) #lire les donneeslibrary(pals)library(ggrepel) #gestion des labelslibrary(plotly)library(doc2vec)library(tidyr)library(word2vec)library(uwot)library('extrafont') #c'est pour igraph# Import des fontes du système - cela peut être long#font_import()#fonts() # Liste des polices disponibles#loadfonts(device = "pdf") # Indiquer device = "pdf" pour produire un pdf theme_set(theme_minimal())col<-c("#ca7dcc","#fb6a4a","orange","#67000d", "firebrick", "pink", "ivory3","skyblue")
simple, endogène . Un bert possible mais ne reflète pas la langue dans cette revue, on écarte donc l’option de modèle préèentrainés.
Comment ?
vectoriser les mots / tokens
vectoriser les documents
vectoriser les concepts
D’autre méthodes ? Il y en a beaucup^s un essai avec paragragh to vec
La suite est un relatif échec. On reste à l’approche la plus simple.
On utilise un modèle particulier qui est paragraph2vec. Analogie à word to vec il comprend un token supplémentaire qui est le document, vectorisé dans le même espace que celui des mots. Ce qu’on peut en attendre- résoudre simultanéement l’embeddings des termes et celui des documents - un apport d’information par l’identification du document. Mais comment çà oeuvre ?
On utilise le package Word2vec de bnozacs ( à préciser)
les étapes
Une approche de cleaning par annotation
La stratégie est de s’appuyer sur une annotation intégrale des textes.
Udpipe
Code
# On constitue le corpus et on annotelibrary(udpipe)dl <-udpipe_download_model(language ="french")udmodel<-udpipe_load_model(file = dl$file_model)tokens0 <-udpipe_annotate(udmodel, x = dn$text, trace=100) #annotation
2023-06-29 09:46:19 Annotating text fragment 1/955
2023-06-29 09:46:56 Annotating text fragment 101/955
2023-06-29 09:47:35 Annotating text fragment 201/955
2023-06-29 09:48:15 Annotating text fragment 301/955
2023-06-29 09:48:55 Annotating text fragment 401/955
2023-06-29 09:49:38 Annotating text fragment 501/955
2023-06-29 09:50:20 Annotating text fragment 601/955
2023-06-29 09:51:06 Annotating text fragment 701/955
2023-06-29 09:51:43 Annotating text fragment 801/955
2023-06-29 09:52:23 Annotating text fragment 901/955
Code
#on traite l'indextokens<-tokens0 %>%as.data.frame() %>%mutate(doc_id=as.numeric(str_remove(doc_id,"doc")))#la distribution des POSg<-ggplot(tokens, aes(x=upos))+geom_bar()+coord_flip()+labs(title ="Distribution des parts of speech")g
Code
ggsave("./images/pos01.jpeg", plot=g , width =27, height =18, units ="cm")
On manipule les données pour construire un dictionnaire quantitatif
Code
#on matche à key et on content le nombre de token par documentdoc <- tokens %>%group_by(doc_id) %>%summarise(n_tok_doc=n()) %>%cbind(dn[,1])#pour l'IDFwords_total<-as.numeric(nrow(tokens)) #nombre total de tokens dans le corpusdoc_total=as.numeric(nrow(dn))#on calcule la frequence des lemmas/upostokens_lemma<-tokens %>%left_join(doc)%>%group_by(Key,lemma)%>%summarise(n=n(), Key=first(Key),upos=first(upos))tokens_lemma2<-tokens_lemma%>%group_by(lemma)%>%summarise(n_doc=n(), upos=first(upos),frequency=sum(n),tf= frequency/words_total,idf=log(doc_total/n_doc),tfidf=tf*idf)ggplot(tokens_lemma2, aes(x=tfidf))+geom_density(kernel ="triangular")+scale_x_log10()+scale_y_log10()
On a donc un vocabulaire de \(n\) mots et un volume de $M\(101 000 mots environ répartit en ```\)N$``` 955 textes.
Construction du modèle
les hyper paramètre : 800 dim pour allez au plus est saisir le sémantique plutot que le syntaxique
une fenêtre plutoto large dans ce contexte les corrélations sot longues
le minimum fixé à 4 , car on ne veut rien perdre
Code
#library(word2vec)#restructurationmodel <-word2vec(x =text$text, type ="skip-gram", dim =800, iter =200, window=9,min_count =7, lr =0.04, threads =4)words <-as.matrix(model)lookslike <-predict(model, c( "service", "public" ), type ="nearest", top_n =20)lookslike
$service
term1 term2 similarity rank
1 service œuvre 0.7635384 1
2 service état 0.7267305 2
3 service évaluation 0.7149113 3
4 service système 0.7133485 4
5 service évolution 0.7105619 5
6 service économique 0.7104794 6
7 service étude 0.7078722 7
8 service social 0.7033300 8
9 service évidence 0.7028862 9
10 service tout 0.7004151 10
11 service secteur 0.6968539 11
12 service évaluer 0.6858956 12
13 service également 0.6840497 13
14 service très 0.6788934 14
15 service élément 0.6788385 15
16 service public 0.6784084 16
17 service souvent 0.6782345 17
18 service type 0.6779736 18
19 service viser 0.6753900 19
20 service élu 0.6751122 20
$public
term1 term2 similarity rank
1 public pouvoir 0.7040223 1
2 public politique 0.6982924 2
3 public œuvre 0.6982276 3
4 public processus 0.6980888 4
5 public étude 0.6950630 5
6 public question 0.6930346 6
7 public évaluation 0.6924482 7
8 public évolution 0.6842593 8
9 public état 0.6839386 9
10 public plus 0.6808208 10
11 public service 0.6784084 11
12 public évidence 0.6660100 12
13 public proposer 0.6657009 13
14 public relation 0.6656160 14
15 public économique 0.6626582 15
16 public rapport 0.6587083 16
17 public secteur 0.6580645 17
18 public social 0.6551687 18
19 public prendre 0.6543925 19
20 public problème 0.6537768 20
Un concept est formé d’une phrase composée des mots clés qui s’y rapportent, on les élabore progressivement par ajustements successif en les empruntant dans le dictionnaire.