12 Modèles de Topic
Show the code
#les librairies du chapitre
library(tidyverse)
library(tokenizers)
library(quanteda)
library(quanteda.textplots)
library(flextable)
# glossaire
library(glossary)
glossary_path("glossary.yml")
glossary_style(color = "purple",
text_decoration = "underline",
def_bg = "#333",
def_color = "white")Show the code
glossary_popup("click")
#theme settings
theme_set(theme_minimal())
set_flextable_defaults(
font.size = 10, theme_fun = theme_vanilla,
padding = 6,
background.color = "#EFEFEF")Objectifs du chapitre :
Avec l’analyse des données classiques, on classifie soit les termes soit les documents, on ne saisit pas le fait qu’un même document puisse relever de plusieurs thématiques. C’est l’objet principal des analyses de topics
**
L’idée d’identifier des thématiques sémantique dans un corpus de texte est ancienne. AFC, clustering et Analyses de réseaux en sont les premières tentatives qui se poursuit avec la généralisation de techniques factorielle fondée sur la décomposition SVD.
Mais l’innovation majeure est celle de la méthode LDA, dont l’apport essentiel est d’identifier les thématique au niveau des documents plutôt qu’à celui du corpus. Si dans les approches précédentes un texte sera classifié parmi l’un des k sujets que l’on cherche à identifier, désormais il se traduit par une distribution de probabilité d’appartenir à chacun des k topics.
12.1 LSA et les autres
L’analyse des classes latentes ? est-ce nécessaire ?
12.2 Le modèle fondateur : LDA
sur ce plan On doit beaucoup à Blei, Ng, and Jordan (2003)
12.2.1 la struture du modèle
il appuie sur une représentation statistique où les mots se distribuent selon une loi de probabilité particulière en occurrence la loi de Dirichlet. loi de Dirichletla loi de Dirichlet, souvent notée Dir(α), est une famille de lois de probabilité continues pour des variables aléatoires multinomiales.Ex. probabilités d’un mot parmi les trois milles d’usage courant