15  Classification with embeddings

Objectifs du chapitre :

L’histoire de la linguistique computationnelle est intimement liée au machine learning, et à la tâche de classification. Le principe général de l’apprentissage artificiel consiste d’abord à choisir les caractéristiques qui vont être employées pour prédire une variable donnée, ensuite à choisir un modèle, puis à entraîner sur un premier jeu de donnée, et enfin à l’évaluer sur la base d’un second échantillon de données. Le processus est itératifs et vise à choisir les hyper-paramètres les plus adéquation pour maximiser la capacité prédictive du modèle

Environnement de travail

Show the code
#les librairies du chapître
library(tidyverse)
library(tokenizers)
library(quanteda)
library(quanteda.textplots)
library(flextable)

theme_set(theme_minimal()) 

set_flextable_defaults(
  font.size = 10, theme_fun = theme_vanilla,
  padding = 6,
  background.color = "#EFEFEF")

15.1 Un cadre général

Processus d’apprentissage machine

-jouer avec les réseaux de neurone est forment recommandé.

15.1.1 Ce qu’on cherche à prédire

le rôle central de l’annotation.

L’enjeu de l’annotation humaine. kappa.

15.1.2 Avec quoi on cherche à prédire

le featuring

les embeddings comme featuring, et un saut dans la performance

15.1.3 Les modèles

Col1 Continu binaire polytomique
generation 1 regression Naive Bayes
Arbre de décision
génération 2 lasso ( penalized) Random forets Random forest
génération 3 réseaux neuronaux réseaux neuronaux réseaux neuronaux

15.1.4 Entrainement

15.1.5 Validation

précision /rappel

roc

15.1.6 Déploiement et inférence

15.2 Un exemple simple : Naive bayes vs random forest

Naive bayes :

Random forest :

15.2.1 le processus

15.2.2 les résultats

15.3 Un exemple plus avancé : du Bert sentiment

les modèles de langage fournissent un bon featuring

15.3.1 le processus

15.3.2 les résultats

15.4 Conclusion

Application à de nombreux concepts : - toxicité, “profanité”, complotisme - POS, - sentiment, émotions, personnalité … - detection d’élément thématiques - temporalité

Lourdeur de l’approche, incertitude du résultat : vers une approche plus directe : le zeroshot classiqcation et le NER.