14  Transformers

Show the code
#les librairies du chapître
library(tidyverse)
library(flextable)
library(reticulate)

theme_set(theme_minimal()) 

set_flextable_defaults(
  font.size = 10, theme_fun = theme_vanilla,
  padding = 6,
  background.color = "#EFEFEF")


data <- read_csv("data/data_trustpilot_oiseaux.csv")

Objectifs du chapitre :

  • La révolution des transformers *

  • représentation de langage*

Les Transformers forment une famille de modèle dont l’architecture a l’allure suivante.

transformers Elle comprend trois particularités

14.1 le mécanisme de l’attention

C’est un article intitulé “Attention is all you need” de Vaswani et al. (2017) qui est le germe d’une véritable révolution des modèles de langage. IL propose une solution pour prendre en compte les relations qui existent entre les différents termes d’un séquence de terme.

Cette solution est celle du mécanisme d’attention.

14.2 Bert

sur ce plan On doit beaucoup

14.3 Les variations de bert

14.3.1 le réentrainement

14.3.2 Ajuster à des nouvelles tâches

14.4 Applications

L’idée est d’entraîner un modèle de langue, sur de très larges corpus, pour ensuite l’utiliser dans des tâches spécifiques.

Exemples

Il ne s’agit pas ici de ré-entraîner des modèles, ce qui est une approche tout à fait pertinente lorsque l’on est face à des corpus au langage spécifique, mais d’utiliser les outils existants directement disponibles.

Pour trouver le bon modèle à utiliser, il existe Hugging Face. La plupart des éléments de code sont en python, mais il commence à exister des implémentations en R.

Le problème véritable repose sur les temps de calcul et la puissance disponible. On recommande d’avoir accès à un GPU, ce qui permet de considérablement raccourcir le temps des traitements. Les outils en R n’ont pas encore implémenté le recours au GPU, et nos ordis portables n’en ont pas forcément. On peut avoir recours au cluster de calcul de son université, ou utiliser les service de Google ou OpenAI (au prix d’une facturation).

On va utiliser du code en python et du code en R pour analyser les résultats. On travaille sur un tout petit corpus, pour limiter les temps de calcul.

On pourra garder un oeil sur le package R ‘text’ qui propose beaucoup d’outils mais est encore en construction.

14.4.1 Application de bert au sentiment

14.4.2 Application de bert au topic ( bert model)

Un classique du genre : BERTopic de Grootendorst (2022)

Show the code

#from bertopic import BERTopic
#from bertopic.representation import KeyBERTInspired

#import pandas as pd

#df = r.data
#print(df)
#topic_model = BERTopic(language="multilingual")
#topics, probs = topic_model.fit_transform(df['comments'])
#topic_model.get_topic_info()
#topic_model.get_topic(8)
#topic_model.get_topic_freq().head()
#topic_model.get_document_info(df['comments'])
#topic_model.find_topics("réclamation")
#topic_model.generate_topic_labels()

#topic_model.visualize_topics()
#topic_model.visualize_heatmap()

14.5 Références

Grootendorst, Maarten. 2022. “BERTopic: Neural Topic Modeling with a Class-Based TF-IDF Procedure.” arXiv Preprint arXiv:2203.05794.
Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. “Attention Is All You Need.” arXiv. https://doi.org/10.48550/ARXIV.1706.03762.