Chapitre 18 Deep Learning

Pour l’utilisateur en sciences sociales même si le deep learning est accessible dans un environnement r, et nous examinerons les possibilités offertes par keras, construire son modèle de langage est sans doute hors de portée. Il s’agira donc le plus souvent d’employer des modèles pré-entrainés, et éventuellement de les réentrainer sur nos coprus de données.

18.1 L’environnement keras

l’interface de r pour Keras

18.1.1 Les fonctions principales

• cpu et gpu

18.1.2 Un premier exemple

lequel?

18.1.3 Un deuxième exemple

Lequel?

18.2 Les architectures du texte : RNN, LTSM, Transformer et Reformer

Les évolutions de ces 10 dernières années se caractèreisent par la recherche d’architectures qui prennent en comptent la structure du texte : il y a un ordre séquentiel : les mots font sens quand on les lis ou les entends après une succision d’ordre mots dont on connait les règles de composition.

18.2.1 rnn

Il était logique que les rnn soient la première architecture qui a rendu des résultats intéressants. Leur acaractère autorégressif

18.2.2 ltsm

Les ltsm on apportant une amélioration en prenant en compte des coorélations immédiates mais aussi plus lointaine dans le régl&age de l’oubli et de la mémoire

18.2.3 transformer

L’innovation des transformer, fondée sur des modèles a trou…..

18.2.4 reformer

Les reformer étendent l’échelle des corrélations possibles. Parfois ce qui donne le sens d’un texte après 500 mots est peut _être le premier, même si nous ne l’ons pas perçu, il devient le contexte de la chute par exemple.

exemple?

18.3 Les cas d’applications remarquables

18.3.1 Detection d’intention

quand la théorie des actes de langages rencontre l’informatique

18.3.2 détection de toxicité des contenus

18.3.3 la detection des trolls

18.3.4 détection des sophismes et autres fallacies

la lutte anti fake

18.3.5 La détection du sarcasme et de l’ironie

18.3.6 L’extraction d’arguments

triplet