10  Analyse des co-occurrences

Show the code
#les librairies du chapitre
library(tidyverse)
library(readr)
library(tokenizers)
library(quanteda)
library(quanteda.textplots)
library(flextable)


# glossaire
library(glossary)
glossary_path("glossary.yml")
glossary_style(color = "purple", 
               text_decoration = "underline",
               def_bg = "#333",
               def_color = "white")
<style>
a.glossary {
  color: purple;
  text-decoration: underline;
  cursor: help;
  position: relative;
}

/* only needed for popup = "click" */
/* popup-definition */
a.glossary .def {
  display: none;
  position: absolute;
  z-index: 1;
  width: 200px;
  bottom: 100%;
  left: 50%;
  margin-left: -100px;
  background-color: #333;
  color: white;
  padding: 5px;
  border-radius: 6px;
}
/* show on click */
a.glossary:active .def {
  display: inline-block;
}
/* triangle arrow */
a.glossary:active .def::after {
  content: ' ';
  position: absolute;
  top: 100%;
  left: 50%;
  margin-left: -5px;
  border-width: 5px;
  border-style: solid;
  border-color: #333 transparent transparent transparent;
}
</style>
Show the code
#theme setting
theme_set(theme_minimal()) 

set_flextable_defaults(
  font.size = 10, theme_fun = theme_vanilla,
  padding = 6,
  background.color = "#EFEFEF")

Objectifs du chapitre :

Jusqu’à présent, nous nous sommes consacrés au traitement des chaines de caractères, généralement dans un but univarié, examinant la distribution des termes.

Ce chapitre est celui d’un virage multivarié : ce qu’on va étudier ce sont les distributions conjointes des termes, au travers principalement de l’analyse de leur co-occurrences. On découvrira une large palette de techniques qui permettent de les représenter et d’identifier des thématique et la manières dont elles s’articulent. Elles sont principalement descriptive.

A ce stade nous arrivons à la question de l’analyse des co-occurences.

Dans quelle mesures deux termes se retrouvent souvent ensemble c’est à dire dans le même contexte?

C’est à dire l’analyse d’une matrice de similarités entre un grand nombre d’objets,

10.1 Des co-occurences aux similarités

On continue avec la boite à outil quanteda

On peut naturellement faire varier les critères de cooccurence en définition la fen^rtre commune de deux mots. Au lieu de prendre l’ensemble du texte.

Un tel tableau est un tableau de similarité, et il sera généralement utile de traiter un tableau de dis-similarités.

Une

10.2 Approche par classification hiérarchique

Une approche évidente de ce type d’objet est celle des méthodes de classification hiérarchiques dont il faut rappeler l’origine biologiques. Dans le problèmes de la construction d’un arbre évolutionnaire des espèces ou des variétés, la méthode générale s’appuie sur le calcul de distances, qui peuvent être phénotypiques, ou génomiques.

10.2.1 Un peu d’histoire et de théorie

sur ce plan On doit beaucoup à sokal et sneath

https://www.amazon.com/Principles-Numerical-Taxonomy-Robert-Sneath/dp/B009SA478O

pour un commentaire, car celà appartient à l’histoire des sciences

https://www.jstor.org/stable/4026976

Ces méthodes généralement différent par deux critère

le mode de clacul de la distance

la méthode d’agrgation

10.2.2 Un exemple simple

10.2.3 Des variantes pertinentes relativement au texte

les approches descendantes ( et les arbres de décision) rheinhart

dbscan de bertopic

10.3 Cartes de positionnement

Le problème de la représentation des distance entre un certain nombres de point est abordé depuis longtemps par les méthodes d’analyses de similarités, qui cependant n’étaient pas forcément adaptées au traitement d’un grand nombre d’objets. Des méthodes de forces ont été introduites notamment pour résoudre les problème de visualisation. Aujourd’hui deux méthodes ce sont imposée et sont les standards dans les domaines du texte, ou les termes sont très nombreux. Il s’agit de Tsne et d’Umap.

10.3.1 MDS et PCA

  1. Torgerson, Warren S. (1958). Theory & Methods of Scaling. New York: Wiley. ISBN 978-0-89874-722-5.

  2. Kruskal, J. B. (1964). “Multidimensional scaling by optimizing goodness of fit to a nonmetric hypothesis”. Psychometrika. 29 (1): 1–27. doi:10.1007/BF02289565. S2CID 48165675.

  3. Mead, A (1992). “Review of the Development of Multidimensional Scaling Methods”. Journal of the Royal Statistical Society. Series D (The Statistician). 41 (1): 27–39. JSTOR 2348634. Abstract. Multidimensional scaling methods are now a common statistical tool in psychophysics and sensory analysis. The development of these methods is charted, from the original research of Torgerson (metric scaling), Shepard and Kruskal (non-metric scaling) through individual differences scaling and the maximum likelihood methods proposed by Ramsay.

  4. Green, P. (January 1975). “Marketing applications of MDS: Assessment and outlook”. Journal of Marketing. 39 (1): 24–31. doi:10.2307/1250799. JSTOR 1250799.

10.3.2 les modèles de forces

attraction répulsion

une esthétique de la dynamaique

10.3.3 tsne

10.3.4 UMAP

10.4 Analyse de réseau

10.4.1 la grammaire des réseaux

10.4.2 visualisation

10.4.3 Indices de centralités

10.4.4 Détection des communauté

10.4.5 D’autres manières d’aborder le réseaux

une approche bi grammes

10.5 en 3D

Il y a une dynamique des réseaux, mais un problème majeur, d’un période à l’autre les configurations peut être très différentes.

il y a une solution générale. Ensuite ce ne sont que des questions techniques.

10.5.1 Analyse procustéenne

10.5.2 Des technique vidéo.

10.5.3 Vers des représentation interactives

the shiny way

exploration of sémantic space

10.6 Conclusion

Dans ce chapitre nous avons introduit une large gamme de techniques destinées à mesurer et à représenter les relation entre un ensemble importants de termes. L’échelle va de quelques dizaines à plusieurs milliers. Nous aurons au passage souligné qu’on peut réduire l’analyse sur des registres homogènes de termes

Épistémologiquement nous nous appuyons sur l’idée simple que le sens vient de la fréquences des termes associés, c’est l’idée de hirth que nous avons évoqué dans le chapitre intoductif. Et nous pouvons constater que la mise en scène de cette idée c’est largement sophistiquée. On gardera cependant en tête, fort de la connaissance de la nature de la distribution des mots, selon une loi puissance, que ces méthodes ne valent qu’à certaines échelles.

On soulignera l’importance de la qualité des visualisation qui permettent à l’analyse d’inférer des histoires. Ces méthodes sont frtement qualitatives , même si les métriques de réseaux et de distances laisse espérer qu’on puisse capturer des propriété déterminantes.