Introduire la notion de corpus, la développer et conclure sur des premiers éléments de code qui vont lui donner une forme matérielle.
La notion de corpus est très intuitive, c’est un ensemble de document qui peuvent prendre des formes matérielles très différentes : des cahiers de doléances comme au moment des gilets jaunes, un ensemble de pdf, un tableur où une des colonnes contient une variable de type chaîne de caractères. De manière plus classique c’est un recueil réunissant ou se proposant de réunir, en vue de leur étude scientifique, la totalité des documents disponibles d’un genre donné.
Dans la perspective d’une analyse automatisée ce chapitre, on ne tiendra pas compte des aspects matériel du corpus, qui peuvent être important par ailleurs comme le montre Marie- Anne Chabin.
Dans le cadre d’une analyse automatisée, le document se réduit à une chaîne de caractères. Sa collection peut se présenter dans une série de fichiers distincts ou être déjà structurée sous la forme d’un tableur, ou mieux d’une base de données relationnelles.
2.1 Les éléments du corpus
Ce qui fait un corpus est composé de trois éléments : une collection, des textes qui se manifestent comme une suite de caractère répondant à des règles plus ou moins connue, et à des informations associées, les méta-donnée. Examinons chacun de ces éléments.
2.1.1 Le document
L’ensemble des documents constitue la collection , elle peut être systématique et exhaustives, par exemple s’il s’agit de toute la correspondance d’un écrivain. Elle peut aussi se constituer comme un échantillon et répondre au règles de la théorie de l’échantillonnage.
2.1.1.1 Le document comme chaine de caractère
Une unité de texte se définit comme une chaîne de caractères qui constitue un document. Celui ci peut être de forme quelconque : un livre, un article, une note, une transcription, il reste une séquence plus ou moins longue de caractères qui répondent à des règles de composition dont on ignore la nature a priori. Dans le cas de texte courts, cette chaîne de caractères est simple.
Dans celui d’un article, elle peut être plus complexe et comporter des combinaison de caractères qui signalent un effet de composition. par exemple la chaîne \n définit un saut de page, et si le document est codé en xml, certaines séquences identifient des balises. Par exemple la chaîne <h1> indique que les caractères qui vont suivre définissent le contenu d’un titre de niveau 1 et que cette définition s’achève avec la balise <|>. L’exemple adresse une convention qui est celle des langage xml qui séparent le contenu du contenant, c’est à dire des actions qui seront opérées sur le contenu.
L’analyse de ces structure est un préalable indispensable pour les lire correctement. Et il sera souvent néçéssaire de nettoyer le texte avant son exploitation.
2.1.1.2 la structuration
Différents types de corpus Le degré de structuration : séquentielle, plan spatiale ( ex = le curriculum viate, la fiche de brevet,…)
2.1.1.3 Metadonnées
Un document est souvent associé à des méta-données qui permettent de le situer ce qui permet des comparaisons dans le temps l’espace ou les locuteurs. Un bon corpus est celui qui associe aux documents, l’ensemble le plus pertinent et le plus large de méta-données.
Un ou des auteurs. A chaque document peut être attaché un ou plusieurs auteurs. Et c’est auteurs eux-même peuvent être caractérisés.
Chaque document peut être associé à une date de production ou de publication.
Chaque document peut être associé à une origine géographique, générique comme le pays d’origine ou géolocalisé dans le cas d’un message émis dans un réseau social.
Il peut être documenté par des éléments de contexte : les unités précédentes, et subséquentes - c’est le cas des chats et des forums qui peuvent être identifié par les fils dans lesquels ils s’inscrivent et la position qu’ils y occupent.
une ou des autorités : par exemple le média où il a été publié ce qui pose la question de la source et celle de sa crédibilité
La liste n’est pas limitative et peut comprendre des éléments de diplomatique, cette discipline, ancienne, qui vise à établir une compréhension critique des documents écrits, pour en particulier établir leur authenticité .voir
2.1.2 Une collection
Il y a une très forte diversité de corpus. Celle-ci est cependant peut se décrire au travers d’un certains nombre de critères.
2.1.2.1 L’échelle et l’étendue
Il peut y avoir de très petits corpus, par exemples la transcription de quelques dizaines d’entretiens. d’autres qui rassemblent des millions de textes courts. L’échelles des corpus va de quelques unités à plusieurs millions. Les milliards sont rares. Concrètement il y a des corpus de quelques dizaines ou centaines d’éléments, d’autres qui se comptent en dizaines de milliers, d’autres en centaines et millions d’unités. Méthodes et capacité de calculs ne sont pas forcément les mêmes.
Courts à l’image des tweets, ou de résumés d’articles, ou longs s’il s’agit d’articles de recherche complet, ou très long, le cas des livres. les textes court sont ce que les méthodes avancée traitent bien . Les textes longs pose la question de co-références. On peut cependant les décomposer, le niveau de phrase, celui du paragraphe, le chapitre, le livre.
A ce stade, 4 types de corpus
textes
Peu
Nombreux
court
Cas
Social data
Long
Comparative
Deep data
2.1.2.2 les auteurs
Les corpus peuvent aussi se distinguer par la diversité de leurs auteurs
la monographie quand le corpus compile tous les documents d’une même source
la polygraphie quand les auteurs sont presque aussi nombreux que le nombre de textes. Quand les auteurs sont multiples, il peuvent constituer le texte de deux manières
par addition : c’est l’exemple du message publicitaire qui superpose une scène, des incrustations, de la musique.
par interaction : c’est le mode tu texte de théâtre ou la structure du texte distribuent entre les personnage des fragments de paroles qui interagissent.
encore une autre typologie
Auteurs
Addition
Interaction
Unique
monographie
Double
contrepoint
Dialogue
Multiple
Polygraphie
Théatre
2.1.2.3 les niveaux de langues
Ils varient aussi selon le niveaux de langues
texte savant, texte standard, texte vernaculaire
2.1.3 des corpus bien préparés
Dans ce chapitre nous avons appris comment faire la cueillette dans les sources de textes et constituer matériellement un corpus. Il reste à traiter la question de la représentativité. La collecte doit rester raisonnée.
Un corpus se construit. D’abord en fonction d’un objectif de recherche? Cherche-t-on à décrire, à comparer, à explique ?
Ensuite en fonction d’une perspective d’écoute. par exemple prendre le corpus de ceux qui produisent de la publicité, ou le corpus de ce à quoi les consommateurs sont exposés ?
2.1.3.1 Production et réception
Unités de production et de réception, Un texte est produit et puis, peut-être, lu. Analyser le texte peut se faire dans deux perspectives, celle de la production et celle de la réception. Les corpus doivent être construits en fonction de ce critère.
2.1.3.2 Les conditions de production des documents
Examiner la question de l’engagement dans ce cadre est essentiel, certains acteurs sur un sujet donné sont amenés à produire plus que les autres, et participent donc de surcroît à une sur représentation statistique. La question du biais de sélection
Prenons le cas des sites d’avis de consommateurs.
la question des textes absents
2.2 Le corpus comme objet de traitement
Sur le plan pratique nos discussions dépendent largement des modalités opérationnelles que les langages de traitement de données nous proposent.
Dans l’univers r le package tm est fondateur, mais d’autres solutions sont offertes. On signalera d’abord stringr qui fait partie de la suite tidyverse.
Parmi elles on fait le choix des méthode de la suite Quanteda.
Corpus consisting of 5 documents, showing 5 documents:
Text Types Tokens Sentences id
text1 10 10 1 9.845497e+16
text2 42 50 3 1.234653e+18
text3 23 24 1 1.218011e+18
text4 49 61 3 1.304875e+18
text5 25 25 2 1.218160e+18
text
Republicans and Democrats have both created our economic problems.
I was thrilled to be back in the Great city of Charlotte, North Carolina with thousands of hardworking American Patriots who love our Country, cherish our values, respect our laws, and always put AMERICA FIRST! Thank you for a wonderful evening!! #KAG2020 https://t.co/dNJZfRsl9y
RT @CBS_Herridge: READ: Letter to surveillance court obtained by CBS News questions where there will be further disciplinary action and cho…
The Unsolicited Mail In Ballot Scam is a major threat to our Democracy, & the Democrats know it. Almost all recent elections using this system, even though much smaller & with far fewer Ballots to count, have ended up being a disaster. Large numbers of missing Ballots & Fraud!
RT @MZHemingway: Very friendly telling of events here about Comey's apparent leaking to compliant media. If you read those articles and tho…
favorites retweets date
49 255 2011-08-02 18:07:48
73748 17404 2020-03-03 01:34:50
0 7396 2020-01-17 03:22:47
80527 23502 2020-09-12 20:10:58
0 9081 2020-01-17 13:13:59
Une fois le corpus constitué , on peut en sélectionner des sous-ensemble. Dans l’exemple suivant on isole les tweets qui ont été retwittés plus de 20 000 fois.
Il va être temps de jouer avec les données !
Show the code
# on peut choisir un sous-corpus corp_recent <-corpus_subset(corp, retweets >20000)ndoc(corp_recent)
[1] 7277
Show the code
head(corp_recent, 10)
Corpus consisting of 10 documents and 5 docvars.
text4 :
"The Unsolicited Mail In Ballot Scam is a major threat to our..."
text6 :
"RT @WhiteHouse: President @realDonaldTrump announced histori..."
text7 :
"Getting a little exercise this morning! https://t.co/fyAAcbh..."
text9 :
"https://t.co/VlEu8yyovv"
text11 :
"https://t.co/TQCQiDrVOB"
text16 :
"As per your request, Joe... https://t.co/78mzcfLEsF https://..."
[ reached max_ndoc ... 4 more documents ]
2.3 Conclusion
Techniquement c’est aussi simple que cela. D’un point de vue méthodologique la question de la constitution d’un corpus reste complexe, elle demande de l’intelligence dans l’exploitation des sources, une maîtrise technique des interfaces (les APIs).
Dans le chapitre suivant, nous explorons des aspects plus techniques : comment saisir la forme matérielles des documents, comment interroger les bases de données, et exploiter des Apis.