Musiques : histoire de genres

Originaux et rééditions, une dynamique de cycle de vie ?

Author
Affiliation
Christophe Benavent

Paris Dauphine - PSL

Published

January 25, 2023

1 Introduction

Dans cette étude on se concentre sur la question des styles. Le but est d’en donner un tableau général des évolutions et des variations. D’avoir quelques ordres de grandeurs en têtes, et de mieux cadrer les traitement ultérieurs qui porterons sur l’analyse de leurs cooccurences.

Code
#tools

#packages
library(tidyverse)
library(ggrepel)
library(word2vec)
library(doc2vec)
library(fastcluster) #pour aller plus vite en hc
library(Rtsne)
library(scales)
library(zoo)
library(jtools)


# pour ggplot



breaks = c(1900, 1910, 1920,1930,1940,1950,
                                1960,1970,1980,1990,2000,2010,2020)


#  les couleurs des genres . Y-a-il une conventions ?
col_genre<-c("blue4","coral4","skyblue","purple" , "darkturquoise","darkgreen",
                    "orange1","orange3","dodgerblue4","darkred","black","deeppink2","limegreen","red3","grey")
                    
col_format=c("brown4",  "skyblue1", "skyblue2", "skyblue3","grey","cyan",  "grey30")


col_pays= c("black", "green3","green1","lightblue1", "yellow", "lightblue2", "orange1", "lightblue4", "dodgerblue3", "dodgerblue1", "dodgerblue2","green2","lightblue3", "white", "green4", "orange2", "orange3", "blue3", "blue4")


theme_set(theme_minimal())

2 Préparation des données

Nours reprenons le fichier de l’étude précédente qui caractérise les releases, et nous chargeons celui des styles .

Code
t1<-Sys.time()
release<-read.csv("./dataarchives/release_work.csv")%>%
  select(-X)

style<- read_csv("dataarchives/release_style2.txt")%>% #pb encodage
  rename(id=1) %>%
  mutate(category="Style") %>% mutate(style=tolower(style), 
                                      style=str_replace_all(style," ",""),
                                      style=str_replace_all(style,"-",""))

genre<- read_csv("dataarchives/release_genre.csv")%>%
  mutate(genre=str_replace_all(genre,"[:punct:]",""),
         genre=str_replace_all(genre," ","")) %>%
  rename(id=1,style=genre) %>% 
  mutate(category="Genre")

t2<-Sys.time()
t=t2-t1

3 Un premier aperçu

Pour un premier aperçu, deux questions symétriques :

  • Combien de styles par release, ce qui permet d’approfondir le questionnement sur le diversité
  • Combien de sorties par style, pour commencer à appréhender le champs.

3.1 Combien de styles par release ?

L’accroissement continu peut trouver plusieurs explications

  • La tendance inexorable du métissage

  • La tendance des annotateurs à nuancer leur etiquettage.

L’anomalie de 65-80.

Code
foo<- style %>% 
  group_by(id)%>%
  summarise(n_style=n())

ggplot(foo,aes(x=n_style))+  labs(x="Nombre de styles", y="Nombre d'éditions")+
  geom_histogram(binwidth = 1, fill="skyblue3")+
  scale_fill_manual(values=c("skyblue3", "skyblue1")) +
#   scale_x_continuous(breaks = breaks, limits = c(1940, 2020))+
   scale_y_continuous(label=comma,trans="log10")+
scale_x_continuous(label=comma , breaks =c(10,20,30,40,50,60,70,80,90,100))

Code
ggsave(filename="./images/genre10.jpeg", plot=last_plot(), width = 27, height = 18, units = "cm")
Code
foo2<- release%>%
  left_join(foo)%>%
  group_by(year,version)%>%
  summarise(n_style_m=mean(n_style, na.rm=TRUE),
            n_style_d=sd(n_style, na.rm=TRUE))
  


ggplot(foo2,aes(x=year,y=n_style_m,group=version))+  
  labs(x=NULL, y="Nombre de styles")+
  geom_ribbon(aes(ymin = n_style_m - n_style_d/40, 
                  ymax = n_style_m + n_style_d/40, 
                  fill=version), alpha=.5)+
  scale_fill_manual(values=c("skyblue3", "skyblue1")) +
#   scale_x_continuous(breaks = breaks, limits = c(1940, 2020))+
   scale_y_continuous(breaks=c(1.2,1.4, 1.6, 1.8, 2), limits = c(1.2,2.2))+
scale_x_continuous( breaks =breaks,limits = c(1940,2020))

Code
ggsave(filename="./images/genre11.jpeg", plot=last_plot(), width = 27, height = 18, units = "cm")

3.2 Combien de releases par style ?

Code
foo<- style %>% 
  group_by(style)%>%
  summarise(n_release=n())%>%
  arrange(desc(n_release))%>% 
    mutate(rank=rank(n_release, ties.method='random'),
           sum=cumsum(n_release))
           
ggplot(foo,aes(x=604-rank,y=sum))+  
  labs(x="rang des styles", y="Nombre d'éditions")+
  geom_area(fill="skyblue3")+
   scale_y_continuous(label=comma )+
scale_x_continuous()

Code
ggsave(filename="./images/genre12.jpeg", plot=last_plot(), width = 27, height = 18, units = "cm")
Code
foo2<-foo %>%filter(n_release>20000)
library(ggwordcloud)
set.seed(42)

ggplot(foo2, aes(label = style, size = n_release)) +
  geom_text_wordcloud() + 
  theme_minimal()

Code
ggsave(filename="./images/genre13.jpeg", plot=last_plot(), width = 27, height = 18, units = "cm")

Cette première représentation est confuse, si le pop-rock domine, rien ne dit vraiment des tendances.

4 Vectorization

le but de la vectorization est de représenter chaque style, puis chaque édition, par un vecteur. Pour Augmenter l’information on va y ajouter les genres.

L’analyse est réduite au corpus des originaux pour saisir au plus prêt de la création les indications de style et pour une raison de calcul, on passe de 13 millions à 7 millions d’oeuvres dans le corpus.

On distingue genre et style par la majuscule.

Le calcul prend du temps, plusieurs heures sur 4 coeurs.

4.1 les styles

Le modèle Word2vec va nous permettre d’obtenir les embeddings des 603 styles identifiés et des 15 genres. On garde les majuscules pour identifier les genre, les styles ont été mis en minuscule auparavant.

Code
text1<-rbind(genre,style) %>%
  left_join(release)%>%
  filter(version=="Original") %>%
  select(id,title, pays2, date, style,category)

vocab<-text1 %>%
  group_by(style)%>%
  summarise(n=n())
  
text2<-text1 %>%  
 group_by(id) %>% 
 summarise(description = paste(style, collapse = " "))

write.csv(text2, "./dataarchives/text2.csv")

#text3<- txt_clean_word2vec(text2, ascii = TRUE, alpha = FALSE, tolower = FALSE, trim = TRUE)

#on vectorise

t1<-Sys.time()

set.seed(123456789)
model <- word2vec(x = text2$description, 
                  type = "skip-gram", 
                  window = 8, 
                  dim = 100, 
                  iter = 100,
                  threads = 4L,
                  min_count = 10L,
                  verbose=TRUE)

t2<-Sys.time()

t_2= t2-t1


embedding <- as.matrix(model)

#on sauvegarde le model pour des usages ultérieurs
write.csv(embedding, "./dataarchives/embedding.csv")
path <- "./dataarchives/mymodel.bin"
write.word2vec(model, file = path)
[1] TRUE

4.2 typologie et representation 2D

Code
model <- read.word2vec(path)
embedding <- as.matrix(model)


#test sur le genre Rock
lookslike <- predict(model, c("hiphop"), type = "nearest", top_n = 20)
lookslike
$hiphop
    term1          term2 similarity rank
1  hiphop    raggahiphop  0.7655274    1
2  hiphop         bounce  0.7438365    2
3  hiphop          crunk  0.7285991    3
4  hiphop      bassmusic  0.7247390    4
5  hiphop        bigbeat  0.7011963    5
6  hiphop          cutup  0.6999353    6
7  hiphop             dj  0.6964343    7
8  hiphop      conscious  0.6956685    8
9  hiphop        thugrap  0.6956552    9
10 hiphop    jazzyhiphop  0.6938808   10
11 hiphop          grime  0.6872808   11
12 hiphop        gangsta  0.6840849   12
13 hiphop       ukgarage  0.6766056   13
14 hiphop       cloudrap  0.6765231   14
15 hiphop    turntablism  0.6701896   15
16 hiphop hardcorehiphop  0.6698946   16
17 hiphop    garagehouse  0.6697022   17
18 hiphop     brokenbeat  0.6543210   18
19 hiphop     horrorcore  0.6531496   19
20 hiphop      miamibass  0.6520440   20
Code
#on typologise des termes
library(fastcluster) #pour aller plus vite

k=25
distance<-as.dist(1 - cor(t(embedding)))
arbre <- hclust(distance, method = "ward.D2")
plot(arbre,  xlab = "", ylab = "", sub = "", axes = FALSE, hang = -1)
rect.hclust(arbre,k, border = "green3")

Code
group<- as.data.frame(cutree(arbre, k = k))

group<- group %>% 
  rownames_to_column(var="style")%>%
  rename(group=2) %>%  
  left_join(vocab, by="style")


library(ggwordcloud)
ggplot(group, aes(label = style, size = log10(n), color=n)) +
  geom_text_wordcloud_area(area_corr = TRUE) +
  scale_size_area(max_size = 3) +
  facet_wrap(vars(group), ncol=5)

Code
ggsave(filename="cluster_word.jpeg", plot=last_plot(), width = 27, height = 18, units = "cm")

tsne_out <- Rtsne(embedding,perplexity = 8, dim=2) # Run TSNE
tsne_out2<-as.data.frame(tsne_out$Y)

#lemma<-rownames(embedding)

tsne_out3<-cbind(tsne_out2,group) %>%
  left_join(vocab) %>% filter(n>4)
c25 <- c(
  "dodgerblue2", "#E31A1C", # red
  "green4",
  "#6A3D9A", # purple
  "#FF7F00", # orange
  "black", "gold1",
  "skyblue2", "#FB9A99", # lt pink
  "palegreen2",
  "#CAB2D6", # lt purple
  "#FDBF6F", # lt orange
  "gray70", "khaki2",
  "maroon", "orchid1", "deeppink1", "blue1", "steelblue4",
  "darkturquoise", "green1", "yellow4", "yellow3",
  "darkorange4", "brown"
)


library(ggrepel)
tsne_out3%>%
  ggplot(aes(x=V1, y=V2, label=style))+
  geom_text_repel(aes(label=ifelse(n>14,style,""),size=n,color=as.factor(group)),max.overlaps=20)+
    labs(title="Projection 2D du vocabulaire vectorisé des 110 articles 'NLP & Marketing' ",
       subtitle="Pipe : annot. syntax -> word2vec: 200 vecteurs-> hclus ->rtsne",
       x= NULL, y=NULL)+ 
  scale_color_manual(values=c25) +  
  theme(legend.position = "none") 

Code
ggsave(filename="vector_word.jpeg", plot=last_plot(), width = 27, height = 18, units = "cm")

4.3 Analyser les similarités des vecteurs

Code
#titre<-UD %>%group_by
x      <- data.frame(doc_id           = text2$id, 
                     text             = text2$description, 
                     stringsAsFactors = FALSE)
#x$text <- txt_clean_word2vec(x$text, tolower=TRUE)
emb <- as.data.frame(doc2vec(model, x$text,  split = " ",type = "embedding"))%>%
  drop_na()


release_emb<-cbind(text2,emb)%>%left_join(release)

rm(text1)
rm(style)
rm(text2)
rm(release)
rm(genre)
rm(emb)
foo<- release_emb %>% 
  select(id, year, 3:102) %>% 
  group_by(year)%>%
  summarise(across(2:101, ~ mean(.x, na.rm = TRUE)))%>%
filter(year>1939 & year<2021)%>%column_to_rownames(var="year")

library(factoextra)
library(FactoMineR)

res.pca<-PCA(foo, ncp = 5, graph = TRUE)

Code
eig.val <- get_eigenvalue(res.pca)
eig.val
         eigenvalue variance.percent cumulative.variance.percent
Dim.1  6.663646e+01     6.663646e+01                    66.63646
Dim.2  1.652657e+01     1.652657e+01                    83.16304
Dim.3  5.926426e+00     5.926426e+00                    89.08946
Dim.4  3.347808e+00     3.347808e+00                    92.43727
Dim.5  2.113928e+00     2.113928e+00                    94.55120
Dim.6  1.518784e+00     1.518784e+00                    96.06998
Dim.7  1.283074e+00     1.283074e+00                    97.35306
Dim.8  7.432444e-01     7.432444e-01                    98.09630
Dim.9  5.578206e-01     5.578206e-01                    98.65412
Dim.10 2.883063e-01     2.883063e-01                    98.94243
Dim.11 2.186971e-01     2.186971e-01                    99.16113
Dim.12 1.862294e-01     1.862294e-01                    99.34736
Dim.13 1.240646e-01     1.240646e-01                    99.47142
Dim.14 7.822574e-02     7.822574e-02                    99.54965
Dim.15 7.085684e-02     7.085684e-02                    99.62050
Dim.16 5.092088e-02     5.092088e-02                    99.67142
Dim.17 4.632551e-02     4.632551e-02                    99.71775
Dim.18 3.755556e-02     3.755556e-02                    99.75531
Dim.19 3.228081e-02     3.228081e-02                    99.78759
Dim.20 3.017651e-02     3.017651e-02                    99.81776
Dim.21 2.380951e-02     2.380951e-02                    99.84157
Dim.22 2.096359e-02     2.096359e-02                    99.86254
Dim.23 1.920481e-02     1.920481e-02                    99.88174
Dim.24 1.616917e-02     1.616917e-02                    99.89791
Dim.25 1.132387e-02     1.132387e-02                    99.90923
Dim.26 1.043320e-02     1.043320e-02                    99.91967
Dim.27 9.029805e-03     9.029805e-03                    99.92870
Dim.28 8.106395e-03     8.106395e-03                    99.93680
Dim.29 7.490788e-03     7.490788e-03                    99.94429
Dim.30 6.517340e-03     6.517340e-03                    99.95081
Dim.31 5.581628e-03     5.581628e-03                    99.95639
Dim.32 5.225812e-03     5.225812e-03                    99.96162
Dim.33 4.971415e-03     4.971415e-03                    99.96659
Dim.34 4.023412e-03     4.023412e-03                    99.97061
Dim.35 3.542593e-03     3.542593e-03                    99.97416
Dim.36 3.277848e-03     3.277848e-03                    99.97743
Dim.37 2.794608e-03     2.794608e-03                    99.98023
Dim.38 2.291120e-03     2.291120e-03                    99.98252
Dim.39 1.895716e-03     1.895716e-03                    99.98442
Dim.40 1.629010e-03     1.629010e-03                    99.98604
Dim.41 1.442727e-03     1.442727e-03                    99.98749
Dim.42 1.338335e-03     1.338335e-03                    99.98883
Dim.43 1.289322e-03     1.289322e-03                    99.99011
Dim.44 1.190345e-03     1.190345e-03                    99.99131
Dim.45 1.069441e-03     1.069441e-03                    99.99237
Dim.46 9.588733e-04     9.588733e-04                    99.99333
Dim.47 7.761418e-04     7.761418e-04                    99.99411
Dim.48 6.659562e-04     6.659562e-04                    99.99478
Dim.49 5.843661e-04     5.843661e-04                    99.99536
Dim.50 5.534517e-04     5.534517e-04                    99.99591
Dim.51 4.517665e-04     4.517665e-04                    99.99637
Dim.52 4.164067e-04     4.164067e-04                    99.99678
Dim.53 3.560454e-04     3.560454e-04                    99.99714
Dim.54 3.108499e-04     3.108499e-04                    99.99745
Dim.55 3.091546e-04     3.091546e-04                    99.99776
Dim.56 2.658898e-04     2.658898e-04                    99.99802
Dim.57 2.473579e-04     2.473579e-04                    99.99827
Dim.58 2.064662e-04     2.064662e-04                    99.99848
Dim.59 1.973389e-04     1.973389e-04                    99.99867
Dim.60 1.820932e-04     1.820932e-04                    99.99886
Dim.61 1.635669e-04     1.635669e-04                    99.99902
Dim.62 1.476434e-04     1.476434e-04                    99.99917
Dim.63 1.209345e-04     1.209345e-04                    99.99929
Dim.64 1.035356e-04     1.035356e-04                    99.99939
Dim.65 8.930243e-05     8.930243e-05                    99.99948
Dim.66 7.905304e-05     7.905304e-05                    99.99956
Dim.67 6.870057e-05     6.870057e-05                    99.99963
Dim.68 6.748384e-05     6.748384e-05                    99.99970
Dim.69 5.392679e-05     5.392679e-05                    99.99975
Dim.70 4.927723e-05     4.927723e-05                    99.99980
Dim.71 4.627798e-05     4.627798e-05                    99.99985
Dim.72 3.358296e-05     3.358296e-05                    99.99988
Dim.73 2.543414e-05     2.543414e-05                    99.99991
Dim.74 2.009116e-05     2.009116e-05                    99.99993
Dim.75 1.932106e-05     1.932106e-05                    99.99994
Dim.76 1.662528e-05     1.662528e-05                    99.99996
Dim.77 1.363726e-05     1.363726e-05                    99.99998
Dim.78 1.001733e-05     1.001733e-05                    99.99999
Dim.79 9.120927e-06     9.120927e-06                    99.99999
Dim.80 5.782454e-06     5.782454e-06                   100.00000
Code
fviz_pca_ind (res.pca, col.ind = "cos2",
             gradient.cols = c("#00AFBB", "#E7B800", "#FC4E07"),
             repel = TRUE # Évite le chevauchement de texte
             )

5 vectorisation par période

La question du temps a été abordées différentes solutions sont proposées - le compass - la restimation à partir de la solution t-1 - Dans cette section on va refaire exercice précédent mais en prenant en compte le temps, on distinguera chaque token par sa temporalité, une période de 5 ans. Pour réaliser cette tâche on transforme les tokens avec un suffixe *_YYYY* ( pas de ref)

Comment prendre en compte les corrélation inter temporelles ? Pour mesurer l’évolution d’un style une approche simple est de considerer que si les espace construits pour chaque période peuvent être différents, les relations entre les styles ne sont pas supposées se modifier. Une variation de la corrélation ( cosinus) entre deux style, peut être appréciée comme un changement de signification.

Cette idée permet une mise en oeuvre simple : on construit autant de modèles que de période de temps, au sein de chacun des période on calcule la matrice des cos, On examine ensuite l’évolution de ces cos dans le temps.

On pourra ainsi pour un style donné considérer son glissement (drift) en examinant quels sont les genre qui s’en rapproche et qui s’en éloigent. Cette approche permet de se débarrasser de la nécessité d’un espace commun à travers le temps, et de ne pas chercher la dérive d’un style dans uh espace de référence, mais les dérives des styles concommittants.