Play a Kandinsky
Immersion dans les couleurs du son avec Google et « Play a Kandinsky »
Le projet tout-numérique « Dans l’intimité de Kandinsky », mené en collaboration avec Google Arts & Culture, est une plongée dans l’univers du pionnier de l’abstraction. Et l’occasion de découvrir, via l’outil immersif et ludique « Play a Kandinsky », l’exceptionnel don de synesthésie du peintre, qui « voyait » la musique en couleurs.
Peu de gens le savent, mais, comme David Hockney, Pharrell Williams ou… Billie Eilish, Vassily Kandisky voyait la musique en couleurs, c’est-à-dire qu’il associait chaque couleur à un son – et vice-versa (un talent qui concerne seulement 4 % d’entre nous).
« Play a Kandinsky » utilise le Machine Learning et l’intelligence artificielle, comment ça marche ?
Rencontre avec l'artiste sonore Antoine Bertin.
AB — Nous avons travaillé avec ce qu’on appelle un « réseau de neurones », un outil qui s’appelle Google Transformer. En résumé, il s’agit d’un algorithme qui s’est appris lui-même ce que peut-être la musique. Google l’a « nourri » de presque tout ce qui existe, l’algorithme s’est entraîné sur des milliers d’heures de musique, que ce soit du classique, de la pop ou du jazz. En fait la machine a autant écouté les Beatles que Chopin, Tchaïkovski ou Bon Jovi ! Et puis nous lui avons donné à manger les fameuses archives musicales de Kandinsky, du piano, des instruments à vent comme des flûtes ou des hautbois… À partir de là, l’algorithme, que l’on appelle « non supervisé », génère des mélodies tout seul.
Quel est le rôle de l’homme dans tout cela ?
AB — C’était important pour nous de laisser la machine s’exprimer sur ce que peut être la musique de Kandinsky, et de ne pas la canaliser dans un simple rôle de générateur de propositions censurées par les humains. On obtient alors une sorte de « fossile » de ce que Kandinsky aurait pu écouter, et à partir de là il y a une grande part d’interprétation, en essayant de tendre vers l’universel. Nous avons retenu beaucoup de propositions qui auraient pu être jugées « gauches » ou « peu élégantes » du point de vue d’un musicien… Mon rôle a été celui de l’intermédiaire entre la machine et les théories de Kandinsky. J’ai travaillé un peu comme un « DJ du code », samplant et assemblant les éléments entre eux. Au final, le résultat est une forme d’actualisation, d'update de ce que Kandinsky aurait pu entendre, car il y a des sons synthétiques qu’il ne pouvait pas connaître à l’époque.
Qu’avez-vous appris de Kandinsky en le fréquentant virtuellement ?
AB — J’ai pris beaucoup de plaisir à le connaître. J’ai désormais de l’affection pour lui, c’est un collègue artiste ! Mais ce qui m’a frappé surtout, c’est qu'alors qu'il créait une peinture très vivante et poétique, dans la vraie vie, c’était quelqu’un de très rigoureux, de scientifique, presque geek. À tel point qu’en le lisant je me demandais si c’était la même personne ! Je crois qu’il avait surtout besoin d’un cadre rigide pour aller plus loin. Kandinsky s’appuyait sur la musique pour peindre : c’était son chemin vers l’abstraction. ◼