Immersion dans les couleurs du son avec Google et « Play a Kandinsky »

Comment définiriez-vous ce projet inédit ?
Antoine Bertin — Avec « Play a Kandinsky », l’idée était vraiment de retrouver ce que l’artiste pouvait entendre lorsqu’il peignait Jaune, Rouge, Bleu. Le travail que nous avons fait avec NSDOS est un peu celui « d’archéologues sonores ». Afin de « retranscrire » ces sons, je me suis appuyé sur ses écrits notamment, comme Point et ligne sur plan, dans lequel il résume ce qu’il enseigne au Bauhaus, ou Du spirituel dans l’art. Et puis sur cette collection de disques en bakélite retrouvée dans son atelier, et léguée au Centre Pompidou par sa veuve, Nina Kandinsky. Une collection qui n’est évidemment pas exhaustive, mais qui donne une idée de ce qu’il avait dans l’oreille à l’époque.

Nous avons travaillé avec ce qu’on appelle un « réseau de neurones », un outil qui s’appelle Google Transformer. En résumé, il s’agit d’un algorithme qui s’est appris lui-même ce que peut-être la musique. Google l’a « nourri » de classique, de la pop ou du jazz. En fait la machine a autant écouté les Beatles que Chopin, Tchaïkovski ou Bon Jovi !

Antoine Bertin

« Play a Kandinsky » utilise le Machine Learning et l’intelligence artificielle, comment ça marche ?
AB — Nous avons travaillé avec ce qu’on appelle un « réseau de neurones », un outil qui s’appelle Google Transformer. En résumé, il s’agit d’un algorithme qui s’est appris lui-même ce que peut-être la musique. Google l’a « nourri » de presque tout ce qui existe, l’algorithme s’est entraîné sur des milliers d’heures de musique, que ce soit du classique, de la pop ou du jazz. En fait la machine a autant écouté les Beatles que Chopin, Tchaïkovski ou Bon Jovi ! Et puis nous lui avons donné à manger les fameuses archives musicales de Kandinsky, du piano, des instruments à vent comme des flûtes ou des hautbois… À partir de là, l’algorithme, que l’on appelle « non supervisé », génère des mélodies tout seul.

Quel est le rôle de l’homme dans tout cela ?
AB — C’était important pour nous de laisser la machine s’exprimer sur ce que peut être la musique de Kandinsky, et de ne pas la canaliser dans un simple rôle de générateur de propositions censurées par les humains. On obtient alors une sorte de « fossile » de ce que Kandinsky aurait pu écouter, et à partir de là il y a une grande part d’interprétation, en essayant de tendre vers l’universel. Nous avons retenu beaucoup de propositions qui auraient pu être jugées « gauches » ou « peu élégantes » du point de vue d’un musicien… Mon rôle a été celui de l’intermédiaire entre la machine et les théories de Kandinsky. J’ai travaillé un peu comme un « DJ du code », samplant et assemblant les éléments entre eux. Au final, le résultat est une forme d’actualisation, d'update de ce que Kandinsky aurait pu entendre, car il y a des sons synthétiques qu’il ne pouvait pas connaître à l’époque.

Mon rôle a été celui de l’intermédiaire entre la machine et les théories de Kandinsky. J’ai travaillé un peu comme un « DJ du code », samplant et assemblant les éléments entre eux.

Antoine Bertin

Qu’avez-vous appris de Kandinsky en le fréquentant virtuellement ?
AB — J’ai pris beaucoup de plaisir à le connaître. J’ai désormais de l’affection pour lui, c’est un collègue artiste ! Mais ce qui m’a frappé surtout, c’est qu'alors qu'il créait une peinture très vivante et poétique, dans la vraie vie, c’était quelqu’un de très rigoureux, de scientifique, presque geek. À tel point qu’en le lisant je me demandais si c’était la même personne ! Je crois qu’il avait surtout besoin d’un cadre rigide pour aller plus loin. Kandinsky s’appuyait sur la musique pour peindre : c’était son chemin vers l’abstraction. ◼