Les tendances actuelles des applications GAN dans l’art (4)

Le fonctionnement des algorithmes GAN dans l’art. 

L’utilisation d’un algorithme dans le travail d’un artiste est un acte de créativité. Car, il faut activement étudier comment plier, adopter et utiliser ces outils pour arriver à ses fins.
C’est surtout un formidable outil qui améliore le processus créatif et la recherche d’inspiration. Il peut aussi constituer une base de travail pour la réalisation des œuvres originales. J’ai développé ce thème dans mon article sur l’inspiration et le ML.

Il permet évidemment de vendre les images numériques avec un NFT sur SuperRare, mais ce n’est pas mon objectif personnel. Lire à ce sujet mon article sur les NFT.

Comme nous l’avons vu également dans l’article précédent sur les notions techniques, l’algorithme doit d’abord identifier des patterns, donc des groupes de données.
Ainsi, si nous donnons à une machine à ‘lire’ des milliers de tableaux de paysage, elle finira par déceler les notions de structures, de formes, de couleurs qui se répètent. Elle pourra déterminer des constantes stylistiques selon les groupes de peintres.
Si je croise mon image de personnages squelettiques ci-dessous avec un algorithme entraîné ‘en paysage’, cela pourrait donner par exemple ce type d’effet paysager baroque assez intéressant.

Les tendances actuelles des applications GAN dans l’art

Transfert de style

Une des premières applications un peu gadget qu’on trouve aujourd’hui est le restyling : adoption d’un style d’un peintre « à la manière de ». Faite votre portrait à partir de votre photo à la manière de cri de Munch avec l’appli sur votre mobile ! Les algorithmes de clustering sont là pour trouver des ‘similitudes’. Il s’agit ici de modèles déjà entraînés autour d’un clustering déterminé.
Vous avez peu de possibilités d’intervenir sur le résultat qui sera assez répétitif. Il s’agit plus des applications pour s’amuser et pour publier des images sur TickTok.

Heureusement, les applications un peu plus complexes ne se limitent pas à cela. 

Cependant, il n’est pas nécessaire d’utiliser directement une plateforme de ML comme Alteryx, AWS, Datarobot et devenir un pro de la programmation. Il y a actuellement des applications par abonnement qui vous permettent de s’amuser avec les outils GAN déjà entraînés . Ensuite, avec un budget acceptable, vous pouvez payer les heures-machine pour faire votre propre séances d’entraînement avec vos sets de données. Playform est une des nouvelles plateformes qui rendent Machine Learning (ML) accessible.
C’est en tout cas le choix que j’ai fait pour travailler sur un projet personnel autour de la collaboration homme-machine.

Un petit exemple d’entraînement en vidéo:

Les possibilités du GAN sont multiples.

Entraîner le modèle librement

Vous entraînez la machine avec une sélection d’images en recherchant un équilibre entre le bruit inutile et similitude trop marquée dans chaque lot. Générer un lot intéressant de données n’est pas si simple. Vous pouvez aussi réaliser ensuite des itérations illimitées. L’IA créera une séquence de fusions faisant référence à vos entrées originales.

A vous de trier, de sélectionner, de retravailler. C’est un processus assez long. En effet, il faut beaucoup expérimenter pour trouver des images intéressantes. C’est aussi cette partie de” hasard” qui est intéressante dans le processus de travail.

Morphing

Vous sélectionnez deux ensembles d’images pour les inspirations et un autre pour les influences. Une séquence d’images générées fera la transition entre les deux ensembles d’image. L’algorithme proposera un résultat qui est un  mélange entre les influences et les inspirations. Il remplit en quelque sorte des ‘interstices’.
Je trouve rarement une application intéressante dans ma démarche personnelle.

Transfert

Il s’agit comme le nom l’indique du transfert de l’esthétique entre deux séries d’images. L’IA utilise les compositions du premier ensemble et le style du second. Ce qui m’intéresse est de mixer le Learning libre et son output avec le transfert de ce nouveau style sur mes propres créations.
Exemple ci-dessous : le style “des  personnages sur plaque bleu”  résulte d’un processus d’apprentissage des dessins sur les structures de métal rouillé. Je l’utilise dans un second temps en mode transfert de style sur mon dessin de femme assise en esquisse N&B (ci-dessous le dessin original en rouge) pour une nouvelle génération d’image GAN.

Esquisse

L’outil sketch-to-Image synthétise des images de plusieurs genres et styles. C’est un formidable outil d’expérimentation avec une rapidité rare pour discriminer et reconnaître les modèles. On peut prévisualiser les concepts rapidement.
Vous pouvez téléchargez votre propre croquis, puis vous allez pouvoir transformer transformera le croquis selon une sélection de style ou téléchargeant votre propre style. Ceci permet par exemple de visualiser rapidement plusieurs variantes du dessin (exemple ci-dessous)

Pour en savoir plus, vous pouvez lire aussi les 3 premiers articles sur ce sujet sur le blog dans la catégorie art et peinture :