Les tendances actuelles des algorithmes GAN dans l’art

Le fonctionnement des algorithmes GAN dans l’art. 

L’utilisation d’un algorithme dans le travail d’un artiste est un acte de créativité. Car, il faut activement étudier comment plier, adopter et utiliser ces outils pour arriver à ses fins.
C’est surtout un formidable outil qui améliore le processus créatif et la recherche d’inspiration. Il peut aussi constituer une base de travail pour la réalisation des œuvres originales. J’ai développé ce thème dans mon article sur l’inspiration et le machine learning (ML).

Cette démarche permet évidemment de vendre les images numériques avec un NFT sur SuperRare, mais ce n’est pas mon objectif personnel. Lire à ce sujet mon article sur les NFT.

Comme j’ai expliqué dans le précédent article sur les notions de base de l’apprentissage machine,  l’algorithme doit d’abord identifier des patterns, des similitudes, dans des groupes de données.
Ainsi, si nous donnons à une machine à ‘lire’ des milliers de tableaux de paysage, elle finira par déceler les notions de structures, de formes, de couleurs qui se répètent. Elle pourra déterminer des constantes stylistiques selon les groupes de peintres.
Si je croise mon image de personnages squelettiques ci-dessous avec un algorithme entraîné ‘en paysage’, cela pourrait donner par exemple ce type d’effet paysager baroque assez intéressant. L’algorithme est en train de ‘tordre’ mes silhouettes pour en faire un paysage en style baroque.

Les tendances actuelles des applications GAN ou des réseaux neuronaux (NN) dans l’art

Transfert de style

Une des premières applications, parfois un peu gadget, qu’on trouve aujourd’hui est le restyling. Autrement dit, adoption d’un style d’un peintre « à la manière de ». Vous pouvez refaire votre portrait à partir de votre photo à la manière de cri de Munch avec l’appli sur votre mobile ! Les algorithmes de clustering sont là pour trouver des ‘similitudes’. Il s’agit ici de modèles déjà entraînés autour d’un clustering déterminé.
Vous avez peu de possibilités d’intervenir sur le résultat qui sera assez répétitif. Il s’agit plus des applications pour s’amuser et pour publier des images sur TickTok.

Heureusement, les applications un peu plus complexes ne se limitent pas à cela. 

Cependant, il n’est pas nécessaire d’utiliser directement une plateforme de ML comme Alteryx, AWS, Datarobot et devenir un pro de la programmation.

Il y a actuellement des applications par abonnement qui vous permettent de s’amuser avec les outils GAN déjà entraînés.
Ensuite, avec un budget acceptable, vous pouvez même payer les heures-machine pour faire votre propre séance d’entraînement avec vos propres sets de données.

Playform est une des nouvelles plateformes qui rendent Machine Learning (ML) accessible à des artistes sans savoir coder.

C’est en tout cas le choix que j’ai fait pour travailler sur un projet personnel autour de la collaboration homme-machine sur Playform.io.

Un petit exemple d’entraînement en vidéo:

Les possibilités sur Playform sont multiples.

Entraîner le modèle librement

Vous entraînez la machine avec une sélection d’images en recherchant un équilibre entre le bruit inutile et similitude trop marquée dans chaque lot. Générer un lot intéressant de données n’est pas si simple. Vous pouvez aussi réaliser ensuite des itérations illimitées. L’IA créera une séquence de fusions faisant référence à vos entrées originales.

A vous de trier, de sélectionner, de retravailler. C’est un processus assez long. En effet, il faut beaucoup expérimenter pour trouver des images intéressantes. C’est aussi cette partie de » hasard » qui est intéressante dans le processus de travail.

Morphing

Vous sélectionnez deux ensembles d’images pour les inspirations et un autre pour les influences. Une séquence d’images générées fera la transition entre les deux ensembles d’image.
L’algorithme proposera un résultat qui est un  mélange entre les influences et les inspirations. Il remplit en quelque sorte des ‘interstices’.
Je trouve toutefois rarement une application intéressante dans ma démarche personnelle par ce biais.

Transfert

Il s’agit comme le nom l’indique du transfert de l’esthétique entre deux séries d’images. L’IA utilise les compositions du premier ensemble et le style du second. Ce qui m’intéresse est de mixer le Learning libre et son output avec le transfert de ce nouveau style sur mes propres créations.

Exemple ci-dessous : le style « des  personnages sur plaque bleu »  résulte d’un processus d’apprentissage des dessins sur les structures de métal rouillé.

Je l’utilise dans un second temps en mode transfert de style sur mon dessin de femme assise en esquisse N&B (ci-dessous le dessin original en rouge) pour une nouvelle génération d’image GAN.

• 

  la collection what's behind

• 

  recherche avec plaque métallique

• 

  résultat :génération gan

Esquisse

L’outil sketch-to-Image synthétise des images de plusieurs genres et de styles. C’est un formidable outil d’expérimentation avec une rapidité rare pour discriminer et reconnaître les modèles. On peut prévisualiser les concepts rapidement.

Vous pouvez téléchargez votre propre croquis, puis vous allez pouvoir transformer le croquis selon une sélection de style ou en téléchargeant votre propre style. Ceci permet par exemple de visualiser rapidement plusieurs variantes du dessin (exemple ci-dessous) ou j’ai testé plusieurs de mes tableaux peints à l’huile sur le même dessin à l’encre.

• 

  original

• 

  styling

• 

  styling

• 

  styling

Pour en savoir plus, vous pouvez lire aussi les 3 premiers articles sur ce sujet sur le blog dans la catégorie art et peinture :

• Pourquoi utiliser le Machine Learning (ML) dans l’art? (1)
• Comment je voulais réconcilier le numérique, l’art et le vivant. (2)
• Comprendre les notions de Machine Learning et du GANart(3)

Pour mes filtres créatifs sur Playform.io: Le lancement de mes filtres créatifs. – FIXEUR

Et évidemment, lire la suite.

Ne ratez pas les articles suivants, inscrivez vous pour recevoir les notifications.