Ma découvert de l'IA et du machine learning dans l'art

Mon cheminement vers le Machine Learning.

Je ne suis pas arrivée au Machine Learning sans faire quelques détours. Avant de me lancer dans la génération d’images sur l’ordinateur, j’ai abordé le sujet homme-machine très différemment. De toute manière, jusqu’ à une période récente, il était difficile d’accéder au modèle de Machine Learning sans savoir coder. Il fallait passer par les outils open source comme PyTorch. Sans posséder des serveurs puissants pour faire tourner les modèles de calcul, il était difficile de générer les rendus corrects. C’est désormais plus accessible via des plateformes par abonnement.

variation d'une peinture
transfert de style
transfert de structure
rendu GAN
rendu GAN
learning avec mes dessins
mix structure et texture
variation 2nd itération

Ma première tentative pour réconcilier le monde numérique et le vivant date de 2019

exemples de mes sources rhizomiques : gingembre!

Il y a deux ans, j’ai commencé à m’intéresser aux structures horizontales et aux connexions rhizomiques.

En lisant les articles sur le sujet et les textes plus philosophiques (Latour), je voyais de nombreuses analogies avec les mathématiques, les fractales, les réseaux informatiques et les réseaux neuronaux. Je me disais qu’il serait formidable de pouvoir réconcilier la technologie numérique et la nature. Démontrer que les deux peuvent cohabiter et même s’inspirer mutuellement avec l’intermédiation de l’homme.

Pour cela, il fallait absorber la nouveauté, apprendre de nouveaux mécanismes de survie, métamorphoser. Et dans l’art, il faudra dompter le numérique comme un outil d’inspiration. Pixel par pixel, dessiner et travailler autrement.

J’ai choisi ce sujet en résidence de peinture en 2019 comme un travail pictural de manière classique, devant un chevalet.

Le troisième jour, je me suis sentie enlisée dans un sujet trop cérébral. Il me semblait impossible de transcrire sur la toile mon plein d’idées de « connexions rhizomiques ».

Mes cahiers étaient remplis de notes, de dessins de racines, de réseaux neuronaux, des motifs d’images fractales et de cartographies. Mais je ne trouvais pas comment aborder le sujet en peinture.
J’ai abandonné provisoirement le sujet pensant toutefois qu’il y a un réel potentiel métaphysique.

création originale- master
première recherche avec GAN
première recherche avec GAN
première recherche avec GAN

Étape confinement, maturation : l’humain est au centre de ma recherche picturale, le numérique est toujours un sujet d’exploration

Ce n’est pas le Machine Learning, c’est mon input

Pendant la pandémie, je me suis recentrée sur le corps humain. J’ai retrouvé sans préméditation par-ci et par-là le lien avec le thème des racines et des connexions. Ce qui est caché, invisible et pourtant si central dans nos vies : nos gènes, le conditionnement de notre enfance et parfois de vieilles blessures. Tout ceci détermine notre vision du monde.

Pour revenir à Latour, le principal est de regarder vers la terre et pas vers le ciel pour survivre dans ce monde en grand risque de dérive systémique.

Tout est lié par des fils invisibles d’un immense réseau connecté qui va vers le passé intégrant nos connaissances accumulées et s’étale sous nos pieds dans un dédale des possibles chaotiques pour avancer avec nous vers le futur en construisant les liens en temps réel.

Cette période d’intense production de dessins m’a permis aussi à me perfectionner en traitement d’image numérique. Je me suis intéressée aussi aux technologies permettant de créer les certificats d’images numériques.

Mais, toujours pas une dérive artistique concrète de mes idées sur la rencontre entre le vivant et la machine à l’horizon.

Nouvelles opportunités accessibles par abonnement et en ligne.

C’est en 2021 que j’ai découvert enfin qu’il était possible d’éduquer’ une IA pour en faire un véritable collaborateur d’inspiration sur une plateforme de Machine Learning dédiée à l’art.

Je teste le site en version gratuite. Je consomme vite mon crédit d’heures sans aboutir à un résultat probant. Néanmoins, ma curiosité est trop grande pour abandonner. Je m’abonne ainsi pour pouvoir entraîner le modèle moi-même pendant un an.

La méthode pour utiliser la plateforme de machine-learning ?

exemples de mes sources rhizomiques
un dérivé GAN de la source
esquisse
GAN-recherche avec plaque métallique
esquisse
GAN-recherche avec plaque métallique

Je nourris la machine avec mes propres dessins et des lots d’images que je souhaite explorer.

Je demande au modèle ‘d’apprendre mieux mon style’. La machine calcule des centaines de pistes visuelles. Comme un assistant qui serait capable de produire des esquisses ou des variations en grand nombre.

Le résultat est rarement intéressant du premier coup!

A chaque étape, je redonne une autre matière, je sélectionne mes favoris à la sortie. Ainsi, la machine et moi, nous réitérons ensemble. Si une idée visuelle m’intéresse, je peux repartir de cette piste et la retravailler.

Je peux aussi passer des heures devant le programme avant de tomber sur une image inspirante et intéressante à mes yeux.

Toutes les personnes qui travaillent dans le monde du Machine Learning savent que le sujet principal est de se forger une intuition sur les données les plus intéressantes à fournir en amont.

Ce qui compte est ce que je donne comme matériel visuel en entrée!

Pour une raison évidente : le cœur de l’intelligence artificielle est dans les données et pas dans l’écriture du code.
Pour travailler avec une IA dans la conception artistique, il ne faut donc pas négliger les étapes de découverte des données (data discovery), de nettoyage (cleansing) et de l’itération. Encore et toujours.

En d’autres termes, c’est encore à moi de fournir les sources représentatives et cohérentes de ma création…les images, les matières, les couleurs, les esquisses.

80% de mon travail consiste à travailler en amont, de trouver des idées, de préparer les lots d’images. Ensuite, 20% de temps consiste à sélectionner les propositions en sortie pour ensuite réitérer.

structure
mon dessin de la collection what's behind
rendu GAN
rendu GAN
rendu GAN
rendu GAN
ma sélection

Quel intérêt ai-je trouvé dans le ML?

IA est intégrée dans mon processus de recherche d’inspiration et de variations formelles. C’est un outil naturellement tourné vers l’expérimentation.

Quelle différence y a-t-il entre les inspirations que je tire en travaillant dans un atelier avec d’autres artistes et ce travail solitaire avec ma machine ?
C’est une approche complémentaire.
Le plus remarquable est la quantité de propositions en sortie et leur imprévisibilité. C’est assurément une démarche utile pour celui qui aime l’analogie et le hasard pour avancer dans son processus créatif.

recherche de rendu
recherche avec plaque métallique
recherche avec plaque métallique
édition numérique après travail digital

Comment ai-je intégré précisément le ML dans mon processus créatif personnel?

Je constate encore aujourd’hui que la majorité des utilisateurs de l’IA sont des artistes 100% numériques.
Ils partent du numérique et modifient les outputs avec les outils numériques. Ce n’est pas obligatoire!

Je mélange les moyens traditionnels, ma palette, mes crayons et l’informatique. Je considère que les effets de textures sont importants dans une œuvre visuelle et le rendu physique avec le toucher du papier et les aspérités de la surface font partie de l’œuvre.

C’est pourquoi, dans mon cas, l’IA intervient au milieu du processus créatif, entre l’esquisse et la production des toiles pour ouvrir le champ des possibles.

En conclusion : IA n’est pas là pour effectuer le travail d’artiste à ma place.

Machine Learning est pour moi avant tout une nouvelle source d’inspiration et de co-création avec les éléments que j’invente et que je sélectionne. Le ML intervient au milieu de ma recherche créative. Elle ouvre les chemins possibles et apporte une part de hasard.

une des nombreuses itérations de mon thème GANpeople

Ma découvert de l’IA et du machine learning dans l’art