Les spécificités de travail créatif avec des générateurs d’image de l’IA.
La première caractéristique est l’intelligibilité des modèles : l’effet boite noire.
J’ai commencé mon expérimentation avec les algorithmes image-to-image de type GAN en 2019.
La mise en place des sets d’images pour ces modèles rustiques est complexe et les résultats sont difficiles à expliquer.
Par conséquent, l’algorithme fournit parfois des résultats complètement inattendus.
Cette imprévisibilité est intéressante, mais il est très problématique de faire évoluer ou de corriger l’image générée en modifiant des paramètres. Parfois, vous pensez tenir une piste et vous voulez aller plus loin. Et en modifiant un paramètre ou votre set de données en amont, vous n’obtenez rien du tout à la sortie.
À l’inverse, les modèles texte-to-image ont la tendance à vous orienter dans une direction de manière trop dictée ou « à la manière de tel ou tel autre artiste».
Il est difficile de créer en gardant le style personnel ou de concevoir des variantes dans les générations successives selon votre intention spécifique.
Nous verrons plus loin que le remède consiste parfois à combiner plusieurs outils et de repasser par une étape de dessin.
Certaines applications où on peut générer les variantes ne signifient pas pour autant que les images évoluent dans la direction pressentie.
Même en apprenant bien les méthodes de scripts, vous n’allez pas ‘piloter’ votre outil comme un programme déterministe ! Il faut comprendre que vous utilisez les outils qui fabrique une similitude statistique de votre requête et pas un dessin original proprement parlé avec des instructions que vous pouvez ‘dicter’.
Un exemple de génération d’image à la manière de Egon Schiele.
Des biais introduits et acquis.
Il y a deux types de biais auxquels on est confronté avec les algorithmes. Ceux qui vous allez introduire et ceux qui sont liés à l’apprentissage de l’algorithme.
Si on manipule un algorithme dans sa propre session de machine learning comme sur Playform.io, il est possible d’introduire des biais dans les calculs effectués par l’IA volontairement avec les sets d’images ou les scripts.
Le travail avec mon algorithme GAN ressemble plus à un brainstorming sauvage avec beaucoup de feuilles jetées à la poubelle.
Pour moi, l’intelligibilité et l’imprévisibilité du modèle me conviennent. J’aime les effets d’accident et de surprise dans l’acte créatif. Trouver une image qui m’inspire, c’est aussi une école de persévérance.
Utiliser des biais dans les sets de données était en réalité une piste intéressante que j’ai beaucoup utilisé au début de mon travail avec les outils disponibles image-to-image.
Par exemple, en travaillant sur le corps humain, j’ai souvent introduit des formes dans les ensembles de données qui me rappelaient une silhouette humaine comme une racine de gingembre ou une branche d’arbre dans le but de voir comment l’algorithme reflète ces ‘anomalies’ dans son calcul.
Un exemple de dessin à partir d’une génération d’image où j’ai mélangé des silhouettes humaines et les racines d’arbres. Ensuite, j’ai dessiné à l’aquarelle mon interprétation.
Les oppositions et incohérences.
Pour les générateurs texte-to-image, je joue avec les oppositions et les croisements absurdes. Par exemple, je m’appuie sur un artiste inspirant en soumettant simplement un thème très différent de sa pratique habituelle.
Mais, il faut aussi savoir que la logique de l’outil est issue de l’apprentissage.
Certaines incohérences sont difficiles à imposer !
L’algorithme a appris qu’un chat mange généralement des souris. Si vous voulez qu’il vous crée une image où une grande souris mange un petit chat, je vous souhaite bon courage ! C’est un ‘biais’ d’apprentissage difficile à contourner.
J’avais besoin pour un thème imposé de réaliser des images sur le thème ‘cannibal’. Le mot est bloqué par l’outil, exemple de ‘censure’ verbale pour éviter des abus. Mais le mot anthropophage marche bien!
Techniques itératives pour des explorations infinies
Ce qui est intéressant, c’est de pouvoir accumuler et mélanger les différents processus et algorithmes en construisant un projet par les générations de visuels successives.
Par exemple, j’alterne une analyse texte-to-image, j’ancre (je fige) le style pour générer d’autres versions, puis rejoue les résultats dans un algorithme image-to-image, etc.
Fondamentalement, mon approche n’est pas si différente lorsque je teste les couleurs dans une palette, j’esquisse les formes pour une composition, ou je réalise des croquis de petit format à la recherche d’inspiration.
C’est en forgeant qu’on devient forgeron.
Il faut acquérir une certaine intuition avec ces outils pour pouvoir anticiper les effets des générations.
Il faut beaucoup observer les variantes et comme toujours, travailler fréquemment. Mais, n’espérez pas tout de même d’être capable de prévoir avec précision ce que la machine finira par générer.
KESAKO? J’ai visité Arles avec mon groupe de peintres et nous avons dessiné sur place. Une journée passée au MUCEM, évidemment. J’ai fait une série de photos sur place et quelques dessins du bâtiment. Puis, j’ai demandé à mon algorithme de réaliser une ‘free-forme’ inspirée à partir des images introduites. C’est bien l’esprit du bâtiment de Ghery, non? A moi d’en faire un tableau…
Paramétrage et personnalisation des outils.
Il n’est pas nécessaire de savoir programmer pour utiliser des applications récentes de génération d’images. Ces applications sont généralement conçues pour être conviviales et faciles à utiliser.
Cependant, savoir programmer peut-être utile pour ceux qui sont intéressés à étendre les capacités et de construire leurs propres modèle sur leur propre serveur.
Il existe aussi de nombreuses ressources disponibles, telles que des tutoriels et des cours en ligne, qui peuvent aider les artistes à apprendre des paramétrages et à mieux comprendre le fonctionnement de ces technologies.
A minima, il faut parcourir les manuels de script pour savoir concevoir des requêtes riches et pour savoir les modifier correctement.
Pour les applications image-to-image, il faut parfois passer du temps à tester les paramètres que l’application propose pour influencer le style avant de générer des images.
Un seul mot d’ordre : expérimentez !
Un mélange de techniques : édition des images numériques avec des formes générées à partir des photos, des transferts de style sur mes générations d’images GAN à partir des silhouettes esquissées, des créations aquarelles ou acryliques avec des formes issues du machine learning avec les silhouettes d’animaux et de personnages etc.
L’IA se nourrit de données et nous n’en avons pas autant disponibles pour faire comme Open-AI.
Si vous pouvez envisager de jouer un peu avec les solutions et des outils en open-source, il faut aussi accepter la limite du ‘fait-maison’.
Les outils récents de texte-to-image ont été « éduqués » avec des millions de données.
Ce n’est pas à lnotre portée. C’est pourquoi derrière les applications se trouvent des géants de la technologie.
Avec des algorithmes image-to-image, il est aussi possible d’utiliser aussi des modèles moins robustes où vous pouvez lancer de courtes sessions de machine learning avec une séries d’images allant de 30 à 50 éléments.
Le plus complexe est justement de constituer des ensembles d’images pour l’apprentissage (et dont nous avons la propriété).
J’ai souvent utilisé à la fois mes dessins ou croquis, des photos libres de droits ou mes propres photos et peintures.
Les résultats ne sont pas des images ‘toutes faites’ mais des inspirations intéressantes à retravailler par exemple sur une tablette graphique. Il ne faut pas espérer de créer une image comme dans DALL-E.
Mais, ce qui est intéressant, c’est de profiter des solutions texte-to-image comme DALL-E pour compléter les lots d’exemples en entrée d’un autre modèle.
C’est une autre manière de concevoir ‘ses’ images comme « input » pour un algorithme GAN par exemple.
Comme mon but n’est pas de composer un « bon » résultat, je m’amuse même à imaginer des « bruits » pour des effets inattendus.
Fabriquer des séries d’images via Midjourney pour alimenter ensuite un GAN, c’est une idée intéressante qui vous conduit plus loin que de retravailler directement une image de Midjourney.
Rien ne vous empêche de continuer à travailler de manière classique. Je continue à produire des séries de dessins à l’encre avec un modèle vivant !
De la pierre à l’ordinateur ou de l’ordinateur à la pierre.
La création est aussi un acte de transgression et c’est moi qui peut décider de ne pas suivre une règle.
De la même manière que je pratique le mélange de techniques dans l’étape de réalisation d’une peinture ou d’un dessin, j’ajoute l’étape de l’IA dans ma démarche.
Si dans mon processus créatif, j’utilise parfois la génération d’image avec l’IA, je réalise néamoins très souvent la dernière étape avec une technique très manuelle comme la lithographie ou la peinture à l’huile.
J’aime produire des lithographies à partir de sorties informatiques. Le mélange du mode numérique avec la pierre opère une transformation totale de la création et modifie la perception finale.
une lithographie inspirée par une image générée
une image générée à partir des dessins de lithographie
Ce que je suggère en conclusion sur la base de mon expérience :
- Mélangez plusieurs formules, passez d’un algorithme à l’autre.
- Dessinez pour créer des variations personnelles en amont.
- Explorez sans trop réfléchir les pistes pendant les longues sessions de travail.
- Apprenez à penser en mots ou en images vos concepts pour créer des instructions.
- Adapter vos prompts à chaque solution.
- Laissez reposer les exemples générés. Au fil du temps, nous trions plus vite et nous sommes moins enthousiastes ou inversement, nous voyons de nouvelles choses dans les tableaux générés par l’algorithme.
- Retravailler les réalisations en tablette graphique, en dessin manuel, à l’aquarelle.
- Créer de nombreuses variations en modifiant des instructions élément par élément pour observer les impacts.
- Varier des paramétrages de style et d’influence, le poids des paramètres disponibles dans les outils.
Mais, surtout, terminez votre recherche avec une pièce unique, à l’huile ou avec une autre technique. C’est là que nous trouverons la texture, la matière, vous allez ajouter votre interprétation, votre toucher et conserver une véritable originalité.
Dans les articles suivant je vais expliquer comment j’aborde l’utilisation des générateur d’image depuis le début et mes méthodes de travail.
Vous pouvez aussi parcourir tous les articles précédents sur le sujet sur le blog
IA-esquisses, comment augmenter votre inspiration.
Reprendre et retravailler ses vieux dessins et peinture avec Midjourney avec la commande /BLEND pour plus d’inspirations.
L’inspiration artistique augmentée par l’IA, mythe ou réalité.
Dans mon exposition à Prague en 2022, je joue avec une certaine ironie avec l’idée d’anthropomorphisme en créant l’univers « Patternworld », peuplé de créatures hybrides « peuples GAN fabriqués à partir de puces ». En réalité, le sujet de la limite entre l’humain et inhumain est très riche et m’offre de nombreux possibilités pour m’inspirer.
La frontière entre humain et inhumain est en train de bouger.
Je joue beaucoup dans mes peintures avec la limite entre l’humain et l’inhumain, la vision anthropomorphique de l’IA et sur l’hybridation homme-machine.
Ce sujet me laisse perplexe. J’ai le sentiment que la frontière entre humain et inhumain a déjà évolué. Le phénomène est encore difficile à saisir et à percevoir, mais il est là.