Utiliser les algorithmes en tant qu’artiste, les premiers pas.
lJ’ai commencé mon expérimentation avec les outils « image to image » en 2018.
En plus de rejoindre le studio Playform.io où je pouvais lancer des sessions d’apprentissage automatique ou exploiter différents algorithmes, je testais des programmes plus simples tels que les filtres neuronaux dans Photoshop.
Adobe Photoshop permet désormais de retravailler des dessins ou des photos par des filtres intelligents, d’appliquer un modèle stylistique d’une autre réalisation, de faire des retouches subtiles ou de reproduire une coloration selon un exemple proposé. Il est intéressant pour essayer plusieurs palettes sur un même projet de peinture.
Toutefois, pour manipuler des algorithmes d’image à image dans ces premières solutions disponibles, je devais d’abord préparer des séries de visuels pour la session de machine learning.
Puis, en aval, j’ai trié moi-même les centaines de propositions brutes. Les apparences générées étaient souvent floues, pleines d’artefacts et nécessitaient une appropriation et un travail créatif itératif.
Ces images produites dans de nombreuses variantes après quelques heures de calcul, représentaient cependant des impulsions, des invitations à continuer. Il me semblait d’observer des nuages dont les formes stimulent notre imagination.
C’est précisément cette imperfection, cette « non-finitude » qui me poussait à explorer de nouvelles voies et à décoller de la réalité.
Je pouvais donc parfaitement utiliser l’outil comme un assistant d’inspiration totalement imprévisible.
De plus, je tâchais de « brouiller » les pistes dans les sets de données en amont en mélangeant, par exemple, des corps humains avec des racines ou comme dans les visuels ci-dessous, avec les plaques de métal rouillé.
Les premières réalisations avec GAN à partir de mes dessins.
L’arrivée des générateurs text-to-image.
En revanche, les dernières applications texte-to-image remarquées par le grand public fonctionnent à partir d’un script en langage naturel.
Elles créent l’illusion de pouvoir « commander » son image un peu comme dans un supermarché. Votre seule compétence est d’apprendre à écrire le script en anglais et de trouver l’idée (concept) que vous voulez générer.
Chacun démarre généralement avec un script absurde comme : «des grenouilles mangent des lapins dans un champ » ou en générant une guerrière musclée cyberpunk comme dans le dernier jeu vidéo RPG.
Après une première période de perplexité et de boulimie de génération de n’importe quoi, j’ai commencé à percevoir la limite, mais aussi l’utilité pour ma pratique.
J’ai entrepris d’incorporer des approches de texte-à-image dans le processus de travail avec mes anciens algorithmes image-à-image dans des séquences successives d’itération.
Et en quelques mois, Playform les a intégrés dans les écrans du studio en ligne. Cela montre que la méthode de mélange de tous les outils est probablement la plus stimulante.
C’est l’une des pistes à explorer par ceux qui pensent que les applications de l’IA ne sont que des ennemis de la créativité.
Mes début sur DALL-E. C’est sympa, mais ce n’est pas moi du tout…
La création a sa source dans le doute et le questionnement.
Néanmois, il est important de réaliser que la machine ne défie pas l’utilisateur. Elle fait ce qu’elle est censée faire. Un ordinateur ne conçoit rien tout seul et même l’IA surnommée « non supervisée ».
Elle fonctionne avec des algorithmes programmés par des humains. Elle ingère des tas d’informations qu’elle crache selon les principes de similitude statistique.
Quand j’utilisais l’algorithme GAN de Playform.io, je savais qu’il n’inventait pas grand-chose, mais cela m’avait donné l’occasion de regarder un nouvel univers mathématique et informatique.
Grâce à l’IA, j’ai pu obtenir une autre perception formelle et non subjective de mon sujet. Un autre regard est toujours enrichissant.
Lorsque vous écoutez quelqu’un parler d’une discipline différente de la vôtre, vous recevez une lumière contrastée qui change notre façon de voir les choses.
Ainsi, mon travail avec l’IA m’apportait un véritable changement enrichissant et stimulant. J’ai regardé mes idées ré-examinées par l’algorithme de manière statistique et mathématique.
Créer, c’est se placer dans une situation d’inconfort, d’expérimentation et de déstabilisation. Travailler avec l’IA était une exploration de nouveaux territoires.
Je me sentais souvent frustré par les images décevantes, luttant pour comprendre la boîte noire à laquelle je soumettais mes indications.
Parfois, j’avais aussi de bonnes surprises et je pouvais rebondir comme sur une suggestion d’un ami peintre qui vous met sur une autre piste.
Travailler avec des modèles image à image signifiait que la proposition picturale dépendait totalement de moi qui paramétrait, mélangeait et sélectionnait les idées en quête d’inspiration.
J’étais celui qui prenait toujours les décisions, grâce à mon imagination amplifiée par la technologie.
L’IA n’était pas mon cerveau augmenté, mais mon pinceau augmenté.
A la fin de mon étape d’appropriation, j’ai pu concevoir une exposition entière sur la base de ses recherches.
A la fin de la période de confinement, en 2022, j’ai pu exposer des premiers résultat de mon travail en République Tchèque et en France.
Les tableaux à l’huile en grands formats réalisés pour mon Exposition Patternworld 2022 sur le thème ‘comment l’IA voit les humains?’ – Ce sont tableaux inspirés par mon travail avec le générateur GAN sur la perception des corps humains.
La seconde étape : s’approprier des outils texte-to-image.
Ma première expérience enrichissante avec les algorithmes image-to-image comme GAN et assez rustiques de Playform conditionnait au début mon rejet des solutions text-to-image.
Tout d’abord, j’ai ressenti la frustration et l’agacement en testant Midjourney, DALL-E ou Stable Diffusion. Le résultat était trop « parfait », trop réussi, mais rien à voir avec mon style.
Le résultat était à la fois très abouti, mais plus totalement impersonnel. Je ne pouvais pas m’approprier les images comme mes propres idées. Ça ne me ressemblait pas.
C’était aussi frustrant de facilité!
J’ai cherché alors des moyens d’exploiter les images générées de nouveau uniquement comme un tremplin pour mon imagination.
Ce qui est essentiel, c’est le chemin de la création, pas seulement le résultat.
Comme toujours, il faut du temps pour s’adapter et pour retrouver le plaisir de créer avec ces moyens révolutionnaires.
Comme je l’ai déjà expliqué, les générateurs d’images basés sur le calcul statistique de probabilité, ne permettent pas réellement de contrôler le résultat. Même si on apprend à bien concevoir les prompts.
Ce qui signifie encore une fois, que nos intentions personnelles et notre style ne sont pas faciles à obtenir. C’est sans doute plus facile pour des dessins hyperréalistes ou les photos illustratives « à la manière de ».
Il n’est pas étonnant de voir dans les galeries que les utilisateurs publient principalement des images de zombies, de guerriers, de monstres et de paysages des univers de jeux vidéo dans le style de leurs dessinateurs préférés.
La machine comprend bien comment générer un visuel d’un paysage post-apocalyptique avec un avion dessiné à la manière de Bilal. Mais, il sera plus difficile, voire impossible, de générer une image dans le style qui est vraiment le vôtre.
Comment allez-vous pouvoir formuler le prompt pour faire une image selon votre style personnel si vous n’êtes pas une star référencée par l’IA ?
Comment contourner cet obstacle?
Si je sélectionne une proposition de texte-to-image qui me plaît, je peux alors ajouter une touche plus personnelle avec un filtre neuronal de ma propre création.
Refaire le « guerrier à la manière de Bilal » en guerrier « à ma manière ». Mais, cela signifie que j’ai déjà des images dans mon style.
La question qui se pose alors : voulez-vous simplement reproduire le style d’un artiste ou développer aussi le vôtre ? La machine sait reproduire uniquement ce qu’elle a déjà appris.
Inspiration IA : Les tableaux à l’huile en grands formats réalisés pour mon Exposition Patternworld 2022 sur le thème ‘comment l’IA voit les humains?’
Voulez-vous aller plus loin ou alors copier ?
Cette question n’a fondamentalement rien à voir avec l’IA.
Mon tâtonnement part de l’objectif d’utiliser ces moyens tout en gardant la personnalité et l’empreinte personnelle.
Comme toujours, vous pouvez copier des cartes postales toute votre vie ou vous creuser la tête et souffrir pour trouver votre chemin au-dessus d’une page blanche. La problématique ne change pas tellement à cause de l’IA.
En revanche, il est plus facile de gruger avec DALL-E un publique peu averti. Il faudra du temps aux galeristes et au public pour s’adapter et pour y voir clair.
C’est aussi la raison qui m’oblige à envisager qu’une bonne partie de la production visuelle commerciale de demain sera celle de l’IA et non un travail de graphistes ou de peintres.
Quelle peut être donc la principale contribution de la collaboration artiste-machine ?
Personnellement, j’utilise la génération d’images essentiellement comme un outil de recherche, d’itération multipliée et d’inspiration.
C’est là que je trouve tout l’intérêt des algorithmes. Ils m’offrent de nouvelles pistes, parfois chaotiques, surprenantes, souvent aussi inexploitables. Il n’y a pas de miracles, il faut s’approprier chaque outil, le comprendre et travailler pour avoir un résultat satisfaisant. Pour obtenir une image inspirante, je passe parfois des semaines à faire des lots d’images et à tester de nombreuses approches.
Ce n’est pas très différent du travail que vous faites en dessinant régulièrement. Tout est alors une question d’exigence personnelle. Je travaille presque tous les jours avec mes outils et cette fréquence porte de nombreuses pistes auxquelles je n’aurais pas forcément pensé spontanément.
Cela ne m’empêche pas de pratiquer régulièrement le dessin d’observation et la peinture avec le modèle vivant qui sont mes autres exercices nécessaires pour exercer ma main et mon regard. En tout cas, vu le nombre d’idées en carton, je ne peux pas dire que je souffre devant une page blanche.
J’ai posé la question à Chat GPT de la manière suivante :
Mon ambition est de tester toutes ces méthodes de text-to-image et d’en faire bénéficier mon travail personnel. Sans devenir esclave, sans perdre le plaisir de concevoir et surtout en évitant de se contenter d’une exécution automatique d’une image grâce à une phrase. Quelle est la meilleure façon de utiliser les algorithmes pour un artiste ?
Et que dit Chat GPT aux artistes?
Chat GPT me répond :
L’intelligence artificielle et les algorithmes d’apprentissage automatique peuvent être des outils puissants pour les artistes, leur permettant de générer des œuvres d’art nouvelles et uniques et d’expérimenter différents styles et techniques. Cependant, il est important d’aborder l’utilisation de ces technologies de manière réfléchie et délibérée, plutôt que de simplement compter sur elles pour produire de l’art automatiquement.
Une façon d’utiliser efficacement l’intelligence artificielle et les algorithmes d’apprentissage automatique dans votre art est de les intégrer dans votre processus créatif, plutôt que de les utiliser directement pour produire des œuvres d’art finies. Par exemple, vous pouvez utiliser des algorithmes d’apprentissage automatique pour générer des croquis approximatifs ou des idées que vous pouvez ensuite affiner et développer davantage grâce à des techniques traditionnelles. Cela peut aider à vous assurer que votre art reflète votre propre vision et style artistique, plutôt que d’être entièrement automatisé.
Il peut également être utile d’expérimenter différents algorithmes d’IA et d’apprentissage automatique et de voir comment ils peuvent être utilisés de différentes manières dans votre art. Cela peut vous aider à découvrir de nouvelles techniques et approches, et à trouver des moyens d’intégrer l’IA dans votre art qui vous semblent significatifs et authentiques.
Enfin, il est important de se rappeler que l’utilisation de l’IA et des algorithmes d’apprentissage automatique dans l’art est encore un domaine relativement nouveau et en évolution, et il y a beaucoup de choses que nous ne savons pas encore sur son potentiel et ses limites. En restant à jour avec les derniers développements dans ce domaine et en vous engageant avec la communauté d’artistes et de chercheurs travaillant avec l’IA, vous pouvez continuer à apprendre et à grandir en tant qu’artiste et à trouver de nouvelles façons d’utiliser ces technologies dans votre travail.
Dans les articles suivant je vais expliquer comment j’aborde l’utilisation des générateur d’image depuis le début et mes méthodes de travail.
Vous pouvez aussi parcourir tous les articles précédents sur le sujet sur le blog
IA-esquisses, comment augmenter votre inspiration.
Reprendre et retravailler ses vieux dessins et peinture avec Midjourney avec la commande /BLEND pour plus d’inspirations.
L’inspiration artistique augmentée par l’IA, mythe ou réalité.
Dans mon exposition à Prague en 2022, je joue avec une certaine ironie avec l’idée d’anthropomorphisme en créant l’univers « Patternworld », peuplé de créatures hybrides « peuples GAN fabriqués à partir de puces ». En réalité, le sujet de la limite entre l’humain et inhumain est très riche et m’offre de nombreux possibilités pour m’inspirer.
La frontière entre humain et inhumain est en train de bouger.
Je joue beaucoup dans mes peintures avec la limite entre l’humain et l’inhumain, la vision anthropomorphique de l’IA et sur l’hybridation homme-machine.
Ce sujet me laisse perplexe. J’ai le sentiment que la frontière entre humain et inhumain a déjà évolué. Le phénomène est encore difficile à saisir et à percevoir, mais il est là.