Philippe Lasserre aout 2023.
Firefly est une application web accessible par votre navigateur.; elle permet de générer ou de modifier des images à l’aide de l’IA.
On peut débattre de longues heures sur l’utilité et les dangers de l’IA et son impact dans la photographie (nous l’avons déjà fait). On a le droit de trouver l’IA absolument géniale ou comme la pire des choses. On a le droit de l’utiliser ou pas. On a le droit d’être inquiet et même d’en avoir peur. Mais cela n’est pas le sujet ici. Vous pouvez lire ceci si vous voulez savoir ce que je pense de l’IA et ce que pensent beaucoup de photographes.
Ici je resterais uniquement sur l’aspect technique en montrant ce que peut faire Firefly sans aucun jugement de valeur.
Les résultats sont parfois aberrants et vraiment du n’importe quoi, c’est de l’IA avec des résultats imprévisibles. Il faut choisir, faire des essais (modifier la zone, le prompt) et parfois se résoudre à employer une autre méthode. L’IA ne connait pas tout, ne comprend pas tout, ne peut pas tout, c’est une technique jeune, en version beta. Ce n’est pas parce que ce n’est pas parfait qu’il faut la rejeter ; elle fera partie des « outils » parmi d’autres.
Le remplissage génératif dans Photoshop utilise la même technique que Firefly (voir Ici). Firefly intéresse le Photoshopeur car on peut créer des images dans Firefly puis les mettre dans Photoshop.
Firefly c’est ici : https://firefly.adobe.com/
Comment cela marche ?
Je parle du remplissage génératif dans Ps et de Firefly l’application web.
Cette IA utilise les réseaux neuronaux (analogie avec le cortex cérébral) : il y a plusieurs couches de « neurones », chaque « neurone » d’une couche interagissant avec la couche d’en dessous par de multiples liaisons. Le remplissage génératif utilise des réseaux de neurones récurrents (RNN) ; certains neurones agissant sur les couches précédentes. En entrée on introduit des mots, en sortie il y a des pixels. Pour aller un peu plus loin : il y a au départ une image ne contenant que du bruit, l’IA débruite l’image mais dirigée par ce qu’on lui demande et progressivement apparait l’élément demandé. Pour que cela fonctionne il faut au préalable « entraîner » le réseau avec de très grandes quantités de mots et d’images. Il faut des ressources de calcul considérables. 
D’où viennent les images qui ont servis à éduquer l’IA ? Firefly est entraîné sur les centaines de millions d’images haute résolution de qualité professionnelle sous licence d’Adobe Stock (le contrat de licence que les utilisateurs de Stock acceptent le permet). Adobe dit : « Le modèle d’IA actuel de Firefly est entraîné sur un jeu de données Adobe Stock, sur des travaux sous licence libre et sur des contenus tombés dans le domaine public ; les données personnelles des abonnés Creativ Cloud par exemple ne sont pas utilisées ». Le contenu créé avec Firefly incorporera (prochainement ?), dans ses informations de traçabilité, une balise indiquant que ce contenu a été créé à l’aide de l’IA générative. Ainsi, vous n’utilisez pas des images protégées par des droits d’auteur, en théorie. Certains juristes conseillent d’être prudent et de ne pas utiliser, pour le moment, d’images générées par l’IA. Cela change tous les jours ; des lois, une jurisprudence vont voir le jour. On verra. Adobe pour le moment déconseille d’utiliser les images générées par la version beta à des fins commerciales.
Firefly
. Voyons la génération de texte :
Le texte en Image.
- Le format (16;9, 3.4, 4.3, 1.1)
- Le type de contenu (« photos » apporte plus de réalisme),
- Un style, notez que lorsqu’on clique sur un des boutons (Technique, effet, matériaux…) la liste de ce qui est proposé (immédiatement dessous) change, offrant de multiples possibilités.
- Couleur et ton,
- Le type d’éclairage (studio, contre jour, aurore…),
- La composition (Grand angle, plongée…).
Le principe est d’écrire un prompt de quelques mots puis en fonction du résultat de rajouter des mots ou des modificateurs, de générer de nouveau et de recommencer…
Voici le prompt « voiture sur la lune ».
On rajoute le modificateur « Photo », l’image devient plus réaliste.
On écrit « voiture rouge sur la lune ciel noir » :
Rien ne vous choque ? on demande d’être sur la lune et on voit la lune dans le ciel !!! C’est l’IA !!
Si on écrit « voiture rouge sur la lune avec la terre dans le ciel noir », une des propositions seulement montre une image avec la terre dans le ciel ( et un sol lunaire) :
A noter que si on compare plusieurs générations avec le même prompt, ce n’est jamais les mêmes images qui sont générées.
Si une image parmi celles générées est intéressante mais que vous voulez l’améliorer, cliquez en haut à gauche sur le crayon et choisissez « Utiliser comme image de référence ».
L’appli va mettre cette image de référence en bas à gauche et proposer plusieurs variantes.
Sous l’image de référence se trouve un curseur permettant de favoriser l’image de référence ou plutôt le texte du prompt dans la génération des variantes.
En haut à gauche de chaque photo une icone permet d’avoir accès au remplissage génératif sur l’image, pour modifier une partie de l’image, d’avoir 3 autres images similaires …
L’image fait 1024 x 1024 pixels et peut être téléchargée comme expliqué plus haut. En pratique si on utilise un format rectangulaire, c’est le petit coté qui fait 1024 pixels, le plus grand coté est bien plus grand. Avec la fonction « Super résolution » dans Camera Raw, il est ensuite possible d’agrandir l’image pour l’utiliser dans Ps.
On peut donc télécharger l’image (en Jpg 1024 px dans la petite dimension) et utiliser l’image dans Photoshop.
Il y a dans le coin inférieur gauche le logo de Firefly qu’on peut enlever avec le remplissage génératif de Ps.
Vous pouvez faire des retours à Adobe: signaler un contenu avec l’icone contenant un drapeau, ou indiquer que vous êtes pas satisfait du résultat en cliquant sur le pouce vers le bas et indiquer le problème. Rappelons qu’on est en beta et que grâce à vos retours Firefly s’améliorera.
Texte en Image est disponible dans Adobe Express cette appli web servant à créer des prospectus (Flyer) des pages pour les réseaux sociaux, des affiches…
Il y a une fonction de remplissage génératif.
C’est un peu le même principe que le remplissage génératif dans Ps.
On peut charger une de ses photos.
On choisit d’ajouter, soustraire, déplacer un élément : pour sélectionner on utilise le pinceau d’ajout ou de soustraction; on peut aussi sélectionner l’arrière plan.
Le plus simple est, avec le pinceau de barbouiller la zone à modifier, de taper un prompt et génèrer. Ci-dessous j’ai généré un oiseau.
Quel intérêt par rapport au remplissage génératif de Photoshop ?
Avant de générer si on clique sur l’icone de paramétrage on voit un panneau permettant de paramétrer la génération.
Ce n’est que le début ; voila ce que dit Adobe : Firefly complétera les outils de création appréciés de la clientèle d’Adobe avec des fonctionnalités permettant de retoucher et de générer un large choix de médias (images fixes, vidéos, contenus 3D, « ressources de création » telles que des brosses, des vecteurs et des textures, etc.) à partir d’instructions textuelles.
Je ne vous parle pas de ce qui est en préparation, cela dépasse notre imagination…
Conclusion :
Loin de ressentir un admiration béate devant l’IA, il faut reconnaitre que les résultats peuvent dans certains cas être époustouflants mais aussi très décevants. L’IA en est à ses débuts mais en plus ne lui demandons pas ce qu’elle ne peut pas faire.
Pour info, il y a maintenant des tutos sur l’IA d’Abobe (chez Tuto.com).
