Firefly

Philippe Lasserre aout 2023.

Firefly est une application web accessible par votre navigateur.; elle permet de générer ou de modifier des images à l’aide de l’IA.

On peut débattre de longues heures sur l’utilité et les dangers de l’IA et son impact dans la photographie (nous l’avons déjà fait). On a le droit de trouver l’IA absolument géniale ou comme la pire des choses. On a le droit de l’utiliser ou pas. On a le droit d’être inquiet et même d’en avoir peur. Mais cela n’est pas le sujet ici. Vous pouvez lire ceci si vous voulez savoir ce que je pense de l’IA  et ce que pensent beaucoup de photographes.

Les généralités sur l’IA c’est ICI  (comment cela marche? c’est dangereux ? c’est de la photo ?).

Le remplissage génératif c’est ICI.

Ici je resterais uniquement sur l’aspect technique en montrant ce que peut faire Firefly sans aucun jugement de valeur.

Les résultats sont parfois aberrants et vraiment du n’importe quoi, c’est de l’IA avec des résultats imprévisibles. Il faut choisir, faire des essais (modifier la zone, le prompt) et parfois se résoudre à employer une autre méthode. L’IA ne connait pas tout, ne comprend pas tout, ne peut pas tout, c’est une technique jeune, en version beta. Ce n’est pas parce que ce n’est pas parfait qu’il faut la rejeter ; elle fera partie des « outils » parmi d’autres. 

Le remplissage génératif dans Photoshop utilise la même technique que Firefly (voir Ici).  Firefly intéresse le Photoshopeur car on peut créer des images dans Firefly puis les mettre dans Photoshop. 

Firefly sur le site Adobe c’est ici : https://firefly.adobe.com/

 

Firefly

Firefly  un une application web qui fonctionnera dans votre navigateur. Elle utilise la même technologie que le remplissage génératif.
Firefly est ICI ; il faut avoir un compte Adobe ( pas nécessairement un abonnement payant, juste un Id Adobe gratuit)  et se connecter avec son identifiant Adobe. 
Firefly est actuellement en version beta. Adobe déconseille d’utiliser les résultats de Firefly pour un usage commercial. La version définitive sera telle payante ?
Le prompt est un texte que l’on tape pour indiquer ce qu’on veut générer. C’est une « Invite » à taper ce qu’on désire.
Quand nous nous trouvons dans la page d’ouverture de « Texte en Image » permettant de créer des images, il y a plein d’images d’exemple ; passez la souris sur une image le texte du prompt qui a été utilisé pour créer l’image apparait ; c’est très instructif et permet d’apprendre comment « parler » à l’IA.
Il y a même un bouton « Essayer le texte descriptif » qui lancer une nouvelle génération de plusieurs images. Elles seront différentes de celle de départ car chaque génération même avec le même prompt ne produira pas la même image.
Les possibilités sont plus étendues que le remplissage génératif. On peut écrire le prompt en anglais en français ou dans diverses langues
Si Firefly n’est pas en français, passer par l’icone en haut à droite pour ouvrir un menu et cliquer sur langue :
.
Le texte français est traduit automatiquement en anglais pour lancer une génération ; il peut donc y avoir des erreurs de traduction (ou des mots prêtant à confusion ; des faux amis) ; parfois il faut passer en anglais pour aboutir au résultat.
Notez que cela ne sert pas de taper un nom de marque, un mot commercial. Si vous tapez « Hulk » ou « Pokemon » l’IA va générer quelque chose dans le style mais pas le Hulk ou un pokemon que nous connaissons. Adobe n’a pas éduqué son IA avec des images correspondants aux marques aux noms propres.
Ainsi il n’y aura pas de copyright sur les photos générées qui seront libres d’utilisation puisqu’on ne verra pas d’objets, d’éléments de visages protégés. Un autre exemple, si je tape « Ordinateur Apple », l’IA ne sait pas faire.
On peut charger les images générées et les mettre dans Photoshop. Firefly sera, dans la génération complète d’image, beaucoup plus puissant et paramétrable. On peut donner une longue description des éléments, du fond, de l’environnement, du style…
La différence avec Stable diffusion ou Midjourney est qu’on n’est pas obligé de taper de longs textes complexes de prompt : Firefly est plus intuitif dans son utilisation.

Voyons la génération de texte :

Il y a possibilité de taper un texte et de tapez un effet de texte, un style dans la seconde zone de saisie ; le résultat est un texte enrichi : Exemple : j’ai tapé Photoshop comme texte et fleurs dans la zone d’effet de texte puis de générer pour obtenir le résultat ci-dessous :
Ci-dessous j’ai tapé le texte « Photoshop » et l’effet « fleurs ».
L’image générée dans notre exemple fait 4472 x 1024 pixels, le texte est sur fond transparent.
On peut charger l’image générée et la mettre dans Photoshop.
Il faut utiliser les icones en haut à droite (le curseur doit être sur l’image pour faire apparaitre les icones) :
Si on clique sur les « … » on peut mettre l’image dans le presse papier puis, après avoir créé dans Ps une nouvelle image de la taille du presse papier, coller l’image issue de Firefly. Le texte est sur fond noir.
Si on clique sur le seconde icone, on charge dans le dossier téléchargement de Windows un fichier PNG contenant le texte sur fond transparent.

Le texte en Image.

Il est, bien sur, possible de générer des images complètes dans la fonction « Texte en Image ».
Il faut taper un prompt (« Château au soleil » dans l’exemple ci-dessous). L’IA n’aime pas un seul mot ; il semble que plusieurs mots cela marche mieux et que plus il y a de mots plus le résultat est précis.
Ensuite dans la colonne de droite (voir à droite ci-dessus) on peut indiquer des modificateurs :
  • Le format (16;9, 3.4, 4.3, 1.1)
  • Le type de contenu (« photos » apporte plus de réalisme),
  • Un style, notez que lorsqu’on clique sur un des boutons (Technique, effet, matériaux…) la liste de ce qui est proposé (immédiatement dessous) change, offrant de multiples possibilités. 
  • Couleur et ton,
  • Le type d’éclairage (studio, contre jour, aurore…),
  • La composition (Grand angle, plongée…).

Le principe est d’écrire un prompt de quelques mots puis en fonction du résultat de rajouter des mots ou des modificateurs, de générer de nouveau  et de recommencer…

Voici le prompt « voiture sur la lune ».

On rajoute le modificateur « Photo », l’image devient plus réaliste.

On écrit « voiture rouge sur la lune ciel noir » :

Rien ne vous choque ? on demande d’être sur la lune et on voit la lune dans le ciel !!! C’est l’IA !!

Si on écrit « voiture rouge sur la lune avec la terre dans le ciel noir », une des propositions seulement montre une image avec la terre dans le ciel ( et un sol lunaire) :

 

A noter que si on compare plusieurs générations avec le même prompt, ce n’est jamais les mêmes images qui sont générées.

Si une image parmi celles générées est intéressante mais que vous voulez l’améliorer, cliquez en haut à gauche sur le crayon et choisissez « Utiliser comme image de référence ».

L’appli va mettre cette image de référence en bas à gauche et proposer plusieurs variantes. 

Sous l’image de référence se trouve un curseur permettant de favoriser l’image de référence ou plutôt le texte du prompt dans la génération des variantes.

En haut à gauche de chaque photo une icone permet d’avoir accès au remplissage génératif sur l’image, pour modifier une partie de l’image, d’avoir 3 autres images similaires …

 

L’image fait 1024 x 1024 pixels et peut être téléchargée  comme expliqué plus haut. En pratique si on utilise un format rectangulaire, c’est le petit coté qui fait 1024 pixels, le plus grand coté est bien plus grand. Avec la fonction « Super résolution  » dans Camera Raw, il est ensuite possible d’agrandir l’image pour l’utiliser dans Ps.

On peut donc télécharger l’image (en Jpg 1024 px dans la petite dimension) et utiliser l’image dans Photoshop.

Il y a dans le coin inférieur gauche le logo de Firefly qu’on peut enlever avec le remplissage génératif de Ps.

Vous pouvez faire des retours à Adobe: signaler un contenu avec l’icone contenant un drapeau, ou indiquer que vous êtes pas satisfait du résultat en cliquant sur le pouce vers le bas et indiquer le problème. Rappelons qu’on est en beta et que grâce à vos retours Firefly s’améliorera. 

Texte en Image est disponible dans Adobe Express cette appli web servant à créer des prospectus (Flyer) des pages pour les réseaux sociaux, des affiches…

Il y a une fonction de remplissage génératif.

C’est un peu le même principe que le remplissage génératif dans Ps.

On peut charger une de ses photos.

On choisit d’ajouter, soustraire, déplacer un élément : pour sélectionner on utilise le pinceau d’ajout ou de soustraction; on peut aussi sélectionner l’arrière plan.

Le plus simple est, avec le pinceau de barbouiller la zone à modifier, de taper un prompt et  génèrer. Ci-dessous j’ai généré un oiseau.

Quel intérêt par rapport au remplissage génératif de Photoshop ?

Avant de générer si on clique sur l’icone de paramétrage on voit un panneau permettant de paramétrer la génération.

 

Ce n’est que le début ; voila ce que dit Adobe : Firefly complétera les outils de création appréciés de la clientèle d’Adobe avec des fonctionnalités permettant de retoucher et de générer un large choix de médias (images fixes, vidéos, contenus 3D, « ressources de création » telles que des brosses, des vecteurs et des textures, etc.) à partir d’instructions textuelles.

Je ne vous parle pas de ce qui est en préparation, cela dépasse notre imagination…

Conclusion :

Loin de ressentir un admiration béate devant l’IA, il faut reconnaitre que les résultats peuvent dans certains cas être époustouflants mais aussi très décevants. L’IA en est à ses débuts mais en plus ne lui demandons pas ce qu’elle ne peut pas faire.

Pour info, il y a maintenant des tutos sur l’IA d’Abobe (chez Tuto.com).

Pour marque-pages : Permaliens.

Les commentaires sont fermés.