Diffusion Bee permet de générer des images localement avec Stable Diffusion

Félix Cattafesta |

Vous commencez à avoir fait le tour de Dall-E ? Alors il est l'heure d'essayer Stable Diffusion, un autre modèle d'apprentissage automatique d'images qui tourne localement sur votre Mac ! Le développeur Divam Gupta vient de publier une nouvelle version de Diffusion Bee, une interface graphique pour Stable Diffusion permettant de s'en servir sans compétences techniques sur macOS. Elle offre (entre autres) de générer des images à partir d'une poignée de mots.

Contrairement à Dall-E, Stable Diffusion est un projet libre qui nécessite de mettre un peu les mains dans le cambouis pour démarrer. Diffusion Bee résout ce problème étant donné qu'il s'agit simplement d'un programme à faire glisser dans votre dossier Applications. Tout fonctionne hors-ligne et aucune donnée n'est envoyée dans le nuage.

L'interface est très simple : un cadre vous invite à entrer une description, et un clic permet de générer l'image. Plusieurs options sont disponibles, et on pourra également utiliser l'IA pour modifier une image existante en ajoutant des éléments ou en lui laissant imaginer ce qui se passe hors du cadre. Des paramètres avancés sont proposés pour les utilisateurs désirant aller plus loin.

L'application tire sur la carte graphique et il est recommandé de ne pas utiliser d'autres programmes pendant la génération d'image (ça freeze assez vite chez moi sur mon iMac Intel). Les propriétaires de Mac plus récents devraient obtenir de meilleurs performances, Diffusion Bee étant optimisé pour les puces M1 et M2.

Si vous voulez jouer avec l’IA sans rien télécharger, rappelons que Dall-E a récemment supprimé sa liste d'attente. Cependant, la génération d'image est limitée à un certains nombres de crédits par mois, et il faudra ensuite passer à la caisse pour continuer à créer.


avatar Lucas | 

Super, merci pour le partage ! 🙏

avatar Chris K | 

En parlant d’images générées par AI via du texte, il y a MidJourney sur Discord qui est particulièrement impressionnant.

avatar Chris K | 
avatar Dark Phantom | 

@Chris K

Oui mais là au moins c’est gratuit

avatar Chris K | 

@Dark Phantom

C’était juste une info.. après tout dépend de pourquoi tu t’en sers.

avatar Dark Phantom | 

@Chris K

Il y a déjà beaucoup d’avancées depuis disco diffusion. Après, il faudrait savoir quelle est l’intelligence artificielle derriere midjourney. Pour stable il me semble que c’est laion400m enfin je ne me souviens plus exactement du nom du machin.

avatar Chris K | 

@Dark Phantom

Pour MidJourney je crois pas qu’ils aient dit sur quelle IA ils s’appuyaient. J’ai pas vraiment cherché. Peut-être un truc maison car le gars derrière ça a un bagage assez costaud.

avatar Dark Phantom | 

@Chris K

Oui enfin tu ne fais pas un modèle d’IA tout seul dans ton garage, hein.
Il doit surtout avoir modifié des paramètres de modification d’images. J’ai remarqué par exemple que les images étaient souvent très saturées.

avatar Chris K | 

@Dark Phantom

Construire un model IA c’est pas si compliqué (j’ai fait de l’IA moi même) quand on sait comment faire. C’est surtout de la ressource machine qui est nécessaire. Après je spécule, j’ai aucune idée sur quoi ils se basent. Après, c’est sûr qu’on n’est pas obligé de réinventer la roue.

De base oui c’est assez saturé mais ça se module. Il y a tout un tas de paramètres disponibles (vraiment beaucoup) et souvent ceux qui génèrent des images en rajoute des caisses niveau paramètres alors que ça ne sert pas forcément.

Parfois ça donne d’excellents résultats (mais pas du premier coup souvent), parfois c’est bof. Les mains et les yeux c’est pas son fort à MidJourney pour l’instant dans le cas d’un rendu photo réaliste ; avec des yeux corrects il est souvent nécessaire de passer l’image dans une autre moulinette IA (j’utilise un truc de google pour ça).

avatar v1nce29 | 

@Chris K

2 milliards d'images. 900 millions de paramètres. C'est pas un petit modèle.
Bon c'est loin des top AI chinoises ou US et leurs centaines de trillions de paramètres.

avatar vicento | 

@Dark Phantom

Laion c’est le dataset si je ne m’abuse, pas lA.

avatar vicento | 

@Dark Phantom

J’ai crus comprendre que Midjourney a customisé disco diffusion et depuis plus d’un mois a intégré Stable diffusion dans son moteur. Je ne sais pas où ils en sont actuellement.

avatar Dark Phantom | 

Testé sur MacBook Air M1 , c’est assez lent par rapport à une RTX3090 ( ce qui me semble normal) mais surtout j’ai l’impression que les modèles utilisés ne sont pas toujours les mêmes.
Quoi qu’il en soit c’est une très bonne nouvelle de faire fonctionner les IA sur Mac sans avoir à installer pytorch et autres anaconda via les invites

avatar joneskind | 

@Dark Phantom

“ Testé sur MacBook Air M1 , c’est assez lent par rapport à une RTX3090 “

C’est effectivement pas très étonnant, puisque de l’aveu même d’Apple, c’est le GPU du M1 Ultra (64 cores) qui peut se comparer (parait-il) à la RTX3090.

Du coup je suis super curieux d’en savoir plus sur tes observations.

Le M1 n’a que 8 cores graphiques et devrait donc être (au moins) 8 fois moins rapide qu’un Ultra.

Ça donne quoi par rapport à ta RTX3090 ? Sachant le M1 Ultra se prend quand même de grosses pétées par NVidia sur certains benchs, je ne me fais pas trop d’illusions, mais je reste curieux.

Merci !

avatar Dark Phantom | 

@joneskind

Je l’ai testé aussi sur un M1pro et c’est un peu plus rapide que sur M1 mais pas instantané. Sur rtx3090 le résultat est instantané donc on dira une seconde pour une image de 512x512 alors que sur m1 c’est on dira aux alentours d’une minute

avatar vicento | 

@Dark Phantom

Et sur M1 Pro entre 25 et 30 secondes pour des images en 512 x 512 ce qui est assez rapide

avatar Dark Phantom | 

@joneskind

Et un tout petit peu plus long sur Mac Intel avec gpu amd utilisé à 50% donc il doit y avoir de la marge d’optimisation

avatar jerome74 | 

Hum, cette app annonce qu'elle va télécharger 8 GB de modèles, mais y a-t-il moyen de supprimer ces données après? Je ne vois rien à priori…

avatar vcqc | 

Il y un dossier caché, .diffusionbee, à la racine du dossier utilisateur.

avatar jerome74 | 

génial… c'est une app accessible à tout le monde, par contre pour pas se faire bouffer tout son SSD même une fois qu'on l'a mise à la poubelle, fait être un expert…

avatar misc | 

Encore et encore je suis déçu du choix d’Apple de ne pas mettre de GPU dédié (ou correct)sur les mini 2018. Même les plus grosses configuration n’en ont pas parce qu’à l’époque Apple poussait l’eGPU. Pari risqué et abandonné depuis 😒

avatar v1nce29 | 

> Diffusion Bee résous ce problème

résout.

avatar fleeBubl | 

Ça peut s’envisager ?
La 3D… le GPU… enfin, les maths derrière… bref :
d’en croquer !!!!

avatar Gravoche67 | 

J’y connais rien, mais je vois un début d’intérêt notamment pour illustrer sur lequel je travail. Quelqu’un aurait-il un article pédagogique à me recommander avec des exemples d’usages ? Merci 🙏

avatar v1nce29 | 
avatar Gravoche67 | 

@v1nce29
Suis-je maintenant un artiste? Merci ☺️

avatar oomu | 

@Gravoche67

attention qu'il est facile avec ces outils de singer le style BIEN ÉTABLI ET RECONNU d'artistes, et on rentre clairement dans une zone grise du droit d'auteur que les politiciens vont être forcés de légiférer.

ne pas oublier cela pour un projet commercial. Evitez les instructions genre "John Howe".

avatar Dark Phantom | 

@oomu

Oui et non. L’ia ne pique pas des morceaux d’un artiste, ni le style mais produit des images « qui font penser à » mais sans grande cohérence.
Donc soit il faut les retravailler totalement, soit elles sont quasi abouties (comme certains portraits) mais ne ressemblent que de très loin à l’ambiance d’un artiste.
D’autant plus que souvent les prompts mélangent allègrement plusieurs artistes et sources.

avatar v1nce29 | 

> L’ia ne pique pas des morceaux d’un artiste, ni le style

Pourtant c'est exactement ce que font certaines étapes de l'ai (style extraction, style transfer...)

avatar Dark Phantom | 

@v1nce29

Tu remarqueras pourtant que, par exemple, si tu fais des prompts à base de « Van Gogh » tu n’auras aucune partie/ morceau d’un tableau ou dessin de Van Gogh mais tu auras des sortes de virgules qui ressemblent à son style. Je suppose donc que l’ia retraite des éléments des peintures de Van Gogh mais la transformation est trop forte. D’autant qu’il transforme des photos libres de droits en appliquant des sortes de filtres.

avatar v1nce29 | 

avec "Van Gogh" peut-être pas. Avec "Starry night" tu risques de retrouver la bande nuageuse

avatar vicento | 

@Gravoche67

Cadeau 🎁 un PDF de plus de 100 pages pour apprendre à tirer parti de stable diffusion :

https://cdn.openart.ai/assets/Stable%20Diffusion%20Prompt%20Book%20From%20OpenArt%2010-28.pdf

Pour ceux qui sont curieux 🤨 de voir la qualité d’image que l’on peut obtenir :
https://www.instagram.com/iadicted

Si vous souhaitez tester Stable gratuitement et sans rien installer, c’est par ici :

https://dezgo.com

avatar Gravoche67 | 

@vicento

Enorme merci pour le partage. Comme pour le sampling.

avatar v1nce29 | 

Pour ceux qui veulent suivre l'actu de l'ai, je recommande le Channel youtube 2 minutes paper
https://t.co/DExzjF1Ul4

CONNEXION UTILISATEUR