Diffusion Bee permet de générer des images localement avec Stable Diffusion
Vous commencez à avoir fait le tour de Dall-E ? Alors il est l'heure d'essayer Stable Diffusion, un autre modèle d'apprentissage automatique d'images qui tourne localement sur votre Mac ! Le développeur Divam Gupta vient de publier une nouvelle version de Diffusion Bee, une interface graphique pour Stable Diffusion permettant de s'en servir sans compétences techniques sur macOS. Elle offre (entre autres) de générer des images à partir d'une poignée de mots.
Contrairement à Dall-E, Stable Diffusion est un projet libre qui nécessite de mettre un peu les mains dans le cambouis pour démarrer. Diffusion Bee résout ce problème étant donné qu'il s'agit simplement d'un programme à faire glisser dans votre dossier Applications. Tout fonctionne hors-ligne et aucune donnée n'est envoyée dans le nuage.
L'interface est très simple : un cadre vous invite à entrer une description, et un clic permet de générer l'image. Plusieurs options sont disponibles, et on pourra également utiliser l'IA pour modifier une image existante en ajoutant des éléments ou en lui laissant imaginer ce qui se passe hors du cadre. Des paramètres avancés sont proposés pour les utilisateurs désirant aller plus loin.
L'application tire sur la carte graphique et il est recommandé de ne pas utiliser d'autres programmes pendant la génération d'image (ça freeze assez vite chez moi sur mon iMac Intel). Les propriétaires de Mac plus récents devraient obtenir de meilleurs performances, Diffusion Bee étant optimisé pour les puces M1 et M2.
Si vous voulez jouer avec l’IA sans rien télécharger, rappelons que Dall-E a récemment supprimé sa liste d'attente. Cependant, la génération d'image est limitée à un certains nombres de crédits par mois, et il faudra ensuite passer à la caisse pour continuer à créer.
Super, merci pour le partage ! 🙏
En parlant d’images générées par AI via du texte, il y a MidJourney sur Discord qui est particulièrement impressionnant.
@Chris K
https://www.midjourney.com/showcase/
@Chris K
Oui mais là au moins c’est gratuit
@Dark Phantom
C’était juste une info.. après tout dépend de pourquoi tu t’en sers.
@Chris K
Il y a déjà beaucoup d’avancées depuis disco diffusion. Après, il faudrait savoir quelle est l’intelligence artificielle derriere midjourney. Pour stable il me semble que c’est laion400m enfin je ne me souviens plus exactement du nom du machin.
@Dark Phantom
Pour MidJourney je crois pas qu’ils aient dit sur quelle IA ils s’appuyaient. J’ai pas vraiment cherché. Peut-être un truc maison car le gars derrière ça a un bagage assez costaud.
@Chris K
Oui enfin tu ne fais pas un modèle d’IA tout seul dans ton garage, hein.
Il doit surtout avoir modifié des paramètres de modification d’images. J’ai remarqué par exemple que les images étaient souvent très saturées.
@Dark Phantom
Construire un model IA c’est pas si compliqué (j’ai fait de l’IA moi même) quand on sait comment faire. C’est surtout de la ressource machine qui est nécessaire. Après je spécule, j’ai aucune idée sur quoi ils se basent. Après, c’est sûr qu’on n’est pas obligé de réinventer la roue.
De base oui c’est assez saturé mais ça se module. Il y a tout un tas de paramètres disponibles (vraiment beaucoup) et souvent ceux qui génèrent des images en rajoute des caisses niveau paramètres alors que ça ne sert pas forcément.
Parfois ça donne d’excellents résultats (mais pas du premier coup souvent), parfois c’est bof. Les mains et les yeux c’est pas son fort à MidJourney pour l’instant dans le cas d’un rendu photo réaliste ; avec des yeux corrects il est souvent nécessaire de passer l’image dans une autre moulinette IA (j’utilise un truc de google pour ça).
@Chris K
2 milliards d'images. 900 millions de paramètres. C'est pas un petit modèle.
Bon c'est loin des top AI chinoises ou US et leurs centaines de trillions de paramètres.
@Dark Phantom
Laion c’est le dataset si je ne m’abuse, pas lA.
@Dark Phantom
J’ai crus comprendre que Midjourney a customisé disco diffusion et depuis plus d’un mois a intégré Stable diffusion dans son moteur. Je ne sais pas où ils en sont actuellement.
Testé sur MacBook Air M1 , c’est assez lent par rapport à une RTX3090 ( ce qui me semble normal) mais surtout j’ai l’impression que les modèles utilisés ne sont pas toujours les mêmes.
Quoi qu’il en soit c’est une très bonne nouvelle de faire fonctionner les IA sur Mac sans avoir à installer pytorch et autres anaconda via les invites
@Dark Phantom
“ Testé sur MacBook Air M1 , c’est assez lent par rapport à une RTX3090 “
C’est effectivement pas très étonnant, puisque de l’aveu même d’Apple, c’est le GPU du M1 Ultra (64 cores) qui peut se comparer (parait-il) à la RTX3090.
Du coup je suis super curieux d’en savoir plus sur tes observations.
Le M1 n’a que 8 cores graphiques et devrait donc être (au moins) 8 fois moins rapide qu’un Ultra.
Ça donne quoi par rapport à ta RTX3090 ? Sachant le M1 Ultra se prend quand même de grosses pétées par NVidia sur certains benchs, je ne me fais pas trop d’illusions, mais je reste curieux.
Merci !
@joneskind
Je l’ai testé aussi sur un M1pro et c’est un peu plus rapide que sur M1 mais pas instantané. Sur rtx3090 le résultat est instantané donc on dira une seconde pour une image de 512x512 alors que sur m1 c’est on dira aux alentours d’une minute
@Dark Phantom
Et sur M1 Pro entre 25 et 30 secondes pour des images en 512 x 512 ce qui est assez rapide
@joneskind
Et un tout petit peu plus long sur Mac Intel avec gpu amd utilisé à 50% donc il doit y avoir de la marge d’optimisation
Hum, cette app annonce qu'elle va télécharger 8 GB de modèles, mais y a-t-il moyen de supprimer ces données après? Je ne vois rien à priori…
Il y un dossier caché, .diffusionbee, à la racine du dossier utilisateur.
génial… c'est une app accessible à tout le monde, par contre pour pas se faire bouffer tout son SSD même une fois qu'on l'a mise à la poubelle, fait être un expert…
Encore et encore je suis déçu du choix d’Apple de ne pas mettre de GPU dédié (ou correct)sur les mini 2018. Même les plus grosses configuration n’en ont pas parce qu’à l’époque Apple poussait l’eGPU. Pari risqué et abandonné depuis 😒
> Diffusion Bee résous ce problème
résout.
Ça peut s’envisager ?
La 3D… le GPU… enfin, les maths derrière… bref :
d’en croquer !!!!
J’y connais rien, mais je vois un début d’intérêt notamment pour illustrer sur lequel je travail. Quelqu’un aurait-il un article pédagogique à me recommander avec des exemples d’usages ? Merci 🙏
https://andys.page/posts/how-to-draw/#
@v1nce29
Suis-je maintenant un artiste? Merci ☺️
@Gravoche67
attention qu'il est facile avec ces outils de singer le style BIEN ÉTABLI ET RECONNU d'artistes, et on rentre clairement dans une zone grise du droit d'auteur que les politiciens vont être forcés de légiférer.
ne pas oublier cela pour un projet commercial. Evitez les instructions genre "John Howe".
@oomu
Oui et non. L’ia ne pique pas des morceaux d’un artiste, ni le style mais produit des images « qui font penser à » mais sans grande cohérence.
Donc soit il faut les retravailler totalement, soit elles sont quasi abouties (comme certains portraits) mais ne ressemblent que de très loin à l’ambiance d’un artiste.
D’autant plus que souvent les prompts mélangent allègrement plusieurs artistes et sources.
> L’ia ne pique pas des morceaux d’un artiste, ni le style
Pourtant c'est exactement ce que font certaines étapes de l'ai (style extraction, style transfer...)
@v1nce29
Tu remarqueras pourtant que, par exemple, si tu fais des prompts à base de « Van Gogh » tu n’auras aucune partie/ morceau d’un tableau ou dessin de Van Gogh mais tu auras des sortes de virgules qui ressemblent à son style. Je suppose donc que l’ia retraite des éléments des peintures de Van Gogh mais la transformation est trop forte. D’autant qu’il transforme des photos libres de droits en appliquant des sortes de filtres.
avec "Van Gogh" peut-être pas. Avec "Starry night" tu risques de retrouver la bande nuageuse
@Gravoche67
Cadeau 🎁 un PDF de plus de 100 pages pour apprendre à tirer parti de stable diffusion :
https://cdn.openart.ai/assets/Stable%20Diffusion%20Prompt%20Book%20From%20OpenArt%2010-28.pdf
Pour ceux qui sont curieux 🤨 de voir la qualité d’image que l’on peut obtenir :
https://www.instagram.com/iadicted
Si vous souhaitez tester Stable gratuitement et sans rien installer, c’est par ici :
https://dezgo.com
@vicento
Enorme merci pour le partage. Comme pour le sampling.
Pour ceux qui veulent suivre l'actu de l'ai, je recommande le Channel youtube 2 minutes paper
https://t.co/DExzjF1Ul4