Mémoire vidéo 4G avec configuration basse pour jouer à AIGC ! Le nouveau travail de l'auteur de ControlNet a atteint le sommet de la liste chaude de GitHub

Source de l'article : Qubit

Texte : Cressy Xiaoxiao

Jouez à AI Painting, maintenant vous n'avez plus à craindre d'être « poignardé dans le dos » par les compétences de couteau de Old Huang !

Tout ce dont vous avez besoin est une GTX 1650 (mémoire vidéo de 4 Go) d'il y a 4 ans, et l'effet de rendu de l'IA est comparable au meilleur modèle open source SDXL actuel.

** **△ Source : Twitter @ナビ

Il s'agit d'un nouveau projet Fooocus qui a dominé la liste TOP 1 sur GitHub pendant plusieurs jours consécutifs. Il a été marqué 4K en trois jours. Il est produit par Auteur ControlNet.

Avant cela, si vous souhaitez exécuter le dernier modèle XL de Stable Diffusion en douceur, vous devez utiliser le 4060ti avec une mémoire vidéo de 16 Go (le 3060 d'origine avec une mémoire vidéo de 12 Go est très réticent à fonctionner).

Contrairement à d'autres outils d'IA open source, Fooocus « se concentre sur la génération elle-même », a non seulement de faibles exigences matérielles, mais est également facile à utiliser, très convivial pour les novices——

Il n'est pas nécessaire d'ajuster des paramètres dans l'ensemble du processus, il suffit de cliquer sur la souris et une image peut être générée en 3 étapes.

** ****△**Source de l'image Twitter @Photogenic Weekend

Certains internautes ont déclaré : « C'est simplement le point culminant de Stable Diffusion et Midjourney » :

Dites adieu au réglage manuel ! Hors ligne, open source et gratuit, invitez simplement des mots et des images et laissez la magie opérer !

Certains internautes ont déploré : même Xiaobai peut exploiter pleinement l'effet du modèle Stable Diffusion XL.

Alors, quel est l’effet de génération réel de ce tout nouvel outil d’IA d’image ? Nous l'avons essayé.

Colab dessine l'image en une demi-minute, l'effet est comparable à SD

Du point de vue de l'interface en cours d'exécution, Fooocus propose plus d'une centaine de styles intégrés.

** ****△**Source de l'image Twitter @camenduru

Quant à l'efficacité, Fooocus est également très rapide en dessin. Dans Colab, il faut environ une demi-minute pour dessiner une image en mode priorité à la vitesse :

Le temps affiché dans le journal est le temps de dessin, mais il y a eu un processus d'analyse de texte auparavant, qui a pris environ 40 secondes au total :

** **### △L'image a été accélérée

Ensuite, laissez-le dessiner d'abord une caricature et voyez à quoi ressemblera la « guerre de Mazar » du point de vue de l'IA. (Pas ce Mazaha)

En raison de la génération directe de portraits avec l'IA, il y a encore quelques problèmes avec la manipulation des mains, nous laissons donc simplement Musk et Zuckerberg porter des gants :

L'effet semble être plutôt bon. Je ne sais pas s'ils ont des paris, mais autant laisser le perdant venir se déguiser.

(Rappel : il n'y a pas de gagnant dans un combat)

Au final, les deux « se serrent la main et font la paix », et cette scène précieuse a également été enregistrée par le photographe. L'image d'ensemble a-t-elle cette saveur ?

Après la fin de la « bataille de Mazar », Lao Ma est retourné docilement dans l'entreprise et a vendu Tesla.

Si vous ignorez le LOGO, le sens du design de poster est tout à fait en ligne.

En fait, chaque style intégré de Fooocus est très intéressant, alors jetons un œil à ces images en direct de différents styles :

Lorsqu'il s'agit d'imiter des œuvres célèbres, il existe une version Cyberpunk, une version Zelda, une version Minecraft et même une version Pokémon de Musk à regarder.

Quant aux autres formes d'art, il existe les styles Pixel et Lowpoly, ainsi que les versions Nendoroid et Scissorial…

Bien sûr, il existe une infinité d'exemples, les lecteurs et amis de plus de styles peuvent en faire l'expérience par eux-mêmes.

(Il faut dire que le texte dans le dessin AI n'est finalement pas un dessin fantôme)

Les grands peintres sont-ils déjà impatients et veulent-ils l'essayer ? Nous présenterons comment jouer à Fooocus dans un instant !

L'interface de Fooocus appartient à tante Jiang, dont on peut dire qu'elle est très concise :

Si vous essayez simplement quelque chose de nouveau et n'avez aucune exigence particulière, cette boîte de dialogue est tout à fait suffisante.

Parce que l’auteur a internalisé de nombreuses compétences complexes dans le programme, ces opérations de réglage des paramètres n’ont plus besoin d’être effectuées manuellement.

Entrez directement dans la case ci-dessous, cliquez sur le bouton générer et attendez que le dessin soit produit.

(Par défaut, deux images sont sorties à la fois, la taille est de 1152 × 896, le style est cinématique par défaut et la vitesse est prioritaire)

Si des paramètres avancés sont requis, cochez Avancé dans le coin inférieur gauche et les informations de configuration apparaîtront sur le côté droit de la page, divisées en trois onglets :

Les éléments pouvant être ajustés incluent la taille, la quantité, le style, les performances et plus encore.

Si vous êtes un joueur professionnel, vous pouvez également choisir la version du modèle et même ajuster les paramètres LoRA.

De plus, il existe un jeu haut de gamme de réglage de la netteté.

Pour le même contenu, le GIF suivant montre le changement de netteté de 2 à 10 puis à 20. On constate qu'à mesure que la netteté augmente, les détails de l'image deviennent de plus en plus abondants :

Cependant, quant à savoir si Fooocus prend en charge le chinois, nous l'avons également essayé, mais c'est dommage qu'il ne soit pas encore disponible.

Par exemple, nous saisissons le mot d’invite « pomme » et le résultat est une fille.

Ceci... est-ce que ça essaie de dire "Tu es la prunelle de mes yeux" ?

Maintenant, vous savez probablement comment jouer à Fooocus, alors comment le configurer ?

Si vous possédez une machine Windows avec une carte graphique Nvidia, vous pouvez utiliser la version prête à l'emploi. (C'est probablement la 114514ème fois que Lao Huang remporte le mahjong)

Dans le même temps, le matériel doit répondre aux exigences de configuration minimales : 4 Go de mémoire vidéo + 8 Go de mémoire.

Téléchargez d'abord directement à partir d'ici :

Après la décompression, double-cliquez sur run.bat pour l'exécuter, le système téléchargera automatiquement le modèle et le déploiera, et il pourra être utilisé une fois la configuration terminée.

Les exigences de configuration de la version Linux sont les mêmes que celles de Windows, mais le processus de configuration est plus compliqué.

(Si vous disposez de Jupyter, vous pouvez également vous référer au fichier de notes utilisé dans Colab)

Tout d'abord, installez les dépendances de l'environnement :

clone git cd Fooocus conda env créer -f environnement.yaml conda active fooocus pip install -r exigences_versions.txt

Téléchargez ensuite le fichier modèle et stockez-le dans le répertoire spécifié :

** **△ Pour plus de détails, veuillez vous référer à la page GitHub

Bien entendu, vous pouvez également laisser le système télécharger automatiquement le modèle :

lancement de python.py

Si vous utilisez un Mac ou que la configuration matérielle ne répond pas aux exigences, vous pouvez également l'exécuter directement avec Colab.

(Portail:

Cependant, ce dont je dois encore me plaindre, c'est que la version Colab plante plusieurs fois de temps en temps, soit en s'arrêtant automatiquement, soit en débordement de mémoire...

Si vous souhaitez exécuter Fooocus plus facilement sur Mac ou sur un ordinateur à carte, vous pouvez attendre la mise à jour de l'auteur.

Dans l'ensemble, l'effet de sortie d'image de Fooocus est bon. Si le mot d'invite est bien sélectionné, il peut même être utilisé comme diffusion stable. L'essentiel est que les exigences de configuration matérielle ne sont pas élevées.

Comment diable est-ce possible ?

Du dernier projet de l'auteur de ControlNet

En termes de conception d'architecture, Fooocus est principalement divisé en deux parties : l'interface interactive et le modèle IA.

Parmi eux, interface interactive fait référence à deux projets, à savoir stable-diffusion-webui et ComfyUI.

stable-diffusion-webui est principalement la conception frontale de l'interface interactive :

ComfyUI a à la fois une interface graphique et une conception back-end de Stable Diffusion :

Quant au modèle AI, on constate que le nouveau modèle SDXL de Stable Diffusion est utilisé :

Il s'agit actuellement de l'une des meilleures versions de Stable Diffusion, et l'effet de génération a été considérablement amélioré par rapport à la version précédente 1.5.

Cependant, bien que le modèle et la conception de l'interface utilisateur de Fooocus fassent référence au projet open source Stable Diffusion prêt à l'emploi, l'auteur a incorporé une grande partie de sa propre conception d'optimisation lors de sa création, ce qui rend le modèle plus fluide.

Par exemple, l'auteur a soigneusement adopté la méthode avancée d'échantillonnage par diffusion k conçue par lui-même dans Fooocus, qui peut améliorer la continuité de l'échantillonnage, réduire la perte de performances et améliorer l'efficacité de l'échantillonnage ;

De plus, l'auteur a également soigneusement ajusté les paramètres de l'échantillonneur (Sampler), et modifié et ajouté de nouveaux paramètres, notamment le style du film, sur la base de la version originale.

La raison pour laquelle l'option LoRA est ajoutée à Fooocus est que l'auteur a constaté que le modèle SDXL avec LoRA (réglage du poids inférieur à 0,5) est presque toujours meilleur que le modèle SDXL sans LoRA.

L'auteur qui a développé le projet Fooocus s'appelle Lvmin Zhang. Il est diplômé de l'Université de Soochow en 2021 et est actuellement doctorant à l'Université de Stanford.

Plusieurs projets qu'il a réalisés, dont ControlNet et style2paints, ont presque tous explosé :

Aujourd’hui, le dernier projet, Fooocus, semble tout aussi populaire.

Sur les réseaux sociaux, certains internautes ont spontanément compilé la version Fooocus d'une collection de mots rapides dans différents styles Excel.

Si vous ne savez pas quel type d'image générer, référez-vous simplement aux mots-clés de ce document :

Avez-vous déterminé quel type d'images vous souhaitez générer avec Fooocus ?

adresse du projet :

Lien de référence : [1] [2] Collection de mots d'invite : [3] [4]