Відеопам'ять 4G з низькою конфігурацією для відтворення AIGC! Нова робота автора ControlNet потрапила на вершину гарячого списку GitHub

Джерело статті: Qubit

Текст: Cressy Xiaoxiao

Грайте в AI Painting, тепер вам не доведеться хвилюватися про те, що Старий Хуанг навички володіння ножем вас «ударять у спину»!

Усе, що вам потрібно, це GTX 1650 (4 ГБ відеопам’яті) 4-річної давності, а ефект візуалізації AI можна порівняти з поточною найкращою моделлю з відкритим кодом SDXL.

** **△ Джерело: Twitter @ナビ

Це новий проект Fooocus, який кілька днів поспіль домінував у списку ТОП 1 на GitHub, за три дні отримав відмітку 4K, створений автором ControlNet.

До її появи, якщо ви хочете безперебійно працювати з останньою моделлю XL Stable Diffusion, ви повинні використовувати 4060ti з 16G відеопам’яттю (оригінальний 3060 з 12G відеопам’яттю дуже неохоче працює).

На відміну від інших інструментів штучного інтелекту з відкритим кодом, Fooocus «зосереджується на самій генерації», не тільки має низькі вимоги до обладнання, але також простий у використанні, дуже зручний для новачків——

Немає необхідності налаштовувати будь-які параметри в усьому процесі, просто клацніть мишкою, і зображення може бути згенеровано за 3 кроки.

** ****△**Джерело зображення Twitter @Photogenic Weekend

Деякі користувачі мережі закликали: «Це просто кульмінація Stable Diffusion і Midjourney»:

Попрощайтеся з ручним налаштуванням! Офлайн, з відкритим кодом і безкоштовно, просто підказуйте слова та зображення, і нехай станеться чарівництво!

Деякі користувачі мережі нарікали: навіть Xiaobai може повністю використати ефект моделі Stable Diffusion XL.

Отже, який фактичний ефект створення зображень від цього абсолютно нового інструменту штучного інтелекту? Ми спробували це.

Colab малює картинку за півхвилини, ефект можна порівняти з SD

З точки зору запущеного інтерфейсу, Fooocus має понад сотню вбудованих стилів на вибір.

** ****△**Джерело зображення Twitter @camenduru

Щодо ефективності, Fooocus також дуже швидкий у малюванні. У Colab малюнок у режимі пріоритету швидкості займає приблизно півхвилини:

Час, який відображається в журналі, є часом малювання, але раніше був процес розбору тексту, який загалом займав близько 40 секунд:

** **### △Зображення було прискорено

Потім дозвольте йому спочатку намалювати карикатуру і подивіться, як виглядатиме «війна Мазара» з точки зору ШІ. (Не ця Мазаха)

Через пряму генерацію портретів за допомогою штучного інтелекту все ще є деякі проблеми з обробкою рук, тому ми просто дозволили Маску та Цукербергу одягнути рукавички:

Ефект, здається, досить хороший. Я не знаю, чи є у них якісь ставки, але це також може дозволити переможеному прийти одягнутися.

(Нагадування: у боротьбі не буває переможця)

Зрештою, двоє «потиснули один одному руки і помирилися», і цю дорогоцінну сцену також зафіксував фотограф.Чи має загальна картина такий присмак?

Після закінчення «битви при Мазарі» Лао Ма слухняно повернувся в компанію і продав Tesla.

Якщо ви ігноруєте ЛОГОТИП, то дизайнерський сенс постера цілком онлайн.

Фактично, кожен вбудований стиль Fooocus дуже цікавий, тому давайте подивимося на ці живі зображення різних стилів:

Коли справа доходить до імітації відомих творів, є версія Cyberpunk, версія Zelda, версія Minecraft і навіть версія Pokémon Маска.

Що стосується інших форм мистецтва, то існують стилі Pixel і Lowpoly, а також версії Nendoroid і Scissorial…

Звичайно, є нескінченна кількість прикладів, читачі та друзі багатьох стилів можуть випробувати це на собі.

(Потрібно сказати, що текст на малюнку AI, нарешті, не є малюнком-привидом)

Великі художники вже не терпляться і хочуть спробувати? За мить ми розповімо, як грати у Fooocus!

Інтерфейс Fooocus належить тітці Цзян, який, можна сказати, дуже лаконічний:

Якщо ви просто пробуєте щось нове і не маєте особливих вимог, цієї підказки цілком достатньо.

Оскільки автор включив у програму багато складних навичок, ці операції налаштування параметрів більше не потрібно виконувати вручну.

Введіть безпосередньо у поле нижче, натисніть кнопку генерувати та зачекайте, поки буде створено креслення.

(За замовчуванням одночасно виводиться два зображення, розмір – 1152 × 896, стиль – кінематографічний, а швидкість – пріоритетна)

Якщо потрібні розширені налаштування, поставте прапорець біля пункту Додатково в нижньому лівому куті, і інформація про конфігурацію з’явиться в правій частині сторінки, розділеної на три вкладки:

Речі, які можна налаштувати, включають розмір, кількість, стиль, продуктивність тощо.

Якщо ви професійний гравець, ви також можете вибрати версію моделі і навіть налаштувати параметри LoRA.

Крім того, є висококласна гра регулювання різкості.

Для того самого вмісту наступний GIF показує зміну різкості від 2 до 10, а потім до 20. Видно, що зі збільшенням різкості деталі зображення стають все більш і більш багатими:

Але щодо того, чи підтримує Fooocus китайську, ми теж пробували, але шкода, що її поки немає.

Наприклад, ми вводимо підказку «яблуко», а в результаті виходить дівчинка.

Це... це спроба сказати "Ти зіниця моїх очей"?

Тепер ви, мабуть, знаєте, як грати в Fooocus, тож як його налаштувати?

Якщо у вас є комп’ютер Windows із відеокартою Nvidia, ви можете використовувати стандартну версію. (Ймовірно, це 114514-й раз, коли Лао Хуанг виграє маджонг)

У той же час апаратне забезпечення має відповідати мінімальним вимогам конфігурації - 4 ГБ відеопам'яті + 8 ГБ пам'яті.

Спочатку завантажте безпосередньо звідси:

Після декомпресії двічі клацніть run.bat, щоб запустити, система автоматично завантажить модель і розгорне її, і її можна буде використовувати після завершення налаштування.

Вимоги до конфігурації версії Linux такі ж, як і для Windows, але процес налаштування складніший.

(Якщо у вас є Jupyter, ви також можете звернутися до файлу нотаток, який використовується в Colab)

Спочатку встановіть залежності середовища:

git клон cd Fooocus conda env create -f середовище.yaml conda активувати fooocus pip install -r requirements_versions.txt

Потім завантажте файл моделі та збережіть його у вказаному каталозі:

** **△ Докладнішу інформацію можна знайти на сторінці GitHub

Звичайно, ви також можете дозволити системі автоматично завантажувати модель:

python launch.py

Якщо ви використовуєте Mac або конфігурація апаратного забезпечення не відповідає вимогам, ви також можете запустити його безпосередньо за допомогою Colab.

(Портал:

Однак мені все ще доводиться скаржитися на те, що версія Colab час від часу кілька разів аварійно завершує роботу, автоматично зупиняючись або переповнюючи пам’ять...

Якщо ви хочете більш плавно запускати Fooocus на комп’ютері Mac або A Card, ви можете дочекатися оновлення автора.

Загалом ефект виведення зображення у Fooocus хороший. Якщо слово підказки правильно вибрано, його можна навіть використовувати як стабільну дифузію. Ключовим є те, що вимоги до апаратної конфігурації невисокі.

Як це можливо?

З останнього проекту автора ControlNet

З точки зору дизайну архітектури Fooocus в основному ділиться на дві частини: інтерактивний інтерфейс і модель AI.

Серед них інтерактивний інтерфейс стосується двох проектів, а саме stable-diffusion-webui та ComfyUI.

stable-diffusion-webui — це переважно зовнішній дизайн інтерактивного інтерфейсу:

ComfyUI має як графічний інтерфейс, так і внутрішній дизайн Stable Diffusion:

Що стосується моделі штучного інтелекту, можна побачити, що використовується нова модель SDXL стабільної дифузії:

Наразі це одна з найкращих версій Stable Diffusion, а ефект генерації значно покращено порівняно з попередньою версією 1.5.

Однак, незважаючи на те, що модель і дизайн інтерфейсу користувача Fooocus стосуються готового проекту з відкритим вихідним кодом Stable Diffusion, автор включив багато власного дизайну оптимізації під час його створення, завдяки чому модель працює плавніше.

Наприклад, автор ретельно застосував вдосконалений метод вибірки k-дифузії, розроблений ним самим у Fooocus, який може покращити безперервність вибірки, зменшити втрату продуктивності та підвищити ефективність вибірки;

Крім того, автор також ретельно налаштував параметри семплера (Sampler), а також змінив і додав деякі нові налаштування, включаючи стиль фільму, на основі оригінальної версії.

Причина, чому опцію LoRA додано до Fooocus, полягає в тому, що автор виявив, що модель SDXL із LoRA (налаштування ваги менше 0,5) майже завжди краща, ніж модель SDXL без LoRA.

Автора, який розробив проект Fooocus, звуть Lvmin Zhang. Він закінчив Університет Сучжоу в 2021 році і зараз є докторантом Стенфордського університету.

Кілька проектів, які він зробив, включаючи ControlNet і style2paints, майже всі з них вибухнули:

Тепер останній проект Fooocus виглядає не менш популярним.

У соціальних мережах деякі користувачі мережі спонтанно зібрали версію Fooocus колекції підказок у різних стилях Excel.

Якщо ви не знаєте, яке зображення створити, просто зверніться до підказок у цьому документі:

Ви зрозуміли, які зображення ви хочете створити за допомогою Fooocus?

адреса проекту:

Посилання на посилання: [1] [2] Збірка слів-підказок: [3] [4]