Bộ nhớ video 4G cấu hình thấp chơi AIGC! Tác phẩm mới của tác giả ControlNet lọt top hot GitHub

Nguồn bài viết: Qubit

Văn bản: Cressy Xiaoxiao

Chơi AI Painting, giờ đây bạn không còn phải lo bị kỹ năng dùng dao của Old Huang "đâm sau lưng" nữa!

Tất cả những gì bạn cần là GTX 1650 (bộ nhớ video 4GB) từ 4 năm trước và hiệu ứng kết xuất AI có thể so sánh với mẫu mã nguồn mở SDXL tốt nhất hiện nay.

** **△ Nguồn: Twitter @ナビ

Đây là dự án mới Fooocus đã thống trị danh sách TOP 1 trên GitHub trong nhiều ngày liên tiếp. Dự án này đã được đánh dấu 4K trong ba ngày. Nó được sản xuất bởi tác giả ControlNet.

Trước khi nó ra mắt, nếu bạn muốn chạy trơn tru mẫu XL mới nhất của Khuếch tán ổn định, bạn phải sử dụng 4060ti với bộ nhớ video 16G (3060 gốc với bộ nhớ video 12G rất khó chạy).

Không giống như các công cụ AI nguồn mở khác, Fooocus "tập trung vào thế hệ", không chỉ có yêu cầu phần cứng thấp mà còn dễ sử dụng, rất thân thiện với người mới làm quen——

Không cần điều chỉnh bất kỳ tham số nào trong toàn bộ quá trình, chỉ cần nhấp chuột và có thể tạo hình ảnh trong 3 bước.

** ****△**Nguồn ảnh Twitter @Photogenic Weekend

Một số cư dân mạng gọi: "Đây đơn giản là đỉnh cao của Khuếch tán ổn định và Hành trình giữa chừng":

Nói lời tạm biệt với việc điều chỉnh thủ công! Ngoại tuyến, mã nguồn mở và miễn phí, chỉ cần nhắc các từ và hình ảnh và để điều kỳ diệu xảy ra!

Một số cư dân mạng than thở: Ngay cả Xiaobai cũng có thể phát huy hết tác dụng của mô hình Stable Diffusion XL.

Vậy hiệu ứng tạo ra thực tế của công cụ AI hình ảnh hoàn toàn mới này là gì? Chúng tôi đã thử nó.

Colab vẽ hình trong nửa phút, hiệu quả có thể so sánh với SD

Từ góc độ giao diện đang chạy, Fooocus có hơn một trăm kiểu tích hợp để lựa chọn.

** ****△**Nguồn ảnh Twitter @camenduru

Về hiệu quả, Fooocus cũng vẽ rất nhanh. Trong Colab, mất khoảng nửa phút để vẽ một bức tranh ở chế độ ưu tiên tốc độ:

Thời gian hiển thị trong log là thời gian vẽ, tuy nhiên trước đó đã có quá trình phân tích văn bản, tổng cộng mất khoảng 40 giây:

** **### △Hình ảnh đã được tăng tốc

Sau đó, hãy để nó vẽ một bức tranh biếm họa trước và xem "Cuộc chiến Mazar" sẽ như thế nào từ góc nhìn của AI. (Không phải Mazaha này)

Do việc tạo ra các bức chân dung trực tiếp bằng AI nên việc xử lý bằng tay vẫn còn một số vấn đề nên chúng tôi chỉ để Musk và Zuckerberg đeo găng tay:

Hiệu quả có vẻ khá tốt. Tôi không biết họ có đặt cược gì không, nhưng cũng có thể để người thua đến hóa trang.

(Nhắc nhở: Không có người chiến thắng trong một cuộc chiến)

Cuối cùng, cả hai đã "bắt tay làm hòa", cảnh tượng quý giá này cũng được nhiếp ảnh gia ghi lại, liệu tổng thể bức ảnh có hương vị đó không?

Sau khi “Trận chiến Mazar” kết thúc, Lão Mã ngoan ngoãn quay trở lại công ty và bán Tesla.

Nếu bạn bỏ qua LOGO, ý nghĩa thiết kế của poster khá trực tuyến.

Trên thực tế, mọi phong cách tích hợp sẵn của Fooocus đều rất thú vị, vì vậy hãy cùng xem những hình ảnh trực tiếp về các phong cách khác nhau này:

Khi nói đến việc bắt chước các tác phẩm nổi tiếng, có phiên bản Cyberpunk, phiên bản Zelda, phiên bản Minecraft và thậm chí cả phiên bản Pokémon của Musk để xem.

Đối với các loại hình nghệ thuật khác, có các phong cách Pixel và Lowpoly, cũng như các phiên bản Nendoroid và Scissorial…

Tất nhiên, có vô số ví dụ, độc giả và bạn bè thuộc nhiều phong cách hơn có thể tự mình trải nghiệm.

(Phải nói rằng chữ trong bản vẽ AI cuối cùng không phải là bản vẽ ma)

Có phải những họa sĩ vĩ đại đã thiếu kiên nhẫn và muốn thử nó? Chúng tôi sẽ giới thiệu cách chơi Fooocus ngay sau đây!

Giao diện của Fooocus thuộc về dì Jiang, có thể nói là rất ngắn gọn:

Nếu bạn chỉ đang thử một điều gì đó mới và không có yêu cầu đặc biệt nào, hộp nhắc nhở này là hoàn toàn đủ.

Vì tác giả đã nội hóa nhiều kỹ năng phức tạp vào chương trình nên các thao tác điều chỉnh tham số này không còn cần phải thực hiện thủ công nữa.

Nhập trực tiếp vào ô bên dưới, nhấp vào nút tạo và đợi bản vẽ được tạo.

(Theo mặc định, hai hình ảnh được xuất ra cùng một lúc, kích thước là 1152×896, kiểu mặc định là điện ảnh và tốc độ được ưu tiên)

Nếu cần cài đặt nâng cao, hãy đánh dấu vào Nâng cao ở góc dưới bên trái và thông tin cấu hình sẽ xuất hiện ở bên phải trang, được chia thành ba tab:

Những thứ có thể điều chỉnh bao gồm kích thước, số lượng, kiểu dáng, hiệu suất và hơn thế nữa.

Nếu là người chơi chuyên nghiệp, bạn cũng có thể chọn phiên bản mô hình và thậm chí điều chỉnh các thông số LoRA.

Ngoài ra còn có game điều chỉnh độ sắc nét cao cấp.

Đối với cùng một nội dung, ảnh GIF sau đây cho thấy sự thay đổi độ sắc nét từ 2 lên 10 rồi đến 20. Có thể thấy, khi độ sắc nét tăng lên thì độ chi tiết của bức ảnh ngày càng phong phú:

Tuy nhiên, về việc Fooocus có hỗ trợ tiếng Trung hay không, chúng tôi cũng đã thử nhưng tiếc là vẫn chưa có.

Ví dụ: chúng ta nhập từ nhắc "quả táo" và kết quả là một bé gái.

Đây... có phải là nó đang muốn nói "Bạn là quả táo trong mắt tôi" không?

Bây giờ chắc hẳn bạn đã biết cách chơi Fooocus rồi, vậy cấu hình nó như thế nào?

Nếu bạn có máy Windows có card đồ họa Nvidia, bạn có thể sử dụng phiên bản có sẵn. (Chắc đây là lần thứ 114514 Lão Hoàng thắng mạt chược)

Đồng thời, phần cứng cần đáp ứng yêu cầu cấu hình tối thiểu - bộ nhớ video 4GB + bộ nhớ 8GB.

Tải trực tiếp từ đây trước:

Sau khi giải nén, bấm đúp vào run.bat để chạy, hệ thống sẽ tự động tải mô hình xuống và triển khai, sau khi cấu hình xong là có thể sử dụng được.

Yêu cầu cấu hình của phiên bản Linux cũng giống như của Windows nhưng quá trình cấu hình phức tạp hơn.

(Nếu có Jupyter thì bạn cũng có thể tham khảo file ghi chú dùng trong Colab)

Đầu tiên, cài đặt các phụ thuộc môi trường:

bản sao git cd Foocus conda env tạo -f môi trường.yaml conda kích hoạt foocus cài đặt pip -r require_versions.txt

Sau đó tải xuống tệp mô hình và lưu trữ nó trong thư mục đã chỉ định:

** **△ Để biết chi tiết, vui lòng tham khảo trang GitHub

Tất nhiên, bạn cũng có thể để hệ thống tự động tải xuống mô hình:

python launch.py

Nếu bạn đang sử dụng máy Mac hoặc cấu hình phần cứng không đáp ứng yêu cầu, bạn cũng có thể chạy trực tiếp bằng Colab.

(Cổng thông tin:

Tuy nhiên, điều tôi vẫn phải phàn nàn là phiên bản Colab thỉnh thoảng sẽ bị lỗi, hoặc tự động dừng hoặc tràn bộ nhớ...

Nếu muốn chạy Fooocus mượt mà hơn trên máy Mac hoặc máy tính thẻ A, bạn có thể đợi bản cập nhật của tác giả.

Nhìn chung, hiệu ứng đầu ra hình ảnh của Fooocus là tốt, nếu từ nhắc được chọn tốt, nó thậm chí có thể được sử dụng làm Khuếch tán ổn định, mấu chốt là yêu cầu cấu hình phần cứng không cao.

Làm thế quái nào mà điều này có thể xảy ra được?

Từ dự án mới nhất của tác giả ControlNet

Về mặt thiết kế kiến trúc, Fooocus chủ yếu được chia thành hai phần: giao diện tương tác và mô hình AI.

Trong số đó, giao diện tương tác đề cập đến hai dự án là stable-diffusion-webui và ComfyUI.

ổn định-khuếch tán-webui chủ yếu là thiết kế mặt trước của giao diện tương tác:

ComfyUI có cả GUI và thiết kế back-end của Stable Diffusion:

Đối với mô hình AI, có thể thấy mô hình SDXL mới của Khuếch tán ổn định được sử dụng:

Đây hiện là một trong những phiên bản Stable Diffusion tốt nhất và hiệu ứng tạo đã được cải thiện rất nhiều so với phiên bản 1.5 trước đó.

Tuy nhiên, mặc dù mô hình và thiết kế UI của Fooocus đề cập đến dự án mã nguồn mở Stable Diffusion có sẵn nhưng tác giả đã kết hợp rất nhiều thiết kế tối ưu hóa của riêng mình khi thực hiện nó, giúp mô hình chạy mượt mà hơn.

Ví dụ, tác giả đã cẩn thận áp dụng phương pháp lấy mẫu khuếch tán k tiên tiến do chính ông thiết kế trong Fooocus, phương pháp này có thể cải thiện tính liên tục của việc lấy mẫu, giảm tổn thất hiệu suất và cải thiện hiệu quả lấy mẫu;

Ngoài ra, tác giả còn cẩn thận điều chỉnh các thông số của bộ lấy mẫu (Sampler), đồng thời sửa đổi và bổ sung một số cài đặt mới trong đó có kiểu phim trên nền tảng của phiên bản gốc.

Lý do tại sao tùy chọn LoRA được thêm vào Fooocus là tác giả nhận thấy rằng mô hình SDXL có LoRA (cài đặt trọng số nhỏ hơn 0,5) hầu như luôn tốt hơn mô hình SDXL không có LoRA.

Tác giả phát triển dự án Fooocus tên là Lvmin Zhang, anh tốt nghiệp Đại học Soochow năm 2021 và hiện đang là nghiên cứu sinh Tiến sĩ tại Đại học Stanford.

Một số dự án anh ấy đã thực hiện, bao gồm ControlNet và style2paint, hầu hết đều thành công:

Giờ đây, dự án mới nhất, Fooocus, có vẻ cũng được yêu thích không kém.

Trên mạng xã hội, một số cư dân mạng đã tự ý biên soạn phiên bản Fooocus của tuyển tập lời nhắc theo các phong cách Excel khác nhau.

Nếu bạn không biết nên tạo loại hình ảnh nào, chỉ cần tham khảo các từ gợi ý trong tài liệu này:

Bạn đã tìm ra loại hình ảnh nào bạn muốn tạo bằng Fooocus chưa?

địa chỉ dự án:

Liên kết tham khảo: [1] [2] Tuyển tập các từ gợi ý: [3] [4]