หน่วยความจำวิดีโอ 4G ที่มีการกำหนดค่าต่ำในการเล่น AIGC! ผลงานใหม่ของผู้เขียน ControlNet ขึ้นสู่อันดับต้นๆ ของรายการยอดนิยมของ GitHub

ที่มาบทความ: Qubit

ข้อความ: เครสซี่ เสี่ยวเซียว

เล่น AI Painting ตอนนี้คุณไม่ต้องกังวลกับการถูก "แทงข้างหลัง" โดยทักษะการใช้มีดของ Old Huang!

สิ่งที่คุณต้องมีคือ GTX 1650 (หน่วยความจำวิดีโอ 4GB) จาก 4 ปีที่แล้ว และเอฟเฟกต์การเรนเดอร์ AI นั้นเทียบได้กับ SDXL รุ่นโอเพ่นซอร์สที่ดีที่สุดในปัจจุบัน

** **△ ที่มา: Twitter @ナビ

นี่คือโปรเจ็กต์ใหม่ Fooocus ที่ครองอันดับ 1 บน GitHub เป็นเวลาหลายวันติดต่อกัน ได้รับการทำเครื่องหมายด้วย 4K ในสามวัน ผลิตโดย ผู้เขียน ControlNet

ก่อนจะออกมาหากต้องการรัน Stable Diffusion รุ่น XL ใหม่ล่าสุดได้อย่างราบรื่น ต้องใช้ 4060ti กับหน่วยความจำวิดีโอ 16G (รุ่น 3060 เดิมที่มีหน่วยความจำวิดีโอ 12G ไม่ค่อยเต็มใจที่จะรัน)

ไม่เหมือนกับเครื่องมือ AI โอเพ่นซอร์สอื่นๆ Fooocus "มุ่งเน้นไปที่การสร้างตัวเอง" ไม่เพียงแต่มีความต้องการฮาร์ดแวร์ต่ำ แต่ยังใช้งานง่าย เป็นมิตรกับมือใหม่มาก——

ไม่จำเป็นต้องปรับพารามิเตอร์ใดๆ ในกระบวนการทั้งหมด เพียงคลิกเมาส์ คุณก็สามารถสร้างภาพได้ใน 3 ขั้นตอน

** ****△**แหล่งรูปภาพ Twitter @Photogenic Weekend

ชาวเน็ตบางคนตะโกนว่า "นี่เป็นเพียงจุดสุดยอดของ Stable Diffusion และ Midjourney":

บอกลาการปรับจูนแบบแมนนวล! ออฟไลน์ โอเพ่นซอร์ส และฟรี เพียงใส่คำและรูปภาพ แล้วปล่อยให้ความมหัศจรรย์เกิดขึ้น!

ชาวเน็ตบางคนคร่ำครวญ: แม้แต่ Xiaobai ก็สามารถเล่นเอฟเฟกต์ของรุ่น Stable Diffusion XL ได้อย่างเต็มที่

แล้วเอฟเฟกต์การสร้างรูปภาพที่แท้จริงของเครื่องมือ AI รูปภาพใหม่ล่าสุดนี้คืออะไร? เราลองแล้ว

Colab วาดรูปในครึ่งนาที เอฟเฟคเทียบ SD

จากมุมมองของอินเทอร์เฟซที่รันอยู่ Fooocus มี สไตล์ในตัวมากกว่าหนึ่งร้อยสไตล์ ให้เลือก

** ****△**แหล่งรูปภาพ ทวิตเตอร์ @camenduru

สำหรับ ประสิทธิภาพ นั้น Fooocus นั้นวาดได้เร็วมากเช่นกัน ใน Colab จะใช้เวลาประมาณครึ่งนาทีในการวาดภาพในโหมดเน้นความเร็ว:

เวลาที่แสดงในบันทึกเป็นเวลาในการวาด แต่มีกระบวนการแยกวิเคราะห์ข้อความก่อนหน้านี้ ซึ่งใช้เวลาประมาณ 40 วินาทีทั้งหมด:

** **### △ภาพเร่งแล้วครับ

จากนั้นให้วาด การ์ตูนล้อเลียน ก่อน แล้วดูว่า "สงครามมาซาร์" จะเป็นอย่างไรจากมุมมองของ AI (ไม่ใช่มาซาฮานี้)

เนื่องจากการสร้างภาพบุคคลโดยตรงด้วย AI ยังคงมีปัญหาบางอย่างกับการใช้มือ ดังนั้นเราจึงปล่อยให้ Musk และ Zuckerberg สวมถุงมือ:

เอฟเฟกต์ดูเหมือนจะค่อนข้างดี ฉันไม่รู้ว่าพวกเขามีเดิมพันหรือเปล่า แต่มันอาจจะปล่อยให้ผู้แพ้มาแต่งตัวก็ได้

(คำเตือน: ไม่มีผู้ชนะในการต่อสู้)

สุดท้ายทั้งสองก็ "จับมือกัน สร้างสันติ" และฉากอันล้ำค่านี้ก็ถูกช่างภาพบันทึกเอาไว้ด้วย ภาพโดยรวมมีรสชาติแบบนั้นไหม?

หลังจาก "ยุทธการมาซาร์" จบลง เลาหม่าก็กลับมาที่บริษัทอย่างเชื่อฟังและขายเทสลาไป

หากคุณเพิกเฉยต่อ LOGO ความรู้สึกในการออกแบบของ โปสเตอร์ นั้นค่อนข้างจะออนไลน์

อันที่จริง Fooocus ทุกสไตล์ที่มาพร้อมเครื่องนั้นน่าสนใจมาก ดังนั้นเรามาดูรูปภาพสดของ สไตล์ที่แตกต่างกัน เหล่านี้กันดีกว่า:

เมื่อพูดถึงการเลียนแบบผลงานชื่อดัง มีเวอร์ชัน Cyberpunk, เวอร์ชัน Zelda, เวอร์ชัน Minecraft และแม้แต่เวอร์ชัน Pokémon ของ Musk ที่น่าจับตามอง

สำหรับรูปแบบศิลปะอื่นๆ มีรูปแบบ Pixel และ Lowpoly รวมถึงเวอร์ชัน Nendoroid และ Scissorial...

แน่นอนว่ายังมีตัวอย่างอีกมากมายที่ผู้อ่านและเพื่อน ๆ หลากหลายสไตล์สามารถสัมผัสได้ด้วยตัวเอง

(ต้องบอกว่าสุดท้ายแล้วข้อความในภาพวาด AI ก็ไม่ใช่ภาพวาดผี)

จิตรกรผู้ยิ่งใหญ่ใจร้อนอยู่แล้วและอยากลองไหม? เราจะแนะนำวิธีการเล่น Fooocus ในอีกสักครู่!

อินเทอร์เฟซของ Fooocus เป็นของป้า Jiang ซึ่งสามารถกล่าวได้ว่ากระชับมาก:

หากคุณเพียงแค่ลองอะไรใหม่ๆ และไม่มีข้อกำหนดพิเศษใดๆ กล่องพร้อมท์นี้ก็เพียงพอแล้ว

เนื่องจากผู้เขียนได้รวมทักษะที่ซับซ้อนมากมายไว้ในโปรแกรมแล้ว การดำเนินการปรับแต่งพารามิเตอร์เหล่านี้จึงไม่จำเป็นต้องดำเนินการด้วยตนเองอีกต่อไป

ป้อนโดยตรงในช่องด้านล่าง คลิกปุ่มสร้างและรอให้สร้างแบบร่าง

(ตามค่าเริ่มต้น รูปภาพจะถูกส่งออกครั้งละสองภาพ ขนาดคือ 1152×896 รูปแบบจะเป็นค่าเริ่มต้นของภาพยนตร์ และความเร็วจะถูกจัดลำดับความสำคัญ)

หากจำเป็นต้องมีการตั้งค่าขั้นสูง ให้ทำเครื่องหมายขั้นสูงที่มุมซ้ายล่าง และข้อมูลการกำหนดค่าจะปรากฏทางด้านขวาของหน้า โดยแบ่งออกเป็นสามแท็บ:

สิ่งที่ปรับเปลี่ยนได้ ได้แก่ ขนาด ปริมาณ สไตล์ ประสิทธิภาพ และอื่นๆ

หากคุณเป็นผู้เล่นมืออาชีพ คุณสามารถเลือกเวอร์ชันของโมเดลและแม้แต่ปรับพารามิเตอร์ LoRA ได้ด้วย

นอกจากนี้ยังมีเกมปรับความคมชัดระดับไฮเอนด์อีกด้วย

สำหรับเนื้อหาเดียวกัน GIF ต่อไปนี้จะแสดงการเปลี่ยนแปลงความคมชัดจาก 2 เป็น 10 และจากนั้นเป็น 20 จะเห็นได้ว่าเมื่อความคมชัดเพิ่มขึ้น รายละเอียดของภาพก็จะมีมากขึ้นเรื่อยๆ:

อย่างไรก็ตาม สำหรับ Fooocus รองรับ ภาษาจีน หรือไม่ เราก็ได้ลองใช้แล้วเช่นกัน แต่น่าเสียดายที่ยังไม่มีให้บริการ

ตัวอย่างเช่น เราป้อนคำว่า "apple" และผลลัพธ์ที่ได้คือเด็กผู้หญิง

นี่... มันพยายามจะพูดว่า "คุณเป็นแก้วตาดวงใจของฉัน" เหรอ?

ตอนนี้คุณคงรู้วิธีเล่น Fooocus แล้ว จะกำหนดค่าอย่างไร?

หากคุณมีเครื่อง Windows ที่มีการ์ดกราฟิก Nvidia คุณสามารถใช้เวอร์ชันที่แกะกล่องได้ (น่าจะเป็นครั้งที่ 114514 เล่าหวางชนะไพ่นกกระจอก)

ในขณะเดียวกัน ฮาร์ดแวร์ต้องเป็นไปตามข้อกำหนดการกำหนดค่าขั้นต่ำ - หน่วยความจำวิดีโอ 4GB + หน่วยความจำ 8GB

ดาวน์โหลดโดยตรงจากที่นี่ก่อน:

หลังจากคลายการบีบอัด ให้ดับเบิลคลิก run.bat เพื่อรัน ระบบจะดาวน์โหลดโมเดลและปรับใช้โดยอัตโนมัติ และจะสามารถใช้งานได้หลังจากการกำหนดค่าเสร็จสมบูรณ์

ข้อกำหนดการกำหนดค่าของเวอร์ชัน Linux นั้นเหมือนกับข้อกำหนดของ Windows แต่กระบวนการกำหนดค่านั้นซับซ้อนกว่า

(หากคุณมี Jupyter คุณสามารถดูไฟล์บันทึกที่ใช้ใน Colab ได้ด้วย)

ขั้นแรก ให้ติดตั้งการขึ้นต่อกันของสภาพแวดล้อม:

คอมไพล์โคลน ซีดี ฟูคัส conda env สร้าง -f สภาพแวดล้อม yaml conda เปิดใช้งาน fooocus pip ติดตั้ง -r ข้อกำหนด_versions.txt

จากนั้นดาวน์โหลดไฟล์โมเดลและจัดเก็บไว้ในไดเร็กทอรีที่ระบุ:

** **△ สำหรับรายละเอียด โปรดดูที่หน้า GitHub

แน่นอน คุณสามารถปล่อยให้ระบบดาวน์โหลดโมเดลโดยอัตโนมัติได้:

หลาม launch.py

หากคุณใช้ Mac หรือการกำหนดค่าฮาร์ดแวร์ไม่ตรงตามข้อกำหนด คุณสามารถเรียกใช้ Colab ได้โดยตรง

(พอร์ทัล:

อย่างไรก็ตาม สิ่งที่ฉันยังคงต้องบ่นคือเวอร์ชัน Colab จะขัดข้องหลายครั้งเป็นครั้งคราว ไม่ว่าจะหยุดโดยอัตโนมัติหรือหน่วยความจำล้น...

หากคุณต้องการรัน Fooocus ได้อย่างราบรื่นยิ่งขึ้นบน Mac หรือคอมพิวเตอร์การ์ด A คุณสามารถรอการอัปเดตจากผู้เขียนได้

โดยรวมแล้วเอฟเฟกต์เอาต์พุตรูปภาพของ Fooocus นั้นดี หากเลือกคำพร้อมท์ได้ดีก็สามารถใช้เป็น Stable Diffusion ได้ สิ่งสำคัญคือข้อกำหนดการกำหนดค่าฮาร์ดแวร์ไม่สูง

สิ่งนี้เป็นไปได้บนโลกนี้ได้อย่างไร?

จากโปรเจ็กต์ล่าสุดของผู้เขียน ControlNet

ในด้านการออกแบบสถาปัตยกรรม Fooocus แบ่งออกเป็น 2 ส่วนหลักๆ คือ อินเทอร์เฟซแบบโต้ตอบและโมเดล AI

ในหมู่พวกเขา อินเทอร์เฟซแบบโต้ตอบ หมายถึงสองโปรเจ็กต์ ได้แก่ stable-diffusion-webui และ ComfyUI

stable-diffusion-webui ส่วนใหญ่เป็นการออกแบบส่วนหน้าของอินเทอร์เฟซแบบโต้ตอบ:

ComfyUI มีทั้ง GUI และการออกแบบแบ็คเอนด์ของ Stable Diffusion:

สำหรับ โมเดล AI จะเห็นได้ว่ามีการใช้ Stable Diffusion โมเดล SDXL ใหม่:

ปัจจุบันนี้เป็นหนึ่งในเวอร์ชันที่ดีที่สุดของ Stable Diffusion และเอฟเฟกต์การสร้างได้รับการปรับปรุงอย่างมากเมื่อเทียบกับเวอร์ชันก่อนหน้า 1.5

อย่างไรก็ตาม แม้ว่าการออกแบบโมเดลและ UI ของ Fooocus จะอ้างอิงถึงโปรเจ็กต์โอเพ่นซอร์ส Stable Diffusion สำเร็จรูป แต่ผู้เขียนได้รวมการออกแบบการปรับให้เหมาะสมที่สุดของเขาเองไว้มากมายเมื่อสร้างมัน ทำให้โมเดลทำงานได้ราบรื่นขึ้น

ตัวอย่างเช่น ผู้เขียนได้นำวิธีการสุ่มตัวอย่างแบบกระจาย k-diffusion ขั้นสูงมาใช้อย่างระมัดระวัง ซึ่งออกแบบโดยตัวเขาเองใน Fooocus ซึ่งสามารถปรับปรุงความต่อเนื่องในการสุ่มตัวอย่าง ลดการสูญเสียประสิทธิภาพ และปรับปรุงประสิทธิภาพในการสุ่มตัวอย่าง

นอกจากนี้ ผู้เขียนยังได้ปรับพารามิเตอร์ของแซมเพลอร์ (Sampler) อย่างระมัดระวัง และแก้ไขและเพิ่มการตั้งค่าใหม่บางอย่าง รวมถึงสไตล์ภาพยนตร์ตามเวอร์ชันต้นฉบับ

เหตุผลที่เพิ่มตัวเลือก LoRA ลงใน Fooocus ก็คือผู้เขียนพบว่าโมเดล SDXL ที่มี LoRA (การตั้งค่าน้ำหนักน้อยกว่า 0.5) มักจะดีกว่ารุ่น SDXL ที่ไม่มี LoRA เกือบทุกครั้ง

ผู้เขียนผู้พัฒนาโครงการ Fooocus ชื่อ Lvmin Zhang เขาสำเร็จการศึกษาจากมหาวิทยาลัย Soochow ในปี 2021 และปัจจุบันเป็นนักศึกษาปริญญาเอกที่มหาวิทยาลัยสแตนฟอร์ด

หลายโครงการที่เขาทำ รวมถึง ControlNet และ style2paints เกือบทุกโครงการระเบิด:

ตอนนี้โปรเจ็กต์ล่าสุด Fooocus ดูเหมือนจะได้รับความนิยมไม่แพ้กัน

บนโซเชียลมีเดีย ชาวเน็ตบางคนได้รวบรวมชุดคำพร้อมท์ในรูปแบบต่างๆ ของ Excel ในเวอร์ชัน Fooocus อย่างเป็นธรรมชาติ

หากคุณไม่ทราบว่าจะสร้างภาพประเภทใด เพียงอ้างอิงข้อความแจ้งในเอกสารนี้:

คุณทราบหรือไม่ว่าคุณต้องการสร้างภาพประเภทใดด้วย Fooocus?

ที่อยู่โครงการ:

ลิงค์อ้างอิง: [1] [2] การรวบรวมคำพร้อมท์: [3] [4]