Stable Diffusion History ตอนที่ 3 Fine Tuning

การ Fine-Tuned ช่วงแรก

ช่วงแรกที่ model Stable Diffusion ได้ปล่อยออกมาใหม่ๆ การที่จะทำการปรับแต่ง model ให้เก่งเฉพาะทางได้จากปัญหาของ base model ที่ผ่านมาคือ model เจนภาพได้หลากหลายเกินแต่ไม่สุดสักทาง เลยเริ่มมีการปรับแต่งเกิดขึ้นที่เรียกว่า fine tuning แต่ช่วงแรงคือต้องมีการ์ดจอที่มี VRAM มากกว่า 24 GB ในการทำ (RTX 3090 ขึ้นไปเลย) หรือต้องเช่าการ์ดจอ Nvidia Tesla A100 ถึงจะสามารถทำการ fine tuned model ได้ในช่วงแรก เลยทำให้การ fine tuned model ยังไม่แพร่หลายสักเท่าไหร่

เมื่อ Stable Diffusion กำเนิดขึ้น มี user คนหนึ่งชื่อ hakurei ได้ปล่อย fine tuned ตัวแรกออกมา 5 กันยายน 2022 พร้อมกับ script การ train model เป็นการนำภาพ anime 680,000 รูปมา train stable diffusion ผลคือออกมาเข้าใจภาพ anime มากขึ้นแต่ก็ยังไม่สวยเท่าที่ควร และใช้ทรัพยากรสูงมากคือ การ์ดจอ Nvidia Tesla A40 48 GB 8 ตัว

ตัวอย่าง model ที่เกิดขึ้น Waifu Diffusion 1.3 - 1.4

การที่ Stable Diffusion open source ทำให้มีการเกิดเว็บเจนภาพ AI มากมาย NovelAI เป็นหนึ่งในเว็บเจนภาพที่เป็น product ใหม่นอกเหนือจาก platform แต่งนิยายด้วย AI ปล่อยวันที่ 3 ตุลาคม 2022 โดยสิ่งที่ทำให้ surprise ผู้ใช้คือรู้จักตัวละครดังๆ ใน anime และ มีภาพที่มีคุณภาพที่ดี (ในสมัยนั้น ประมาณ midjourney v1 2022) เหมือนอนาคตการทำเว็บเจนภาพ AI จะสดใส แต่วันที่ 6 ตุลาคม 2022 ก็เกิดเหตุขึ้น
หลัง 3 วันที่ปล่อยบริการออกมา source code + model NovelAI หลุดออกมาทั้งหมดผ่าน torrent รวมไปถึง hypernetwork ที่เป็นเทคนิค fine tune ลับเฉพาะของ NovelAI ด้วย และเกิดดราม่าเล็กน้อยในวงการแต่การที่ source code + model NovelAI หลุดออกไปจึงเกิดมหกรรม fine tuned model ครั้งยิ่งใหญ่ขึ้น

ตัวอย่าง model ที่เกิดขึ้น NovelAI, anythingV3

ในช่วงเวลาใกล้ๆ กันมีผู้ใช้คนหนึ่งนามว่า Zeipher (ปัจจุบันหายไปแล้ว) ได้นำเทคนิค Dreambooth มาลองทำการ fine tuned model Stable Diffusion ที่ใช้การ์ดจอที่สเปคไม่สูงมากในการ train ทั้ง model เพื่อให้ได้ model ตัวใหม่ออกมา แต่สิ่งที่เขาทำคือ ใส่ภาพ 18+ เข้าไปมากพอจน AI รู้จักและเจนภาพออกมาได้ และสิ่งนี้จะกลายไปเป็นสารตั้งต้นของ model ใหม่ๆ ในแต่ละตัวเลยก็เป็นได้

ตัวอย่าง model ที่เกิดขึ้น F99, F111, F222 จริงๆ มีเยอะกว่านี้แต่เป็นคำ 18+

หลังจากที่ model หลายๆ ตัวที่ train ด้วยวิธีการต่างๆ ไม่ว่าใหญ่หรือเล็กก็ตาม และมี tools ให้ merge model เกิดขึ้นทั้งของ stable diffusion webui Automatic1111 หรือ supermerger ก็ตาม วิธีการนี้ถ้าให้พูดง่ายๆคือเอา model มารวมร่างกัน จนได้ model ใหม่ ผลที่เกิดคือมีผู้ใช้หลายๆ คนแจ้งเกิด model SD ใหม่ๆ จากการรวม model ด้วยสูตรต่างๆ ไม่ว่าจะแค่ 2 model, 3 model จนไปถึง block weight merge เลยที่เป็นการ merge แบบ advance สุดๆ และ กระบวนการนี้ทำให้ model stable diffusion ปัจจุบันมีความเฉพาะทาง, style, สิ่งที่ทำได้ ออกมาเป็นลักษณ์เฉพาะ จนทำให้คนเริ่มสนใจ Stable Diffusion มากขึ้นก็อาจจะเป็นปัจจัยหนึ่งก็เป็นไปได้

ตัวอย่าง model ที่เกิดขึ้น BerryMix, AbyssOrangeMix, ChilloutMix, …Mix ก็เป็นหมด

อันนี้ความเห็นส่วนตัวนะครับจาก fine tuned ที่หามาได้จะเป็นในฝั่งตะวันตกมากกว่า ส่วน checkpoint หน้าเอเชียน่ามาจากจีนเริ่มทำ fine tuned แล้วก็โดน mix กันเรื่อยๆ จนไม่รู้ต้นทางอะครับส่วนนี้หาต้นทางไม่ได้จริงๆ ครับ
จบไปแล้วนะครับสำหรับ Stable Diffusion History ตอนที่ 3 ก็เป็นเรื่องที่หาข้อมูลยากมากเพราะว่ามันกระจัดกระจายไปหมด หลายๆชื่อ model เอามาลงไม่ได้เพราะว่า 18+ ทั้งนั้น 5555555