Snap ร่วมกับทีมวิจัยจาก Northeastern Unviersity นำเสนอโมเดลปัญญาประดิษฐ์สร้างภาพจากข้อความในชื่อ SnapFusion ชูจุดเด่นว่าเป็นโมเดลที่รันโดยใช้ทรัพยากรน้อยมาก สามารถใช้โทรศัพท์มือถือสร้างภาพในเวลาเพียง 2 วินาทีเท่านั้น

งานวิจัยนี้เป็นการวิเคราะห์โมเดล Stable Diffusion 1.5 โดยพบว่าขั้นตอน denoising นั้นทำงานบนโทรศัพท์มือถือช้ามาก หากรันบนโทรศัพท์ก็จะใช้เวลานานนับนาที ทีมวิจัยเปลี่ยนโครงสร้างของ Stable Diffusion เสียใหม่ เปลี่ยนส่วน distrillation pipeline เป็นโมเดลขนาดเล็กลง 3.8 เท่า และทำงานเร็วขึ้น 3.2 เท่าตัว พร้อมกับลดรอบการทำ denoising ลงจาก 50 รอบเหลือ 8 รอบ

ผลทดสอบโมเดล SnaFusion สามารถทำงานได้คุณภาพระดับเดียวกับ Stable Diffusion 1.5 โดยใช้เวลารัน 1.84 วินาทีบน iPhone 14 Pro ที่พลังประมวลผลต่ำกว่าเซิร์ฟเวอร์มาก

ที่มา - Snap Research