Qualcomm โชว์การรันโมเดล Stable Diffusion สร้างภาพตามคำสั่ง text-to-image ที่รู้จักกันดี บนสมาร์ทโฟน Android ที่ใช้ชิป Snapdragon 8 Gen 2 แทนการรันบนคลาวด์

Qualcomm บอกว่า Stable Diffusion เป็นโมเดลขนาดใหญ่มาก มีพารามิเตอร์เกิน 1 พันล้านตัว ปกติแล้วต้องรันบนคลาวด์เท่านั้น แต่ทีมของ Qualcomm AI Research ใช้เทคนิครีดประสิทธิภาพหลายอย่างร่วมกัน ให้สามารถรันบนมือถือได้ ตั้งแต่

• การแปลงฟอร์แมตตัวเลข FP32 เป็น INT8 เพื่อลดขนาดของโมเดลลง โดยยังรักษาระดับความแม่นยำ และไม่ต้องเทรนโมเดลใหม่ (post-training quantization)
• การแมป neural network ของโมเดลให้เหมาะกับสถาปัตยกรรมฮาร์ดแวร์ โดยเฉพาะลำดับชั้นหน่วยความจำของ Qualcomm Hexagon Processor ผ่าน Qualcomm AI Engine
• การเร่งประสิทธิภาพที่ระดับฮาร์ดแวร์ ผ่านฟีเจอร์ micro tile inferencing ของ Snapdragon 8 Gen 2 (วิดีโออธิบายในคลิป)

ผลของการปรับแต่งทั้งหมด ทำให้มือถือสามารถรัน Stable Diffusion สร้างภาพความละเอียด 512x512 พิกเซล โดยมีขั้นตอน inference 20 ขั้น ได้ภายใน 15 วินาที (ดูขั้นตอนการรันในคลิป)

Qualcomm บอกว่าความสำเร็จนี้เป็นจุดเริ่มต้นของยุค Edge AI ที่ประมวลผล AI ในเครื่องปลายทาง ซึ่งมีข้อดีทั้งเรื่องระยะเวลา latency ของอินพุต, ลดต้นทุนค่าประมวลผลคลาวด์, และความเป็นส่วนตัวเพราะข้อมูลไม่ต้องออกจากเครื่องเลย

ที่มา - Qualcomm