เฟซบุ๊กรายงานงานวิจัยการบีบอัดวิดีโอที่อาศัยการลดความละเอียดของภาพนอกส่วนที่ผู้ใช้กำลังจ้องมอง (foveated rendering) โดยอาศัยโมเดล deep learning ที่ชื่อว่า DeepFovea มาสร้างภาพความละเอียดเต็มจากอินพุตที่ลดความละเอียดภาพนอกส่วนสำคัญ

DeepFovea สามารถสร้างภาพความละเอียดเต็มจากข้อมูลพิกเซลเพียงเล็กน้อย ประมาณ 6-10% ของพิกเซลรวมในภาพต้นฉบับ

แนวทางการบีบอัดภาพนี้อาศัยความจริงที่ว่ามนุษย์เรารับรู้ภาพความละเอียดสูงเพียงมุมภาพแคบๆ ประมาณ 5.2 องศาตรงกลางภาพเท่านั้น หรือคิดเป็นจำนวนพิกเซล 4% ของพิกเซลทั้งหมดที่จอภาพต้องเรนเดอร์ภาพออกมา

โมเดลสร้างภาพเป็นโมเดลแบบ GAN ฝึกโมเดลบนเซิร์ฟเวอร์ NVIDIA DGX-1 จำนวน 7 เครื่อง รวมชิปกราฟิก 56 ชุด ใช้เวลา 48 ชั่วโมง ข้อมูลฝึกเป็นวิดีโอความละเอียด VGA (640x480) รวม 350,000 เฟรม แล้วลดความละเอียดตามการมองโดยสุ่มจุดที่สายตาผู้ชมกำลังมองอยู่

รายงานตีพิมพ์ในงานประชุมวิชาการ ACM SIGGRAPH in Asia ทางเฟซบุ๊กระบุว่าเตรียมจะปล่อยโมเดลเต็มที่ฝึกแล้วออกสู่สาธารณะต่อไป โดยก่อนหน้านี้การใช้ปัญญาประดิษฐ์เพื่อบีบอัดวิดีโอเป็นเรื่องที่มีคนสนใจกันมานาน เช่น Netflix เองก็เคยวิจัยเรื่องนี้มาตั้งแต่ปี 2017

ที่มา - Facebook