ปกติแล้วการทำใบหน้าขณะพูดของตัวละครในเกมหรือภาพยนตร์ CG ให้ดูเหมือนมนุษย์ จะต้องใช้ต้นแบบเป็นวิดีโอของนักแสดงที่เป็นคนจริงๆ มาผ่านซอฟต์แวร์แปลงใบหน้า แล้วค่อยให้ฝ่ายศิลป์ตรวจสอบและแก้ไขอีกครั้ง ซึ่งกระบวนการทั้งหมดสิ้นเปลืองเวลามาก
งานวิจัยล่าสุดของ NVIDIA ที่โชว์ในงาน SIGGRAPH นำเทคนิค deep learning มาช่วยแก้ปัญหา ให้แปลงวิดีโอคนจริงมาเป็นโมเดล 3D ได้รวดเร็วและแม่นยำขึ้น โดยใช้ข้อมูลเพื่อเทรนเป็นวิดีโอยาวแค่ 5 นาทีเท่านั้น
เท่านั้นยังไม่พอ ทีมวิจัยของ NVIDIA ยังสามารถสร้างโมเดลใบหน้า 3D โดยไม่ต้องใช้ภาพวิดีโอ แต่ใช้แค่เสียงพูดเท่านั้น วิธีการคือนำกราฟคลื่นเสียงมาโยงกับจุดขยับต่างๆ ของโมเดลใบหน้า เพื่อให้ใบหน้าขยับตามเสียงได้
งานนี้ NVIDIA ใช้ข้อมูลวิดีโอจากสตูดิโอ Remedy Entertainment ผู้พัฒนาเกม Quantum Break, Max Payne, Alan Wake และได้ผลออกมาดี
ประโยชน์ของงานวิจัยนี้คือบริษัทเกมจะลดต้นทุนในการสร้างโมเดลใบหน้าลงได้มาก และไม่จำเป็นต้องจ้างนักแสดงมาเล่นเป็นตัวละครให้ครบทุกตัว แต่ใช้ AI ช่วยวาดใบหน้าของตัวละครระดับรองๆ แทนได้ (รวมถึงการสร้างใบหน้าของตัวละครที่พูดในภาษาอื่นๆ หากเกมรองรับเสียงพากย์หลายภาษาด้วย)
ที่มา - NVIDIA
Comments
ล้ำไปอีก
น่าจะทำโปรแกรมมาให้ผู้ใช้ทั่วไปใช้ได้มั่ง แบบเกมที่ปรับหน้าได้เยอะๆ มีฟีเจอร์ Analyze ไฟล์วิดีโอ แล้วสร้างโมเดลตัวละครเราขึ้นมาให้เลย
จะได้ลดเวลาการสร้างตัวละครในเดอะซิมลงจาก 4 ชั่วโมง เหลือ 2 ชั่วโมง (เลือกเสื้อผ้าต่อ)
สร้างตัวละคร 4 ชั่วโมง เล่นเกมชั่วโมงครึ่ง เบื่อ...
นี่สินะ SAO