ทีมวิจัยจากเฟซบุ๊ก, มหาวิทยาลัยสแตนฟอร์ด, และมหาวิทยาลัยวอชิงตัน รายงานถึงการสร้างปัญญาประดิษฐ์เพื่อสร้างตัวการ์ตูนแทน (avatar) ที่เล่นดนตรีได้สมจริง เพียงแค่ใส่เสียงดนตรีไปอย่างเดียวเท่านั้น

ปัญญาประดิษฐ์นี้เป็นแบบ LSTM ที่รับเสียงดนตรีและให้ค่าลักษณะของมือและแขนที่ควรจะเป็น จากนั้นจึงนำโครงแขนนี้ไปกำหนดท่าทางให้กับโมเดลสามมิติได้

ข้อมูลอาศัยวิดีโอดนตรีใน YouTube ที่มีความยาวพอสมควร และมีเครื่องดนตรีชิ้นเดียว และกล้องไม่ขยับตลอดวิดีโอ จากนั้นสร้างภาพโครงแขนและมือจากประมาณการในวิดีโอ ได้ชุดข้อมูลลักษณะแขนและมือออกมาคู่กับเสียงดนตรี นำมาฝึกเครือข่ายนิวรอนแบบ LSTM

เมื่อได้โมเดลแล้วจึงนำมาสร้างโครงแขนและมือจากดนตรี และทำ avatar จากซอฟต์แวร์ ARKit

แนวทางนี้พัฒนาต่อยอดจากงานวิจัยอื่นที่สามารถสร้างภาพการขยับปากจากเสียงพูดได้ แต่ในงานนี้เป็นการสร้างท่าทางแทน อย่างไรก็ดีงานวิจัยยังมีข้อจำกัดอยู่มาก เพราะข้อมูลตั้งต้นใช้วิดีโอ YouTube แทนที่จะเป็นวิดีโอที่ถ่ายทำมาเฉพาะ ทำให้มีข้อมูลไม่เท่ากัน เช่นภาพนักเปียโน มือข้างซ้ายมักถูกมือขวาบังไว้ และท่าทางนอกจากมือก็ยังไม่สามารถทำนายด้วยโมเดลได้

ที่มา - Audio to Body Dynamics