กูเกิลเปิดไลบรารี MediaPipe Iris ไลบรารีโอเพนซอร์สในชุดเฟรมเวิร์ค MediaPipe สำหรับการจับทิศทางการมองจากดวงตา ทำให้การวิเคราะห์ภาพสามารถแยกจุดของตาตำ (iris) ออกมาได้อย่างชัดเจน เปิดทางให้นักพัฒนาสามารถสร้างภาพแทนตัว (avatar) ที่ส่งสายตาเลียนแบบผู้ใช้ได้

ภาพ avatar เลียนแบบผู้ใช้ที่จับจากใบหน้าอย่างเดียว (กลาง) และภาพที่เลียนแบบมุมมองสายตา (ขวา)

ทีมงานอาศัยภาพดวงตา 50,000 ภาพจาก กระจายไปตามสภาพแสง, ท่าทางของคนในภาพ, และเชื้อชาติของคน จากนั้นวาดพื้นที่ของดวงตา (eyelid) ที่รวมทั้งตาขาวและตาดำ และแยกตาดำ (iris) ออกมาเพื่อใช้ฝึกโมเดลปัญญาประดิษฐ์ โมเดลโดยรวมจะรับภาพพื้นที่รอบๆ ดวงตา แล้วส่วนท้ายของโมเดล deep learning จึงแยกการทำนายดวงตาและตาดำออกจากกัน

นอกจากการใช้ตรวจจับสายตาของคนในภาพแล้ว พื้นที่ตาดำของคนเรานั้นยังมักใกล้เคียงกันมาก อยู่ที่ 11.7 มิลลิเมตร +- 0.5 มิลลิเมตรเท่านั้น ทำให้หากเราวัดขนาดตาดำในภาพได้ และรู้ระยะโฟกัสของเลนส์ถ่ายภาพ ทีมงานพบว่าหากวัดขนาดตาดำในภาพแล้วก็สามารถบอกระยะทางจากใบหน้าถึงหน้าจอได้โดยความผิดพลาดเฉลี่ย 4.3% เท่านั้น

การคำนวณระยะห่างจากใบหน้าถึงหน้าจอด้วยการหาขนาดตาดำ

เฟรมเวิร์ค MediaPipe สามารถใช้งานได้ทั้งบนเดสก์ทอป, อุปกรณ์เคลื่อนที่, และบนเว็บ โดยข้อมูลทั้งหมดประมวลผลอยู่ในอุปกรณ์โดยตรง ไม่ได้ส่งข้อมูลขึ้นคลาวด์ใดๆ

ที่มา - Google AI Blog