ทีมวิจัยนำโดย University of Glasgow พัฒนาเครื่องช่วยฟังสำหรับผู้มีปัญหาเรื่องการได้ยินที่ไม่เพียงจะช่วยเพิ่มความดังของเสียงพูดจากคู่สนทนาให้ผู้ใช้งานได้ยินชัดขึ้นแล้ว ยังมีระบบเซ็นเซอร์คลื่นวิทยุช่วยอ่านริมฝีปากคู่สนทนาได้แม้ว่าขณะนั้นผู้พูดจะสวมหน้ากากอนามัยอยู่ก็ตาม

หลักการทำงานโดยพื้นฐานของเครื่องช่วยฟังนั้นจะเป็นการขยายความดังของเสียงรอบๆ ผู้ใช้งาน หรือว่าง่ายๆ ก็เสมือนเป็นการรวมร่างระหว่างไมโครโฟนซึ่งทำหน้าที่รับเสียงจากพื้นที่รอบตัวกับลำโพงที่จะขยายเสียงเหล่านั้นให้ดังขึ้น รวมกันอยู่ในอุปกรณ์เล็กจิ๋วตัวเดียวที่ผู้ใช้งานสามารถสวมใส่ไว้ที่หูขณะใช้งาน

อย่างไรก็ตามในการใช้งานจริงระหว่างการสนทนากับผู้อื่นในบางสถานการณ์เช่นในพื้นที่ซึ่งมีเสียงรบกวนจากภายนอกเป็นจำนวนมากนั้น ผู้ใช้อุปกรณ์ช่วยฟังอาจต้องอาศัยทักษะการอ่านริมฝีปากเข้าช่วยด้วยเพื่อให้เข้าใจคำพูดของคู่สนทนาได้ถูกต้อง ทว่าในปัจจุบันโดยเฉพาะอย่างยิ่งหลังการแพร่ระบาดของโรค COVID-19 การสวมใส่หน้ากากอนามัยกลายเป็นสิ่งที่ทำกันทั่วไปและเป็นปัญหาใหญ่เพราะทำให้ไม่สามารถอ่านริมฝีปากคู่สนทนาได้อย่างที่เคยทำในอดีต นี่จึงกลายเป็นโจทย์สำคัญในการพัฒนาเครื่องช่วยฟังแบบใหม่

ทีมวิจัยจึงพยายามหาทางให้เครื่องช่วยฟังมีระบบเซ็นเซอร์ที่อ่านริมฝีปากของคู่สนทนาได้ด้วย เนื่องจากโจทย์ที่ต้องใช้งานได้แม้ในกรณีที่ผู้พูดสวมใส่หน้ากากอนามัย ดังนั้นระบบเซ็นเซอร์แบบที่อาศัยภาพนิ่งหรือวิดีโอจึงไม่สามารถนำมาใช้งานได้ พวกเขาจึงหาทางออกโดยการใช้การอ่านสัญญาณคลื่นวิทยุซึ่งเป็นคลื่นที่สามารถทำงานได้โดยไม่ถูกขวางกั้นด้วยหน้ากากหรือเสื้อผ้า

หลักการอ่านสัญญาณคลื่นวิทยุที่ว่านี้เป็นการใช้อุปกรณ์ 2 ประเภทอันได้แก่เครื่องส่งสัญญาณ Wi-Fi และเครื่องส่งสัญญาณเรดาร์ทำการส่งคลื่นวิทยุออกไป แล้วจากนั้นก็อ่านค่าสัญญาณวิทยุที่สะท้อนกลับมาแล้ววิเคราะห์รูปแบบของคลื่นสะท้อนเหล่านั้น โดยคลื่นวิทยุที่สะท้อนกลับมาจากคู่สนทนาผู้กำลังออกเสียงพูดสระต่างๆ นั้นจะมีลักษณะเฉพาะของรูปคลื่นที่แตกต่างกันออกไป หากระบบเซ็นเซอร์ซึ่งเชื่อมต่อกับปัญญาประดิษฐ์สามารถแยกแยะได้ว่าคลื่นวิทยุที่สะท้อนมานี้ตรงกับรูปแบบไหนก็เท่ากับมันสามารถอ่านได้ว่าผู้พูดกำลังออกเสียงพูดสระอะไร หรือก็เท่ากับเป็นการอ่านริมฝีปากได้สำเร็จนั่นเอง

หลักการทำงานโดยรวมของเครื่องช่วยฟังที่มีระบบเซ็นเซอร์คลื่นวิทยุเพื่ออ่านริมฝีปากของคู่สนทนาได้แม้ผู้พูดสวมหน้ากากอนามัย

แรกเริ่มทีมวิจัยได้ขอให้อาสาสมัครทั้งชายและหญิงมาช่วยในการบันทึกข้อมูลรูปแบบสัญญาณคลื่นวิทยุขณะทำการพูดออกเสียง โดยอาสาสมัครแต่ละคนจะพูดออกเสียงสระ A, E, I, O, U โดยไม่สวมหน้ากากอนามัย จากนั้นก็ทำการบันทึกข้อมูลระหว่างการพูดออกเสียงทั้งหมดอีกครั้งแต่ใส่หน้ากากขณะพูดด้วย ในระหว่างที่อาสาสมัครพูดออกเสียงตามขั้นตอนทั้งหมดนี้ก็มีการส่งคลื่นวิทยุจากเครื่อง Wi-Fi และเครื่องเรดาร์ไปสแกนบริเวณใบหน้าอาสาสมัคร ซึ่งทีมวิจัยจะทำการบันทึกรูปแบบสัญญาณคลื่นวิทยุที่สะท้อนมาจากการสแกนไปด้วยตลอดเวลา

ภาพอธิบายการเก็บข้อมูลสัญญาณคลื่นวิทยุที่สะท้อนจากอาสาสมัครในระหว่างการพูดออกเสียงสระต่างๆ (บน: การใช้คลื่นวิทยุจากเครื่องเรดาร์ Xethru X4M03, ล่าง: การใช้คลื่น Wi-Fi)

หลังการเก็บข้อมูลด้วยวิธีข้างต้นกว่า 3,600 ตัวอย่าง ทีมวิจัยก็ได้สอนให้ปัญญาประดิษฐ์ทำการเรียนรู้โดยอาศัย machine learning เพื่อให้มันสามารถแยกแยะสัญญาณคลื่นสะท้อนของการพูดสระแต่ละตัวได้อย่างถูกต้อง จากนั้นนำเอาโมเดลที่ผ่านการเรียนรู้นี้ไปทดสอบอ่านริมฝีปากอีกครั้งเพื่อประเมินความแม่นยำ ซึ่งผลลัพธ์ที่ได้จากการทดสอบคือ

• การอ่านสัญญาณคลื่นสะท้อนจาก Wi-Fi สามารถอ่านริมฝีปากผู้พูดขณะไม่สวมหน้ากากได้ถูกต้อง 95% และขณะสวมหน้ากากอ่านได้ถูกต้อง 80%
• การอ่านสัญญาณคลื่นสะท้อนจากเรดาร์สามารถอ่านริมฝีปากผู้พูดขณะไม่สวมหน้ากากได้ถูกต้อง 91% และขณะสวมหน้ากากอ่านได้ถูกต้อง 83%

ตัวอย่างรูปแบบคลื่นวิทยุสะท้อนจากใบหน้าผู้พูดออกเสียงสระต่างๆ ไล่จากซ้ายไปขวา A, E, I, O, U เปรียบเทียบกับตอนไม่ออกเสียง (แถวกลาง: สัญญาณคลื่นสะท้อนจากเครือ่ง Wi-Fi, แถวล่าง: สัญญาณคลื่นสะท้อนจากเครื่องเรดาร์)

ผลจากการพัฒนาเทคนิคการแปลผลสัญญาณคลื่นวิทยุเพื่ออ่านริมฝีปากนี้สามารถนำไปประยุกต์เพื่อพัฒนาเครื่องช่วยฟังได้ โดยเพิ่มการเชื่อมต่ออุปกรณ์ช่วยฟังกับปัญญาประดิษฐ์เพื่อให้ช่วยอ่านริมฝีปากแบบเรียลไทม์ จากนั้นก็เติมเสียงพูดสังเคราะห์ให้ผู้ใช้เครื่องช่วยฟังได้ยินเสียงสระที่ชัดเจนมากขึ้นในระหว่างการสนทนา

หนึ่งในข้อดีของการเลือกใช้เทคนิคแปลผลสัญญาณคลื่นวิทยุเพื่ออ่านริมฝีปากคู่สนทนานี้คือเรื่องการรักษาข้อมูลส่วนบุคคล ซึ่งถือว่าดีกว่ามากนำไปเทียบกับเทคนิคการวิเคราะห์ภาพวิดีโอที่บันทึกใบหน้าผู้พูดเพื่ออ่านการขยับปาก

สามารถอ่านรายละเอียดเพิ่มเติมเกี่ยวกับงานวิจัยเซ็นเซอร์เพื่อการอ่านริมฝีปากภายใต้หน้ากากอนามัยนี้ได้ที่นี่

ที่มา - Tech Xplore