OpenAI ปล่อยโมเดลแปลงเสียงเป็นข้อความ whisper-large-v3-turbo ปรับย่อโมเดลโดยลดชั้น decoder ลงจาก 32 ชั้นเหลือ 8 ชั้น ทำให้พารามิเตอร์เดิม 1,550 ล้านพารามิเตอร์เหลือเพียง 809 ล้านพารามิเตอร์เท่านั้น

หลังจากปรับย่อลงแล้ว ทีมงานนำข้อมูลฝึกของโมเดล large-v3 เดิมมาฝึกซ้ำอีกสองรอบแล้ววัดประสิทธิภาพรวม พบว่าโมเดลกลับไปมีคุณภาพค่อนข้างดีใกล้เคียงกับโมเดลต้นทาง ยกเว้นภาษาไทยและกวางตุ้งเท่านั้นที่ประสิทธิภาพลดลงชัดเจน ในกรณีชุดข้อมูล Common Voice นั้นอัตราคำผิดภาษาไทยสูงขึ้นเกือบ 4 เท่าตัว

แนวทางการพัฒนา whisper-large-v3-turbo ปรับมาจากงานวิจัย Distil-Whisper ที่นำเอาท์พุตจากโมเดลขนาดใหญ่มาฝึกโมเดลขนาดเล็กกว่า แต่ทาง OpenAI อาศัยการฝึกด้วยข้อมูลเต็มแทน

ตอนนี้ whisper-large-v3-turbo เป็นโมเดลเริ่มต้นในแพ็กเกจ openai-whisper เวอร์ชั่นล่าสุด หากใครใช้งานภาษาไทยอาจจะต้องระวังปรับไปใช้โมเดลอื่น

ที่มา - OpenAI/Whisper