ไมโครซอฟท์ปล่อยโมเดลปัญญาประดิษฐ์แบบ LLM ขนาดเล็ก phi-3-mini ที่มีขนาดเพียง 3.8 พันล้านพารามิเตอร์ แต่สามารถทำคะแนน MMLU ได้ 69% และคะแนน MT-Bench 8.38 นับว่าใกล้เคียง GPT-3.5 อย่างมาก (MMLU 70.0%, MT-Bench 7.94) ชนะ Llama 3 ขนาด 8B ที่เพิ่งออกมาอีกด้วย

โมเดลตระกูล Phi-3 ยังมีอีกสองรุ่น คือ phi-3-small ขนาด 7B, และ phi-3-medium ขนาด 14B ขณะที่รุ่น phi-3-mini นั้นเมื่อใช้งานแบบ quantized 4 bit จะใช้แรมเพียง 1.8GB สามารถรันบน iPhone 14 ด้้วยอัตรา 12 โทเค็นต่อวินาที

ในแง่ความปลอดภัย phi-3 ยังตอบสนองต่อเนื้อหาอันตรายน้อยลงกว่า phi-2 มาก เหลือเพียง 0.75% เทียบกับ phi-2 ที่ตอบ 2.93%

รายงานของไมโครซอฟท์ระบุว่าแม้ phi-3 จะสามารถให้เหตุผลได้เทียบเท่าโมเดลขนาดใหญ่ แต่ตัวโมเดลก็มีความจุจำกัดแล้ว ส่งผลให้คะแนนทดสอบบางหมวดเช่น TriviaQA นั้นทำได้ไม่ดีนัก และชุดข้อมูลที่ใช้ก็จำกัดเฉพาะภาษาอังกฤษอย่างเดียว โดยเบื้องต้นทีมงานเริ่มทดสอบใส่ข้อมูลหลายภาษาใน phi-3-small และดูจะได้ผลที่ดี แต่ไมโครซอฟท์ก็ยังไม่เปิดเผยผลทดสอบแต่อย่างใด

ที่มา - ArXiv