แอปเปิลเปิดข้อมูลเพิ่มเติมของโมเดล LLM ภายใน Apple Intelligence ที่ใช้สำหรับการช่วยสรุปข้อความ, แก้คำผิด, ปรับคำ, หรือช่วยจัดลำดับความสำคัญของข้อความต่างๆ โดยส่วนประกอบพื้นฐานที่สุดคือ Apple Foundation Models ที่เป็นโมเดลของแอปเปิลเอง

ตัว Apple Foundation Models ฝึกบนเฟรมเวิร์ค AXLearn ที่แอปเปิลปล่อยเป็นโอเพนซอร์สตั้งแต่ปี 2023 โดยโมเดลตัวนี้สร้างจาก JAX และ XLA ตัวโมเดลจริงฝึกชิป TPU ของกูเกิลและ GPU ของแอปเปิลเอง ข้อมูลที่ใช้ฝึกนั้นเป็นข้อมูลที่ซื้อมาหรือการดูดเว็บเข้ามาผ่านทาง AppleBot โดยเว็บต่างๆ สามารถใส่ไฟล์ robots.txt เพื่อไม่ให้แอปเปิลเข้าไปดูดเว็บได้ สุดท้ายคือการปรับจูนแบบอาศัยมนุษย์ reinforcement learning from human feedback (RLHF)

Apple Foundation Models นั้นแยกเป็นสองตัวคือแบบ on-device นั้นรองรับคำศัพท์ 49K ขณะที่ server model นั้นรองรับ 100K เพื่อรองรับภาษาเพิ่มเติม

ในการใช้งานจริงนั้น แต่ละฟีเจอร์จะเป็นโมเดล fine-tune ด้วย LoRA แบบ 2-bit และ 4-bit ผสมกันเฉลี่ยเป็น 3.5-bit ผลสุดท้ายโมเดลเหล่านี้สามารถตอบได้ภายใน 0.6ms และสามารถสร้างคำตอบได้ 30 token/s บน iPhone 15 Pro

แอปเปิลทดสอบ Apple Foundation Models ทดสอบโมเดลแบบ on-device เทียบกับโมเดลโอเพนซอร์สโดยสามารถเอาชนะ Mistral-7B, Phi-3-mini, และ Gemma-7B ได้แม้โมเดลมีขนาดเล็กเพียง 3B ขณะที่โมเดลบนเซิร์ฟเวอร์นั้นเทียบเท่ากับ GPT-3.5-Turbo แล้ว แถมความสามารถบางด้าน เช่นการสรุปข้อความนั้นสามารถเอาชนะ GPT-4-Turbo ได้ด้วย

ที่มา - Apple