Tags:
Node Thumbnail

ไมโครซอฟท์เปิดตัว Windows AI Studio เป็นส่วนขยายของ VS Code ช่วยให้การรันโมเดลในเครื่องพีซีทำได้สะดวกขึ้น

ยุคสมัยนี้เราอาจคุ้นกับคำว่า Large Language Model (LLM) แต่ไมโครซอฟท์บอกว่ายังมีโมเดลขนาดเล็ก Small Language Model (SLM) ที่ขนาดเล็กพอสำหรับรันในเครื่องพีซี ตัวอย่างที่เปิดตัวมาพร้อมกันคือโมเดล Phi ของไมโครซอฟท์เอง ที่แยกย่อยเป็น Phi-1.5 (1.3B) และ Phi-2 (2.7B) รวมถึงโมเดลยอดนิยมจากบริษัทอื่นๆ อย่าง Llama 2-7B, Llama 2-7B, Mistral-7B, Falcon-7B, Stable Diffusion XL

Windows AI Studio เป็นส่วนขยายของ VS Code ที่ช่วยอำนวยความสะดวกให้รันโมเดลที่ปรับแต่งมาเพื่อรันบนพีซี รองรับการใช้ GPU/NPU ของพีซีด้วย หน้าที่ของส่วนขยายนี้คือดึงโมเดลจาก Azure AI Studio และแหล่งยอดนิยมอื่นอย่าง Hugging Face พร้อมเครื่องมือปรับแต่งโมเดลต่างๆ

ตอนนี้ Windows AI Studio ยังไม่เปิดให้ทดสอบ บอกคร่าวๆ ว่าอีกไม่กี่สัปดาห์ข้างหน้า (coming weeks)

No Description

ที่มา - Microsoft

Get latest news from Blognone

Comments

By: tontan
ContributorAndroidSymbianUbuntu
on 16 November 2023 - 21:03 #1299364
tontan's picture

Phi-1.5 (13B) -> Phi-1.5 (1.3B)

ครับ


บล็อก: wannaphong.com และ Python 3

By: tontan
ContributorAndroidSymbianUbuntu
on 17 November 2023 - 12:14 #1299413
tontan's picture

จะว่าสมัยหนึ่งตอนมี Language Model อย่าง Bert แรก ๆ จำนวนพารามิเตอร์ระดับไม่กี่ร้อย M ที่รันได้ช้าในตอนนั้น กลายเป็นเดี๋ยวนี้ไปเป็นระดับหลาย B แล้ว และใช้เวลาเพียงไม่กี่ปี 3 - 5 ปี ถือว่าสาย AI ไปไวมาก ๆ ถึงแม้จะไปไวแต่ฮาร์ดแวร์ยังรันแบบลื่น ๆ ไม่ไหว บางสายพยายามลดขนาดโมเดลลงโดยแลกกับประสิทธิภาพที่ลดลงเล็กน้อยแต่รันได้ไวกว่ามาก อย่าง Phi-1.5 กับ Phi-1 เหมือนกัน ใช้ข้อมูลน้อยกว่า กับ ใช้ขนาดโมเดลเล็กกว่าแถมยังชนะโมเดลระดับ 3B+ หลาย ๆ ตัวได้สบายอยู่เลย น่าสนใจว่าจะมีอะไรเกิดขึ้นในอีกไม่กี่ปีหรือไม่กี่เดือนข้างหน้า


บล็อก: wannaphong.com และ Python 3