Groq สตาร์ตอัพผู้สร้างชิปเร่งการประมวลผล AI (คนละบริษัทกับ Grok ที่เป็นของ Twitter/X) สามารถรันโมเดล Llama 3 ตัวใหม่ล่าสุดของ Meta ด้วยความเร็วสูงถึง 800 token ต่อวินาที

ถ้าดูจากสถิติเดิมเมื่อเดือนกุมภาพันธ์ปีนี้ Groq สามารถรัน Llama 2 70B ด้วยความเร็ว 240 token ต่อวินาที ซึ่งถือว่าเร็วมากๆ แล้ว เมื่อเทียบกับตัวเลขของ GPT-4 หรือ Claude Opus ที่ทำได้ไม่ถึง 40 token ต่อวินาที

ตัวเลข 800 token อาจยังไม่ใช่ตัวเลขอย่างเป็นทางการ เพราะทดสอบโดยบุคคลภายนอก Matt Shumer ซีอีโอของบริษัท HyperWrite AI โดยมี Dan Jakaitis วิศวกรของ Groq มาตอบว่าลองทดสอบผ่าน API ของ Meta แล้วยังไม่เร็วเท่ากับการรันบนฮาร์ดแวร์ตรง ซึ่งน่าจะเป็นปัญหาด้านซอฟต์แวร์มากกว่า

ตัวเลขอย่างเป็นทางการที่ Groq โชว์ตอน Llama 3 เปิดตัววันแรก สามารถประมวลผลได้ 284 token ต่อวินาที

ผู้ก่อตั้ง Groq คือ Jonathan Ross ซึ่งเคยอยู่ในทีมออกแบบ TPU รุ่นแรกของกูเกิล จากนั้นโยกไปอยู่ทีม Google X และลาออกมาเปิด Groq โดยเขาเรียกชิปของ Groq ว่าเป็น Language Processing Unit (LPU) ซึ่งมีจุดเด่นทั้งเรื่องความเร็วที่สูงกว่า และต้นทุนในการรันที่ถูกกว่าจีพียู NVIDIA

ที่มา - Groq, VentureBeat

We’ve been testing against their API a bit and the service is definitely not as fast as the hardware demos have shown. Probably more a software problem- still excited for groq to be more widely used.

— Dan Jakaitis (@DanJakaitis) April 19, 2024

/script>